元学习方向 optimization based meta learning 之 MAML论文详细解读

元学习系列文章

1. optimization based meta-learning
   1. 《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》 论文翻译笔记
   2. 元学习方向 optimization based meta learning 之 MAML论文详细解读：本篇博客
   3. MAML 源代码解释说明 (一)
   4. MAML 源代码解释说明 (二)
   5. 元学习之《On First-Order Meta-Learning Algorithms》论文详细解读
   6. 元学习之《OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING》论文详细解读
2. metric based meta-learning: 待更新…
3. model based meta-learning: 待更新…

目前 meta-learning 的研究一共有三个方向：

1. optimization based
2. metric based
3. model based

本篇要讲的论文是第一个方向，optimization based 中的开篇之作，《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》 简称 MAML

引言

上一篇博客是对这篇论文的纯翻译，这次来讲解下这篇论文是怎么做 meta-learning 的，这篇论文是 2017 年发表在 ICML 会议的，算是 optimization based 这个方向的开篇之作，后续的一些文章都有借鉴此论文的 idea。而且这篇论文的思想很简单，但是看明白后会惊讶于作者的思想是如此神奇，简单之中蕴含着大道理。

相关概念

meta learning

meta learning 俗称元学习，目标是 learn to learn，即学会如何学习。听起来有点绕，大白话解释就是通过之前任务的学习使得模型具备一些先验知识或学习技巧，从而在面对新任务的学习时，不至于一无所知。这更接近于人的学习过程，我们人在过去的经历中，会不断地积累学习经验，使自己的知识积累变得越来越丰富，所以在面对新问题的时候，并不是一无所知的，可以自动借鉴之前相似问题的经验来解决新问题。所以元学习也被称为是机器实现通用人工智能的关键技术。

meta-learning 学习的对象是 Tasks，而不是 Samples 样本点，因为 meta-learning 最终要解决的问题是在新的 task 上可以更好的学习，所以要迁移之前 task 上的学习经验。那么在训练阶段，输入的就是不同的 tasks，如下图所示，所有的 task 都是五分类任务，每个 task 仍然有训练集和测试集，训练集是 5 类不同的图片，该