元学习（Meta-Learning）是目前机器学习领域一个令人振奋的研究趋势，它解决的是学习如何学习的问题。元学习，也被称为学习如何学习，旨在通过少量训练实例来设计能够快速学习新技能或适应新环境的模型。设计一个具有类似性质的机器学习模型，通过少量训练样本快速学习新概念和技能,这就是元学习的本质目的。
元学习最早出现在1987年的文献中，是J. Schmidhuber[1]和G. Hinton[2]的两篇独立作品。Schmidhuber[1]为一组新的学习方法设置了理论框架，这些方法可以使用自参照学习来学习。自向学习包括训练神经网络，使其能够接收自己的权重并预测所述权重的更新。Schmidhuber进一步提出模型本身可以用进化算法来学习。Hinton et al.[2]提出对每个神经网络连接使用两个权值，而不是一个。第一个权重是标准的慢权重，它通过优化器更新缓慢地获取知识(称为慢知识)，而第二个权重或快速权重在推理期间快速地获取知识(称为快速知识)。快速权重的职责是能够消除模糊或恢复过去学习的缓慢权重，这些权重由于优化器更新而被遗忘。这两篇论文都介绍了一些基本概念，这些概念后来延伸并引发了当代元学习。在引入元学习之后，这个概念在多个不同领域的使用迅速增加。Bengio et al.[3][4]提出了尝试元学习的系统，生物上看似合理的学习规则。Schmidhuber等人在随后的工作[5][6]中继续探索自我参照系统和元学习。S. Thrun等人在[8]中创造了“学习学习”一词作为元学习的替代，并继续探索和剖析元学习中可用的文献，以寻找一个通用的元学习定义。使用梯度下降和反向传播来训练元学习系统的建议在2001年首次提出。之后不久，对元学习文献的其他综述也出现了。元学习最早在Schweighofer等人的著作中用于强化学习。之后，Larochelle等人在零起点学习中首次使用元学习。最终在2012年Thrun等人[8]重新引入了现代深度神经网络时代的元学习，这标志着这一类型的现代元学习的开始。
在元学习文献中，元学习主要有两种变体，即无监督学习。在第一种情况下，外环的元目标是无监督的，因此学习者本身是在没有任何标签的情况下学习的。我们称之为无监督元学习。在第二个变体中，元学习被用作学习无监督内环任务的一种方法。在这种情况下，外部目标可以是有监督的、无监督的或基于强化的任何东西。我们称之为元学习无监督学习。无监督元学习[9]旨在放松传统的元训练源任务注释集的假设，同时仍然为有监督的少镜头学习提供良好的下游性能。典型的合成源任务是在没有监督的情况下通过聚类或保持类的数据扩充来构造的。元学习无监督学习的目的是利用元学习来训练无监督学习算法，使其能够很好地完成下游的有监督学习任务。可以训练无监督聚类算法[7]或损失[14]从而优化下游有监督学习性能。这有助于通过将无监督学习问题转化为具有明确（元）监督目标的问题来解决无监督学习问题的不确定性。
元学习范式也可以用来训练主动学习，而不是像目前所讨论的那样监督或强化学习者。主动学习（AL）方法包装监督学习，并定义选择性数据注释的策略-通常在可以顺序获得注释的设置中。AL的目标是找到要标注的数据的最优子集，从而在标注最少的情况下最大限度地提高下游监督学习的性能。AL是一个研究得很好的问题，有许多手工设计的算法[11]。元学习可以将主动学习算法设计转化为一个学习任务，其方法是：将内部优化作为一个传统的有监督学习任务，将omega;作为一个查询策略，选择最好的无标记数据点进行标注，或者让外部优化训练查询策略，以在给定查询和注释数据点的情况下优化对应于下游学习性能的元目标[10]。然而，对于聚类，如果使用标签来训练AL算法，则需要在任务之间进行泛化，以分摊其训练成本。
近年来，许多作者探索了贝叶斯方法来处理元学习中具有竞争性结果的复杂模型。其中许多已经利用深层神经网络作为框架内的组件，例如扩展变分自动编码器来显式地建模任务变量[12]。神经过程[13]旨在将高斯过程的不确定性量化与神经网络的多功能性结合起来，但没有显示出它们在现代的少镜头基准上起作用。深核学习也是一个活跃的研究领域，它已经适应元学习环境，并且经常与高斯过程耦合。在文献[15]中，基于梯度的元学习被重新构造成一个层次经验贝叶斯推理问题（即先验学习），该问题对任务特定参数theta;的不确定性进行建模。Bayesian-MAML[16]在该模型的基础上改进了Bayesian集成方法，该方法允许theta;上的非高斯后验，随后的工作消除了对代价高昂的集成的需要。在概率MAML[17]中，建模的是元知识omega;中的不确定性，而对theta;使用MAP估计。这些贝叶斯方法越来越多地被用来解决模糊任务、主动学习和RL问题。
在meta-learning学习框架下，当任务样本中的标签始终不变的情况下，会带来一个“记忆”的问题(Memorization Problem)。在training过程中，由于标签固定，在任务的test数据中见到过，便直接记下，这就导致，模型本身不再依赖训练任务中的训练数据。Meta-Learning without Memorization [18]提出通过激活函数的元正则化以及权重函数的元正则化来解决记忆问题。
参考文献
[1] Juuml;rgen Schmidhuber, Zhao J , Wiering M . Shifting Inductive Bias with Success-Story Algorithm, Adaptive Levin Search, and Incremental Self-Improvement[J]. Machine Learning, 1997, 28(1):105-130.
[2] Brown G D A . A neural net model of human short-term memory development[C]// European Association for Signal Processing Workshop. Springer, Berlin, Heidelberg, 1990.
[3] Bengio Y , Bengio S , Cloutier J . Learning Synaptic Learning Rules[M]// The handbook of brain theory and neural networks. 1991.
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
