文 献 综 述
摘要
深度学习（Deep Learning）作为机器学习的分支，目前是人工智能领域较火热的一个研究领域。自2012年Alex Krizhevsky等人在ILSVER-2012比赛中取得的惊人成绩以来，越来越多的研究人员致力于提高深度神经网络在数据集分类上的准确率，对于大部分机器学习算法来说，提高准确率可以通过加深网络层次、训练多种不同的模型等方式来实现，但却会因此使网络规模变得庞大，进而引发种种问题。因此，在准确率几乎保持不变的前提下，更小的网络模型变得尤为重要。本课题将基于深度学习框架，就卷积神经网络的迁移学习算法进行研究，并在视觉学习领域进行应用，验证其算法的有效性，在进行模型压缩的同时，能够保证准确率不变，从而达到利用“小模型”模拟“大模型”的目的。
关键字：深度学习，卷积神经网络，迁移学习，模型压缩
正文
1989年，Yann LeCun等人首先提出了将基于梯度学习的方法应用到文本识别中[1]，从而有了一个基本的深度学习算法雏形，但由于当时的算法复杂性和硬件的不支持，导致这个时期的人工神经网络相对沉寂。直到2006年，Geoffrey Hinton和他的学生在《科学》杂志上发表了一篇论文，论文提出了通过多隐层的人工神经网络和无监督学习实现初始化的思想[2]，自此，深度学习在学术界逐年升温。2012年，深度学习神经网络技术被用于图像识别领域，在ImageNet测试中将错误率由26%降到15%[3]，取得了一鸣惊人的成果。目前已有多种深度学习框架，如深度神经网络（Deep Neural Network,DNN）、卷积神经网络（Convolutional Neural Network,CNN）、深度置信网络（Deep belief Network,DBN）、递归神经网络（Recurrent Neural Network,RNN）已被应用于计算机视觉、语音识别、自然语言处理、音频识别和生物信息学等领域并取得了极好的效果[4]。
比较常见的集成方法包括装袋法（Bagging）[5],升压法(Boosting)[6],自由森林法(Random Forests)[7]，贝叶斯均值(Bayesian averaging)[8]和堆栈法(Stacking)[9]等在内均取得了良好的效果，但是人们常忽略的一个问题是，这些模型规模庞大、占用大量存储空间和内存并且计算量大[10]。例如，AlexNet网络大小超过200MB，VGG-16网络大小超过500MB[11]。这对于将深度卷积神经网络方法应用在移动设备将产生两个致命缺点：第一，对于百度、脸书（Face Book）等这类做移动应用的互联网公司来说，一款应用的发布与更新均是通过应用商店进行的，文件的大小十分重要。我们经常遇到的一个限制就是大于100MB的应用需要用户在有Wi-Fi网络的条件下才可以进行下载或者更新。第二，能量损耗也是一个严重的问题。由于移动设备收到电池电量的限制，对于深度神经网络这类及其耗能的应用也难以在移动设备上进行应用甚至推广[12]。由此基于卷积神经网络的模型压缩迁移方法研究变得日益重要。
迁移学习方面目前的工作可主要分为以下三个部分：同构空间下基于实例的迁移学习、同构空间下基于特征的迁移学习和异构空间下的迁移学习。研究表明，基于实例的迁移学习有更强的知识迁移能力，基于特征的迁移学习具有更广泛的知识迁移能力，而异构空间的迁移学习具有广泛的学习与扩展能力。几种方法各有千秋[16]。而本课题主要是针对庞大的网络规模进行模型压缩从而达到迁移学习的目的。
2006年，C. Bucilua等人便提出了模型压缩的概念[10]。2014年，Min Lin等人首先提出了Network In Network[13]的算法理念，构建具有三层卷积层和一层pooling层的网络模型，并在各数据集上的测试结果均表现突出。Geoffrey Hinton等人提出通过提取神经网络中重要信息的思想[14]，从而使得庞大而复杂的网络规模变小。最近，Foreest N.Iandola等人构建了一个SqueezeNet模型，该网络通过减少参数的方式，由两个卷积层和八个Fire模块层构成，网络相对简单，耗能小。在没有借助深度压缩算法的情况下，将Alex网络由200MB压缩为数据类型为8位大小的4.8MB。在使用深度压缩算法后，将网络分别压缩为数据类型为8位大小的0.92MB和6位大小的0.52MB，最高达到了比Alex网络小了461倍，并且top-1和 top-5错误率与Alex网络相差的并不多[15]，这一结果十分惊人。但以上这些提到的算法均不是采用传统方法进行模型压缩，因此本课题将致力于在传统方法的基础上，通过减少网络层数、提取主要参数等方法进行迁移学习，从而将这一方法在实际问题中得到广泛应用。
本课题的研究方向及内容如下：1、研究卷积神经网路的迁移学习算法，在保证准确率的前提下，构建更小的网络模型，优化神经网络； 2、在视觉学习领域，验证网络的有效性，如在自主驾驶的等实际问题中进行应用研究。 3、研究成果可以应用到多个视觉识别问题中，推动神经网络学习算法在计算机视觉相关技术的进一步发展。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
