机器学习算法研究文献综述
摘要：近些年来，机器学习在许多领域得到了研究和应用。机器学习也是人工智能及模式识别领域的共同研究热点，其理论和方法已被广泛应用于解决工程应用和科学领域的复杂问题。机器学习是研究怎样使用计算机模拟或实现人类学习活动的科学，是人工智能中最具智能特征，最前沿的研究领域之一。自 20世纪80年代以来，机器学习作为实现人工智能的途径，在人工智能界引起了广泛的兴趣，特别是近十几年来，机器学习领域的研究工作发展很快，它已成为人工智能的重要课题之一。本文将通过对相关文献的梳理，整理出机器学习的发展历程，归纳出一些常用机器学习算法的原理，并分析出他们的优劣势。
关键词：机器学习；算法；人工智能
- 引言
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径。
- 发展历程
“机器学习”的发展并不是一帆风顺的，它的起源可以追溯到 1949 年赫布理论的诞生。它在20世纪70年代曾陷入了瓶颈期，而后大数据时代开始，机器学习也在大数据的支持下复兴。因此我们可以大致将它的理念和运作模式从大数据时代前后分为浅层学习和深度学习。
- 小数据时代（浅层学习）
1949 年,Donald Hebb提出的赫布理论解释了学习过程中大脑神经元所发生的变化。赫布理论的诞生标志着机器学习领域迈出了第一步。1952年被誉为“机器学习之父”的Arthur Samuel设计了一款西洋跳棋程序。这个程序帮助机器观察棋子的走位并构建新的模型以提高自己的下棋技巧。同时，IBM首次定义并解释了“机器学习”，将其非正式定义为“在不直接针对问题进行编程的情况下，赋予计算机学习能力的一个研究领域”。1957年Rosenblatt发明了感知器模型，这种模型被认为是机器学习人工神经网络中较为典型的算法。而3年后Widrow 提出了Delta学习规则，也就是差量学习规则，即如今的最小二乘问题。这种学习规则随即被应用到了感知器模型中，创建出了更精确的线性分类器。随后“机器学习”的发展出现了瓶颈。在1969年，Minsky提出了异域问题，指出了感知器的本质缺陷——面对线性不可分问题时的无力，即当空间内的点无法被直线分类时，感知器便会束手无措。尽管1970年Linnainmaa首次提出了著名的BP算法以解决此问题，可当时并没有引起重视。直到80年代末此算法才开始被接纳使用，并给机器学习带来了希望。人们发现，BP 算法可以帮助机器通过大量数据统计整理规律从而对未知的事件作出推测。这时候的感知机只是种含有一层隐层节点的浅层模型，这个时代的机器学习也因而得名——浅层学习。到了90年代，浅层学习进入了黄金时代，各种各样的浅层学习模型被相继提出，这些模型大多数在实际运用中都取得了巨大的成功。
- 大数据时代（深度学习）
随着人类对数据信息的收集和应用逐渐娴熟，对数据的掌控力逐渐提升，“机器学习”在海量数据的支持下攀上了新的高峰，即深度学习。深度学习的实质便是通过海量的数据进行更有效的训练从而获得更精确的分类或预测。深度学习的理念在2006年由Geoffrey Hinton和他的学生提出，并在当时引起了轰动，在
学术界和工业界掀起了深度学习的浪潮。
- 常用算法
- 梯度下降法（Gradient Descent）
梯度下降是一种优化算法，它是是大多数机器学习算法的核心和灵魂，其作用是在梯度的负值所定义的最陡下降方向上不断的移动（迭代）从而达到最小化某些函数的作用。在机器学习过程中，可以使用梯度下降法来学习线性回归或者神经网络中每个神经元的权重，达到更新参数的目的。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
