深度网络的物理图像文献综述

 2022-09-19 11:21:23

  1. 文献综述(或调研报告):

前言:

研究深度网络最小值的成果近期有很多,根据这些研究成果,我们才有假设的方向和论证的基础。利用文献知识,理解极值分布的空间特征,并抽象出网络的特征与物理图像。

正文:

在过参数化的条件下,使用随机梯度下降方法,保证函数平滑,能够证明局部极小值会收敛到全局极小值。同时,如果一个深度网络足够宽,那么所有局部极小值都不是不良的。

资料表明,神经网络的损失函数的轨迹通常是一个高维的子流形。(维度小于参数-数据点数)深度网络的损失函数并不是一个由高维映射到一维的典型函数,他具有特殊的几何性质。通过训练经验发现在不同的模型和数据集中,大多数特征值大约为零,很少有负特征值。文中论证了损失函数的零特征值个数为过度参数化的数量,而正特征值数为数据点的数量,没有负特征值。由此推测:“大量的零特征值可能意味着这个流形的尺寸很大,并且零特征值的特征向量跨越吸引子流形的切空间。其他大特征值的特征向量对应于远离吸引子流形的方向。”

深度网络几何化的特征:深层网络是程序或数据处理系统,可以实现从输入数据空间到输出数据空间的转换。通常的深度学习任务,如特征提取和生成模型,都是不同数据空间之间的映射。

张量场的一般想法综合了更丰富的几何信息。例如在度量张量的情况就是点到点变化的椭球,我们不需要把概念建立在曲面的特定映射方式上。

张量网络实例:哈密顿方法求解矩阵基态。用哈密顿量表示矩阵基态,在求解过程中构建有限相关态的族,也就是矩阵基态(mps),并为每一个状态找到一个有间隙的局部哈密顿量(称为父哈密顿量)。还可以定义一个由矩阵链接表示的抗扰动的叔叔哈密顿量,相当于对父哈密顿量施加一个无穷小扰动。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。