文 献 综 述
在人工智能高速发展期间，深度神经网络(Deep Neural Network, DNN)凭借其强大的学习能力，在计算机视觉或自然语言处理等经典任务中均取得了相当优异的效果，越来越多的研究工作围绕深度学习算法的实际应用部署展开，例如人脸识别、智能安防等。而传统集中式云计算的高延迟与终端设备有限的计算存储资源，无法满足此类延迟敏感型与计算密集型的应用需求。针对这一问题，边缘智能（Edge Intelligence，EI）提出利用边缘计算低延迟、高带宽的优势与边缘协同计算方法实现人工智能应用的实时响应需求。
将深度学习从云端扩展到网络边缘的关键问题是：在网络、通信、计算能力和能耗的多重约束下，如何设计和开发边缘计算架构，以实现DL训练和推理的最佳性能[2]。
在诸多文献中，已经做了许多努力来研究边缘计算中的DNN分割，计算卸载问题。与在边缘或云端执行整个DNN相比，合适的划分与卸载可以有效地改善延迟等。由于某些中间DNN层的数据大小明显小于原始输入数据，[1]提出了动态自适应DNN手术（DADS）方案，该方案可根据动态网络状态，在神经网络层的粒度上在边缘设备和云之间进行DNN推理的分割。通过将其转换为最小割问题，为轻载条件开发了一种最佳解决方案，并且由于是NP难问题，在重负载条件下设计了一种3近似比率的算法。 [4]提出了一种适用于边缘计算环境的自适应分布式DNN推理加速框架，可以根据实际网络环境动态选择多路径DNN的最佳划分点，其中考虑了DNN计算路径的优化和DNN计算分区的优化，可以有效地加速DNN推理，尤其在复杂性较高的应用环境中。[6]提出了一种基于粒子群优化遗传算法（PSO-GA）的基于DNN的云、边缘和终端设备的卸载策略。[9]为工业物联网的分层机器学习任务分配提出了一种基于移动边缘计算的新颖框架，提出了分段凸优化问题，以使总延迟最小化——其取决于ML模型的复杂性，数据质量，设备级别和MEC服务器的计算能力以及通信带宽；通过解析得出封闭形式的解，并提出了一种优化的卸载策略选择算法。
Li E等人[10]则利用DNN分割和在适当的中间DNN层上提前退出推断这两点，在带宽缓慢变化的静态环境中，借助基于回归的预测模型得出最佳配置，否则通过在线更改点检测算法生成最佳执行计划， 将当前带宽状态映射到最佳配置。[11]介绍了可快速创建用于可视化分析的生产DNN切片，并使其能够部署在基于容器的现代边缘软件堆栈中的解决方案。[18] 设计了Neurosurgeon，这是一种轻量级的调度程序，可以以神经网络层的粒度在移动设备和数据中心之间自动划分DNN计算。
而相比大多数现有的解决方案只是将DNN分成两部分，[3]提出了一种将DNN划分为多个分区的技术，这些分区可以由终端设备本地处理，也可以卸载到一个或多个功能强大的节点,方案包括一个自适应DNN划分方案和一个基于匹配博弈方法的分布式计算卸载算法,可以显著减少总执行时间。另有[13]将DNN作为编码流水线，提出特征空间的无损或有损编码以增强边缘平台支持的最大输入速率和减少边缘平台的能量。[14]提出了一个具有准确性和时延意识的联合执行框架，提出了一种层级特征图压缩的精度感知策略以实现深度神经网络解耦，并进一步将深层结构解耦公式化为优化问题。
在网络的早期层学习的功能通常可能足以对许多数据点进行分类，因此早起退出机制也对DNN推理加速具有显著影响。[16]介绍了SkipNet，一种改进的残差网络，可根据前一层的激活有选择地跳过卷积块。在顺序决策的背景下制定动态跳过问题，并提出一种混合学习算法，将监督学习和强化学习相结合，以解决不可微分的跳过决策的挑战。 [17]提出了学习自适应早期退出或实施网络选择策略的总目标，并通过将策略学习问题简化为逐层加权二进制分类问题来解决了这一问题。 Teerapittayanon S等人[20]提出的新颖的深度网络体系结构BranchyNet证实了通过从分支机构提前退出来提高准确性、减少网络的推理时间的可行性；当已经可以高置信度推断出样本时，允许大部分测试样本的预测结果通过这些分支提前退出网络。
边缘智能具有繁荣的应用场景和充分的潜力，边缘分布式DNN训练体系结构可分为集中式、分散式和混合式（云-边缘设备）三种模式；联合学习，DNN分割，梯度压缩和迁移学习等可作为训练EI模型时改进关键性能指标的技术[7]。此外，亦有学者从分布式、参数优化等角度提出改进。[5]提出了一个集成的高效分布式深度学习（EDDL）框架，采用平衡的不完整块设计（BIBD）方法，通过以系统和结构化的方式删除DNN中的某些数据流来减少雾节点上的计算量。[8]提出可穿戴设备的深度学习框架DeepWear，通过蓝牙等本地网络连接从战略上将DL任务从可穿戴设备转移到配对的手持设备；其提供了各种新颖的技术，例如上下文感知卸载，战略模型划分和流水线支持，不需要Internet连接，消耗的能量更少，并且对于侵犯隐私性具有强大的作用。 [12] 介绍了一种有效的超参数优化方法，以设计硬件受限的自适应CNN；CNN的体系结构设置和网络选择问题都被视为要全局（联合）优化的超参数，对设计空间的基础属性增强了贝叶斯优化，以达到接近最佳的配置。[15]通过考虑所需的精度和推理时间来确定将哪个DNN模型用于给定输入；利用机器学习来开发预测模型，以快速选择预训练的DNN以用于给定的输入和优化约束，来动态选择要在嵌入式设备上使用的深度学习模型。[19] 提出了一种新颖的分布式深度神经网络架构（DDNN），该架构分布在计算层次结构中，包括云，边缘和终端设备。从不同设备传递来的信息聚合被内置到DDNN的联合训练中，并在推理时自动进行处理。 这种方法简化了分布式云卸载的实现和部署，并使传感器融合和系统容错自动化。
本课题拟构建边缘智能协同推断加速框架，结合DNN早期退出机制，优化分支网络的门限决策，结合边缘计算场景完成出口选择，另一方面设计面向边缘协同推断的模型动态划分算法，最终实现深度神经网络在边缘计算环境下的分布式部署与推断加速。
[1] Hu C, Bao W, Wang D, et al. Dynamic adaptive DNN surgery for inference acceleration on the edge[C]//IEEE INFOCOM 2019-IEEE Conference on Computer Communications. IEEE, 2019: 1423-1431.
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
