卷积神经网络错误容忍性分析文献综述

 2022-10-27 10:45:08

文献综述(或调研报告):

本课题的目标是在NVDLA架构下,通过对卷积神经网络的权值参数注入误差,来研究卷积神经网络的错误容忍性。

一、NVDLA架构分析:[1]

NVDLA(Nvidia Deep Learning Accelerator)架构是Nvidia的开源深度学习加速器,他提供了一个简单、灵活、鲁棒性强的神经网络推理加速方式。它将深度学习包括卷积、激活、池化、归一化在内的几个标准计算模块化,模块间可以相互独立工作,有着很好的扩展性,可配置性强。

硬件架构上,分为Headless与Headed两类。Headless针对成本、功耗敏感的小型电路,Headed针对性能、速度敏感的大型电路。两种架构,在推理过程中,都不可避免地需要从系统主存储器(DRAM)或者专用存储器(SRAM)不断地进行访问和读写操作。本文研究的目标即在于外部存储器位单元出错对在该架构下运行的神经网络分类精度的影响。

二、关于卷积神经网络:

卷积神经网络自1989年诞生起,经历了近30年的发展,先后诞生了LeNet、AlexNet、GoogLeNet、ResNet等等各种网络架构。卷积神经网络作为一种机器学习方式,在机器视觉等领域发挥着越来越显著的作用。

LeNet-5[2]是第一个具有实际应用价值的CNN,他提出的局部感受野、权值共享、下采样的概念成为后续CNN的发展基础。

在此基础上,AlexNet[3]将标准的激活函数替换为ReLU(整流线性单元),结合局部标准化,将CNN图像识别的准确率大幅度提升。

GoogLeNet[4]参照Inception结构,采用局部最优的模块化构造,使得网络参数大幅减少,网络稀疏性增强,在保证分类精度的前提下,加快了训练速度,降低了运行的硬件资源要求和功耗。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。