基于Jetson Nano深度学习平台的学生课堂学习评估系统 – 学生的姿态与表情分析文献综述

 2021-10-22 21:44:27

毕业论文课题相关文献综述

文 献 综 述

一、选题背景

课堂一直是在校师生学习、交流的重要场合,因而受到学校和社会的广泛关注和重视。然而近年来,随着手机、平板电脑等智能设备在人们生活中不断普及,大学课堂中学生上课注意力不断被这些智能终端所吸引,导致大学课堂中大量注意力不集中的情况出现。因此,准确评估大学课堂里学生的听课效率对学校提高教学质量有很大帮助。传统的课堂教学质量评估大多基于人工,准确率不高,且人工观察的目标也有限。基于深度学习平台的学生课堂学习评估系统能有效地克服这些困难。

人体姿态估计课题的发展已越来越贴近实际,例如在步态分析、人机交互以及视频监控等领域,人体姿态估计均具有广泛的应用前景。目前主流的人体姿态估计算法可以划分为传统方法和基于深度学习的方法。传统方法一般是基于人体结构和形变部件模型,设计2D人体部件检测器,使用模型建立各部件的连通性,并结合人体运动学的相关约束不断优化模型来估计人体姿态。相较之下,使用摄像头获取图像更为方便,虽然其采集的彩色图像容易受到光照等环境因素的影响,但是可以利用神经网络提取出比人工特征更为准确和鲁棒的卷积特征,以预测更为复杂的姿态,所以基于深度学习的体姿态估计方法得到了深入的研究。

人脸表情是最直接、最有效的情感识别模式。它有很多人机交互方面的应用,例如疲劳驾驶检测和手机端实时表情识别。一般的表情识别可以用单个感官完成,也可以用多个感官相配合来完成。它是一个整体识别和特征识别共同作用的结果。具体说来,远处辨认人,主要是整体识别,而在近距离面部表情识别中,特征部件识别则更重要。另外,人脸上各部件对识别的贡献也不相同,如眼睛和嘴巴的重要程度大于鼻子。随着人脸的计算机处理技术不断完善,利用计算机进行面部表情分析也就成为可能。总体而言,由于各种表情本身体现在各个特征点运动上的差别不是很大,表情分析是一个非常困难的研究方向。

此外,本设计使用的NVIDIA JetsonNano深度学习平台和其他嵌入式设备一样,具有功耗低,便携,专用性强等优点。该平台是ARM架构,配备和x86一样的NVIDIA GPU,可以在上面安装TensorFlow、PyTorch这些框架,原则上训练和推理都可以。只不过和x86平台相比,这些GPU算力较弱。Jetson Nano系列只有128个CUDA核心,所以只能进行较简单的训练,最主要的应用还是在推理层面。

二、研究现状

1.人体姿态估计

人体姿态估计,即给定一张静态的图像或者是一段视频,这些图像或视频中包含人的信息,利用特定的人体姿态估计方法对人体的某些关节点进行检测,然后再将关联的关节点相连,进而组成完整的人体姿态。人体关节点通常对应人体上有一定自由度的关节,比如颈、肩、肘、腕、腰、膝、踝等。通过对人体关节点在二维空间相对位置的计算,来估计人体当前的姿态。进一步,增加时间序列,通过观察一段时间内的人体关节点的位置变化,可以更加准确的检测姿态,做更抽象的人体行为分析。

目前有大量的研究人员在进行有关人体姿态估计的研究,无论是2D人体姿态估计还是3D人体姿态估计,都涌现出许多具有创新性的方法,但是目前要将这些研究很好地运用到实际生产生活中去还是存在一些困难,这些困难一部分是由人体姿态估计本身的特性导致的,另一方面是由目前还不完备的研究条件异致的。具体面临的困难有以下几点:

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。