基于深度学习的在线学习者表情监督方法第二十届中国虚拟现实大会 ChinaVR 2020

报告详情

基于深度学习的在线学习者表情监督方法

编号：11 访问权限：仅限参会人更新：2020-08-21 18:12:56 浏览：844次口头报告

报告开始：暂无开始时间（Asia/Shanghai）

报告时间：暂无持续时间

所在会场：[暂无会议] [暂无会议段]

暂无文件

摘要

学生的情感变化在教与学过程中反映了学生的学习状态或学习效果，对于在线教学而言，相比线下课程，教师难于获得学生学习过程中的情感状态，进而影响教学效果。这是在线课程所面临的主要问题之一。本文提出了一种自动生成三维面部表情方法来表示学生学习过程中的情感状态，同时保护学生的人脸隐私，旨在解决在线教学的情感缺失及隐私保护问题。该方法将视频作为输入，首先通过卷积神经网络对其面部进行人脸动作单元（AUs）识别，使用AU作为驱动数据，使得虚拟化身面部肌肉发生形变从而生成面部表情。根据AU及其强度进行情感分析得出情感指数，对其进行可视化分析生成图表。通过定量和定性的研究，在用户研究和对比实验中展示了该方法的优越性和有效性，为教师提供了具有学生隐私保护的情感监督和学习状态反馈方法。