论文部分内容阅读
作为—个涉及计算机科学、心理学和认知科学的多学科交叉研究领域,情感计算具有巨大的科研价值和广阔的应用前景。其潜在的应用领域包括人机交互、自动驾驶、医疗和教学等。因此,该领域受到了国内外研究人员的广泛关注。情绪识别是情感计算领域一个极为重要的研究方向。基于语音、视频、生理等信号均可实现情绪识别。与语音、视频等信号相比,基于生理信号的情绪识别具有可以真实反映的日常生活中的人类情绪、可以克服人类社会掩盖的可能伪影等优势,因此,成为近年来热门研究方向。虽然相关研究已取得了丰硕的成果,但仍存在—定的局限性:就数据而言,多聚焦某一种生理信号,数据不能全面系统地记录和反应被试者的情绪状态;就特征而言,多聚焦传统的时频域特征,特征不能表征情绪状态随时间的动态变化过程。本文在系统梳理国内外关于生理信号驱动的情绪识别相关参考文献的基础上,以开源数据集AMIGOS为研究载体,构建多生理信号驱动的情绪识别模型。本文的主要研究内容如下:首先,总结分析多生理信号的采集和预处理过程。通过调研和对比,选定AMIGOS作为本研究的数据集。基于AMIGOS,总结分析了在多生理信号采集实验中,如何选择情绪诱导材料和实验设备、如何设计被试者自评估报告、如何采集多模态生理信号、如何对所采集的信号进行了降噪等预处理。其次,综合利用时频分析、非线性分析和深度学习技术,构建系统的特征体系。初步构建特征体系:一方面,从时域、频域和非线性域三个角度,对多生理信号(心电信号、脑电信号和皮电信号)进行特征提取;另一方面,采用滑动窗口,利用深度学习算法LSTM,提取多生理信号的时序特征。随即,使用随机森林算法和十次交叉验证技术进行特征选择。最后,基于机器学习算法,构建情绪识别模型。本研究基于支持向量机、k近邻和XGBOOST四种机器学习算法,分别构建识别模型;在对比了四种算法的性能后,最终选择相对最优的SVM构建唤醒分类模型,选择相对最优的XGBOOST构建价态分类模型。实验结果表明,借助LSTM提取的时序特征,可显著提高情绪识别的分类性能:与AMIGOS官方实验结果相比,就价态而言,其准确率提高了23.3%;就唤醒而言,其准确率提高了15.2%。