基于知识引导注意力机制的脑电情感识别方法研究

来源 :兰州大学 | 被引量 : 0次 | 上传用户:kissface
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感在人们的日常生活中扮演着至关重要的角色,它影响着人类的决策、感知和理解过程,因此情感是人际交往中必不可少的因素。由于情感是人类最重要的认知活动之一,将这种认知能力应用到人工智能中能够促进和提高人机之间的交互与协作。情感计算的目标是发展具有能够感知、理解和调节情感能力的人工智能。作为情感计算中最重要的一环,情感识别为将人类情感赋予智能机器提供了一种可能的途径,这是研究具有情感能力的人工智能的第一步。脑电信号(Electroencephalograph,EEG)能够直接反映大脑细胞的潜在神经活动,具有不易伪装、采集便携等特点,相比面部表情、身体姿态等外部特征具有更好的客观性。近年来,基于脑电信号的情感识别研究已经成为人工智能领域发展中的热点之一。但是,脑电信号自身的复杂性和非平稳性是利用其构建情感识别模型的两个障碍。此外,脑电信号易受到个体差异性的影响,从而导致模型性能不够稳定,识别算法的通用性可能会降低。因此,如何在脑电信号中挖掘更有效的相关性信息以及提取更能反映情感状态的高层次表示,是构建具有更强泛化性能的情感识别模型的重要前提。考虑到人类情感是一种高度主观的现象,脑电信号也会因为个体差异(如人格特征、性别和年龄等)的影响而产生区别,从而很大程度限制了模型的表现能力。因此,将这些影响因素融入到脑电信号的建模和情感识别的过程中是非常有必要的。针对脑电情感识别建模中存在的缺陷,本文深入挖掘了个体差异性、脑电信号和情感状态之间的相关性,提出了一种基于知识引导注意力机制的脑电情感识别模型。论文主要研究工作和成果包括:(1)提出一种基于知识引导注意力机制的循环卷积神经网络模型:首先利用卷积神经网络强大的表示学习能力提取脑电信号中丰富的时域和空域表示,并设计一个特殊的卷积核来同时学习大脑不同区域间和区域内的相关性。其次,考虑到不同人格、年龄和性别的个体,其脑区的活动状态也不同,造成大脑不同区域对于情感识别的贡献程度存在差异,因此进一步提出一种基于知识引导的区域注意力机制来探索不同大脑区域对情感识别任务的贡献程度。最后,使用基于注意力机制的长短时记忆网络对脑电信号的动态时域特征进一步建模。(2)提出一种基于知识引导注意力机制的图神经网络模型:考虑到(1)中所述的基于脑区的空域模型无法深入提取每个电极的局部特征,本文通过引入图神经网络对呈现非欧式规则的脑电电极进行建模,更加细致的学习脑电信号的空域特征。与以往基于预定义图结构的研究不同,本文提出了结合脑区编码信息的自适应图表示学习,以数据驱动的方式自适应的学习脑电信号的图结构表征。之后使用基于注意力机制的时域卷积网络学习脑电信号的时域特征,同时使用基于知识引导的图注意力网络更深入的探索脑电信号的空域信息,在有效结合脑电信号的时空域特征下,实现了更加精准的情感识别。(3)通过在AMIGOS脑电情感数据库上进行对比实验,在Arousal和Valence两个维度的情感分类结果表明,与其他传统机器学习方法和现有深度学习方法相比,本文提出的基于知识引导注意力机制的循环卷积神经网络模型在被试独立的情感识别任务中具有更加优秀的分类能力,在AMIGOS数据集上相比于现有的研究方法分类准确率提升了11%-16%,有力论证了本研究所考察的知识引导的有效性。在引入图网络对呈现非欧式规则的脑电电极进行建模后,分类准确率进一步提升了2%-3%。通过对注意力权重和学习得到的邻接矩阵的可视化分析,结果表明所提出的模型同时也具有较好的可解释性。所有实验结果证明了引入其他影响因素对基于脑电信号的情感识别建模是有效的。综上所述,本文提出的基于知识引导注意力机制的脑电情感识别模型可以深入挖掘脑电信号与情感及个体间的潜在关系,并提取出更具区分性和判别性的有效表示。这意味着有必要对脑电信号和其它影响因素进行融合建模,进一步提升分类模型的鲁棒性和泛化性,这为基于脑电信号的情感识别建模提供了一种新的思路。
其他文献
随着5G技术、深度传感器以及大数据的兴起,极大提升了计算机处理自然交互信息的能力,也在动态手势识别领域中掀起了对3D骨骼数据研究的新热潮。传统的方法,通常取决于手工制造的遍历规则,在描述骨骼数据的语义信息时,其表达能力有限,泛化难度大。手势中的高级信息是通过一系列复杂的复合动作来表示的,目前,基于深度网络和骨骼图的方法在学习手势的特征上取得了一定的效果。然而,在学习有效的时空信息问题上仍存在很大挑
学位
热应激是影响奶牛生产性能与健康的主要因素之一,奶牛遭受热应激后极易对生产性能、机体代谢和免疫系统产生影响,严重制约了我国奶牛养殖业的健康快速发展。奶牛遭受热应激时,下丘脑-垂体-肾上腺轴被激活,体内糖皮质激素水平发生改变,而糖皮质激素作为奶牛的主要应激激素,具有多种生物学功能,可以调节机体多种免疫功能。本文就热应激期间奶牛体内糖皮质激素对奶牛非特异性免疫和特异性免疫功能的影响进行阐述,旨在为缓解奶
期刊
目的对FIGO(Federation International of Gynecology and Obstetrics,国际妇产科联合会)分期ⅠB-ⅡA期的早期宫颈癌患者,根治性手术和根治性放化疗可以取得同等的生存结局。接受手术治疗的患者中,相当大一部分因合并预后不良因素需要补充术后放疗,以降低局部复发和远处转移的概率。对这部分患者而言,手术+放疗的治疗模式,会使患者遭受由手术和放疗带来的双重
学位
【研究目的】分析食管癌手术患者术后吻合口瘘的相关危险因素,探索吻合口瘘的治疗及预防措施。【研究方法】收集2012年1月1日至2019年12月31日于汕头大学医学院附属肿瘤医院胸外科接受食管癌手术患者2104例。依照纳入标准及排除标准,筛选出1904例行食管癌手术患者纳入本次研究。根据术后是否发生吻合口瘘分为无吻合口瘘组和吻合口瘘组,对比分析两组间各相关因素的差异性。结合临床经验及查阅相关文献,选择
学位
目的:利用16S r RNA基因测序方法研究视神经炎患者与正常对照组之间肠道菌群组成的差异,探讨肠道菌群的组成与视神经炎发病之间的联系,以论证通过改善肠道菌群治疗视神经炎的可行性。方法:收集2020年12月至2022年3月于汕头大学·香港中文大学联合汕头国际眼科中心就诊的视神经炎患者以及正常对照组的粪便样本。提取粪便DNA片段,利用通用引物将提取的16S r RNA基因中的V3-V4区域片段进行P
学位
外科感染发生率居高不下,无论原发或继发感染,主要治疗措施是清除感染源。对于危重患者,如不能达到一次性清除感染源的目的,则应根据病情采取相应的引流措施。目前,临床研究显示双套管引流在普通外科多种复杂感染性疾病中取得了良好的治疗效果。本文对相关研究进行归纳总结,以期为外科医生在临床工作中处理复杂感染提供指导及帮助。
期刊
技术的蓬勃发展使通讯行业发生了巨大的变化,也带来了许多方便,随着多种通信格局的出现,频段划分趋向密集化,导致频谱资源利用率大大提升。由此就导致单频通信系统已经不能满足需求,于是,就产生了多频通信系统。在通信系统中,滤波器是一个非常关键的组成部分,其频带相应地也从单通带发展到多通带。不仅如此,5G时代的到来进一步要求滤波器在性能优异的前提下朝着小型化、集成化的方向发展。因此,本文的研究主要集中在多模
学位
目的:通过双眼分视系统比较弱视儿童与正常儿童的脑视觉认知功能,探究弱视儿童脑视觉认知功能的改变。方法:选择2020-12至2022-02于汕头国际眼科中心就诊的年龄6-13岁的儿童,其中弱视患者43例(平均年龄8.44±2.19岁,男23人女20人),正常对照组49例(平均年龄8.88±2.04岁,男25人女24人)。所有患者均进行散瞳验光、裂隙灯、眼底检查和立体视检查,并利用双眼分视训练系统评估
学位
目的:评估原发性闭角型青光眼患者行白内障超声乳化摘除联合人工晶体植入联合房角分离术后早期囊袋内人工晶状体(Intraocular Lens,IOL)的稳定性,分析IOL倾斜和偏心与术后IOL源性散光及绝对屈光预测误差的相关性。方法:横断面研究,纳入2021年5月至2021年12月于我院行白内障超声乳化摘除联合人工晶体植入联合房角分离术的原发性闭角型青光眼合并白内障患者及行白内障超声乳化摘除联合人工
学位
目的:介绍运用DSA引导下行选择性神经根造影与阻滞,治疗顽固性神经根型颈椎病,并评估临床疗效、并发症。方法:32例顽固性神经根型颈椎病患者,在三维DSA类CT重建引导下经椎间孔穿刺行选择性神经根造影成功后,注入利多卡因与得宝松混合镇痛液。分别测定患者治疗前、治疗后3d、1月、6月、12月、24月视觉模拟评分(VAS),同时按照改良MacNab评估临床疗效。结果:32例治疗前VAS评分平均值为(8.
期刊