基于图神经网络的脑电信号情感识别

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:chouser1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感是人类在日常生活中随着意识产生的心理和生理状态。情感识别是实现人-机情感交互的基础和核心技术。随着深度学习相关技术的快速发展,情感识别已经成为计算机科学、认知科学等多门领域的研究热点。脑电信号作为大脑皮层的生理信号,能够直接体现人类的情感状态,与面部表情和行为姿势等人体外在信号相比,脑电信号具备不可欺骗性,因此基于脑电信号的情感识别研究具有实际意义。本文将脑电信号作为情感识别的依据,分别使用CNN-LSTM网络模型和图神经网络中的模型实现对脑电信号的情感分类。本文主要研究内容如下:(1)提出了一个基于CNN-LSTM网络的脑电信号情感识别模型。该模型对预处理后的62个通道的脑电信号分别采用一维卷积神经网络自主提取情感特征。然后,将62个通道的特征序列依次输入到长短期记忆网络(Long Short-term Memory,LSTM),利用LSTM提取多通道融合情感特征。最后,将LSTM输出的多通道融合情感特征输入到全连接层和softmax分类器,实现对积极、中性、消极这三种情感的分类识别。在脑电情感数据集SEED上进行了情感识别实验,获得了88.15%的平均识别率。除此之外,使用了一个基于LSTM网络的脑电信号情感识别模型,该模型输入的是脑电信号每个通道的情感特征,利用LSTM网络提取多通道融合情感特征。最后,将LSTM输出的多通道融合情感特征输入到全连接层和softmax分类器,实现对情感的分类识别。最终在基于微分熵特征的情感分类实验中取得了83.24%的平均分类准确率。实验结果表明,本文所提出的CNN-LSTM模型效果更好,验证了该方法的可行性和有效性。(2)提出了一个基于图卷积神经网络的脑电信号情感识别模型,该模型输入的是脑电信号每个通道的情感特征。通过图卷积层中的切比雪夫滤波器提取脑电信号情感特征在空间结构上的关联性,图卷积层的输出特征向量输入到全连接层,最终使用softmax分类器实现情感的分类,情感类别总共有三类,分别是积极、中性、消极。在SEED数据集上进行了实验,最终在基于微分熵特征的实验中取得了83.68%的平均分类准确率。与基于LSTM网络模型的方法相比,基于图卷积神经网络的方法取得的实验结果略胜一筹,表明图卷积神经网络对脑电信号建模的可行性。(3)为了进一步提高脑电信号情感识别的准确率,提出了一个基于图注意力网络的脑电信号情感识别模型。该模型对输入的脑电情感特征进行情感分类,情感类别为积极、中性、消极三种。本文所设计的图注意力网络共包含两层图注意力层,第一层用于聚合邻居节点的特征,第二层用于实现情感的分类。其中,在第一层图注意力层中分别使用单头注意力机制和四头注意力机制。在SEED数据集上进行了实验,最终在基于微分熵特征的四头图注意力机制的实验中获得了90.22%的平均识别率,相比基于CNN-LSTM模型的实验提升了2.07%,验证了该方法的有效性。
其他文献
网络流量分类是网络分析中的一个分支,它对提高服务质量和管理网络资源等起着重要作用。随着网络技术与互联网服务的发展,网络视频服务持续增长。为了更好地区分不同质量的视频服务和管理网络资源,对视频业务进行细粒度分类变得越来越重要。它能够帮助网络服务商提高服务质量(Qo S),从而能够改善用户体验(Qo E)。本文提出了一种特征信息扩展方法,并将得到的双向特征信息和交叉特征信息转化为图片,应用卷积神经网络
严格反馈非线性系统常见于民用与国防建设中,例如机械手、飞行器、船舶等,对此类系统的智能控制具有重要研究意义。基于神经网络的自适应控制方法常被用于严格反馈非线性系统的控制中,但是传统神经网络控制方法存在着瞬态控制性能较差、学习参数数量较多等问题。本文主要针对此类问题,结合预估器、最少学习参数等技术构建了一套基于预估器的神经网络自适应动态面控制策略,按照从单个系统到多智能体系统脉络,分别考虑严格反馈非
“内卷”作为2020年的网络热词,表现了当代年轻人在竞争愈发激烈的环境中不断激发自我而带来越来越多压力的循环状态。在这种氛围下,“丧”文化已然成为一种当代青年亚文化,焦虑、虚无是年轻人们的普遍心态。毕业作品纪录片《小翅膀》中的主人公便是具有这种气质的一位代表人物。《小翅膀》一片以一位大学毕业之后在农村老家做直播的同性恋男生为主要拍摄对象,展示了他在家工作和生活的状态,展现了一个特立独行却也有着平凡
中共中央国务院《关于实施乡村振兴战略的意见》中指出要高度重视发展农村义务教育,优先发展农村教育事业,建好建强乡村教师队伍,推动基础教育的均衡发展。《全国深化新时代教师队伍建设改革意见》和《教师教育振兴行动计划(2018—2022年)》中指出,要积极促进中小学教师专业发展,尤其是提升农村中小学教师的师德与专业能力,推进我国农村教育水平的提升。农村音乐教师是农村教师的重要组成,是提升农村音乐教育质量的
电影作为视听艺术,声音与画面是主要的叙事媒介。在叙事过程中,根据影片要表达的主题、内容等的不同,有时以画面为叙事主体,有时又以声音为叙事主体,影视画面与声音相互作用,产生神奇的“声画反应”,共同完成叙事。其中,声音叙事有不可替代的作用和优势,甚至在没有画面的时候独自完成叙事。目前,在探讨影视叙事的论文中,探究视觉元素叙事手法的论文居多,对影视声音叙事的相关研究占少数。本文主要从影视叙事的角度出发,
随着人工智能和计算机视觉技术的快速发展,人体行为分析作为重要的研究方向,在诸多场景中得到了广泛的应用。其中,人体跌倒行为分析能够有效监测老人或者儿童跌倒事件,通过及时预警救助避免造成更大伤害,已经引起了业界广泛关注。本文立足于家居场景,对基于机器学习的人体跌倒行为分析技术进行研究,主要工作内容如下:(1)研究了人体跌倒行为分析相关算法。首先介绍了前景目标提取算法;然后研究了人体跌倒特征提取方法;最
研究旨在介绍饲料品质提升的生产管理经验及质量管理的关键点。针对决定饲料品质的新鲜度、清洁度、细粉度、均匀度、熟化度、酥软度、酸碱度和变异度等"八度"指标提出相应的管理思路和执行标准。通过对"八度"中各关键点的把控,可以有效提高管理效率,更好地提升产品品质。
纳西族是一个拥有璀璨文化的民族,其音乐文化独树一帜。倘若把纳西族的音乐比作是一棵树,民歌“谷气”就应该是这棵树的根茎。“谷气”历史悠久、寓意悠长,是纳西族地区流传最广、脍炙人口的民歌,更是纳西族音乐文化的源流和民间口述文学的重要载体。本文通过对纳西族族源追溯、民歌“谷气”的种类以及与其他民歌的对比等几个方面的内容,将民歌“谷气”的音乐风格特征进行了深入浅出的分析,并且利用田野调查收集来的一手资料,
随着人工智能的不断发展,智能批阅系统走进了人们的教学生活。深度学习图像处理技术在手写体字符识别中取得了突破性的进展,因此采用深度学习技术对学生的作业、试卷进行自动识别批阅具有重要的意义。本文研究的应用场景为小学生试卷。在试卷采集过程中,由于人工扫描的过程中可能不规范操作导致了图像倾斜和不清晰,进而影响手写字符识别。再者试卷文本字迹模糊,学生手写体答案与印刷体题目重合等情况也会影响手写字符识别。传统
多元文化教育的研究及实施已成为目前全球教育发展与改革的热点之一。多元文化教育旨在增进文化之间的相互了解、尊重彼此文化间的独特性和存在价值进而促进各民族文化的健康发展,实现各地区、各国家、各民族人民享有平等的受教育权和发展权。这一思想在促进全球文化的大发展大繁荣、加深各文化间的理解、解决新时代的全球性问题等方面发挥了推动作用。在此背景下,音乐教育领域也注意到了多元文化教育理念与音乐教育的内在联系。相