近些年来,随着人工智能与大数据技术的发展,智能对话助手的应用场景越来越广泛,人们不再满足于智能对话助手简单的问答功能,赋予智能对话助手情感成为人们下一步的研究目标,对话情感识别也因此受到了研究者们的关注。公用对话数据集的涌现和多媒体处理技术的发展也为对话情感识别任务提供了便利的条件。本文基于多方对话情感识别数据集MELD和多方对话关系抽取数据集Dialog RE展开研究,针对多方对话中的说话者,上下文以及多模态信息构建模型,主要贡献包括以下三点:首先,本文提出了基于角色指代的多方对话关系抽取模型CGAT。将一段对话形式化成异构图,定义不同节点以及节点之间的连接方式。模型首先使用层次化的编码方法,获取话语的特征作为图中话语节点的初始表示;然后使用图注意力网络进行编码,获得对话更全面的表示。实验结果表明,CGAT这种引入对话中的人物角色指代信息并基于图网络进行对话建模的方式,增强了对话中人物信息的表示。相较于基线模型,CGAT模型在验证集上的F1值高出2.9%,在测试集上的F1值高出4.6%。其次,结合多方对话文本中的说话者和上下文特征,本文提出了融合说话者人际关系的多方对话情感识别模型SSR-GAT:（1）将角色关系作为情感识别任务的外部知识库引入;（2）使用图网络将对话构造成图,说话者信息和话语信息作为属性存储在话语节点上,话语节点之间的边上信息使用说话者之间的人际关系进行初始化;（3）使用图注意力网络进行编码获取对话中的情感特征。SSR-GAT模型强调了多方对话中说话者的重要性,在同样的对话场景中,不同说话者之间由于人际关系的不同,在话语中对情感的表达和解读可能有很大差异。实验结果表明,本文所提出的SSRGAT相较于基线模型有一定的提升,F1值达到了62.4%。最终,结合多方对话中的说话者、上下文和多模态特征,本文提出了融合多模态特征的多方对话情感识别模型MMCAN。模型将重点聚焦在模态间的融合,先将文本和音频特征经过单模态编码器进行模态内的特征编码,进一步通过多模态交叉注意力模块进行多模态间的交互计算,增强对话中话语及上下文的表示。MMCAN致力于对多模态特征进行深度融合,通过音频信息补足由文本信息不足造成的对话情感偏差,从而提升模型对话情感识别的能力。实验结果表明,MMCAN模型有效提升了对话情感识别任务的性能,在情绪七分类任务上,F1值提升至62.9%,在情感三分类任务上,F1值提升至70.6%。