情感分析初期源于自然语言处理,但是随着微博、微信等社交媒体工具的蓬勃发展,在网上不仅有文本,还出现了图像、语音和视频等多媒体信息。分析这些信息可以有效地帮助舆情监控、个性化推荐等。本文主要研究图像和文本融合的情感分析,主要工作如下:(1)研究了显著性目标和人脸目标对图像情感表达的影响。提出一种多视觉目标融合的图像情感分析方法。首先在整张图像中检测显著性目标和人脸目标区域;然后利用特征金字塔改进CNN识别显著性目标情感,在多层监督模块上构建加权损失的CNN识别人脸的情感;最后将显著性目标情感、人脸目标情感与整张图像直接识别出的情感进行融合得到最终的情感分类结果。实验结果表明,多视觉目标融合的图像情感分析比直接识别整张图像的情感分析方法可获得更高的情感分类准确率。(2)研究了文本情感分析方法。现有的文本情感分析方法较少同时关注高级语义特征和低级词向量情感特征,以及整体句子和局部句子之间的交互特征,提出一种多粒度句子情感分析方法。首先利用双向LSTM结合注意力机制得到高级语义特征,并融合低级词向量情感特征得到句子级情感特征;然后串联CNN和BLSTM,并利用注意力机制,提取整体句子和局部句子之间的交互情感特征;最后结合整体句子特征、局部句子特征和交互特征信息进行句子的情感识别。实验结果表明,多粒度句子情感分析比单独使用整体句子或局部句子情感分析获得更高的准确率。(3)研究了情感分析的图文融合方法,提出一种多视觉目标多粒度句子的图文融合情感分析方法。结合已提出的多视觉目标融合图像情感分析方法和多粒度句子情感分析方法,设计了图文融合的情感分析方法。通过融合显著性目标情感特征、人脸目标情感特征、整张图像情感特征、局部句子情感特征、整个句子情感特征、以及整体句子或局部句子之间交互情感特征得到最终的图文融合情感极性。实验结果表明,多视觉目标和多粒度句子融合的情感分析方法是有效的,比单一通过图像或者文本模态的情感识别准确率更高。