论文部分内容阅读
社交媒体已成为现代社会舆论交流和信息传递的主要平台。针对社交媒体的情感分析对于舆论监控、商业产品导向和股市预测等都具有重大应用价值。但社交媒体内容的多模态性（文本、图片等）让传统的单模态情感分析方法面临许多局限，多模态情感分析技术对跨媒体内容的理解与分析具有重大的理论价值。 多模态情感分析区别于单模态方法的关键问题在于，如何综合利用形态各异的多模态情感信息，来获取整体的情感倾向性，同时考虑单个模态本身在情感表达上的性质。针对该问题，利用社交媒体上的多模态内容在情感表达上所具有的关联性、抽象层级性的特点，提出了一套面向社交媒体的多模态情感特征学习与融合方法，实现多模态情感分析，主要内容和创新点如下: 1.针对社交媒体多模态信息在情感表达上具有关联性的问题，提出了一种基于贝叶斯网络的跨模态情感关联模型(Multi-modal Correlation Model，MCM)，来对社交媒体内容的情感表达进行建模。利用网络中不同模态间的先验和后验概率，综合考虑了1）各模态自身对情感的贡献;2）不同模态在情感表达上的相关性。实现了对文本、图片和表情符号等不同模态情感特征的跨模态融合。实验结果验证了模态关联性对多模态情感分类具有积极效果。 2.针对模态和情感间存在的语义鸿沟问题，结合深度学习算法和人类的先验知识，提出了一种层级性的情感特征学习策略（Hierarchical Fine-tune LearningStrategy，HFLS）。从特征学习数据和学习模型的层次结构两方面入手，利用微调（fine-tune）机制，逐层地学习模态的低层特征、中层情感特征和高层情感特征。实验结果说明，相比于现有的情感特征学习方法，HFLS能够很好地减小模态与情感间的语义鸿沟。 3.针对多模态在情感表达上的关联性和层级性问题，结合MCM的分析结论和HFLS学习策略，提出了一种通用的多模态情感特征学习方法。利用社交媒体中存在的大规模情感信号，以无监督的方式学习具有强情感关联性，和高度情感抽象层级的多模态情感特征。实验结果说明了该方法产生的情感特征优于现有情感特征学习方法、并且具有很好的泛化能力。