随着社会和经济的快速发展,人们进入读图时代,以图作为研究对象的应用陆续出现。然而,这些研究均存在着图像底层特征与高层语义特征间“语义鸿沟”问题,并且该问题一直是图像研究的难点。随着社会媒体的兴起,微博备受关注,且它的数据不再简单的以文字形式展现在用户面前,文字附近往往配有图片信息和社会信息等多源信息,本文旨在利用微博中的多源信息研究微博中图片与文本间的相关关系。针对微博数据,本文首先提取多源信息的特征,即图像特征、文本特征和社会特征;然后根据提取的特征,提出了三种方法来识别图文相关关系,分别是基于BP神经网络的微博图文相关关系识别方法、基于SVM的微博图文相关关系识别方法以及基于特征映射的微博图文相关关系识别方法,它们分别利用机器学习中的BP神经网络和SVM训练模型,其中,基于特征映射的方法利用了遗传算法消除图像特征、文本特征和社会特征间的异构性。实验结果采用各类正确率和总正确率进行评估,实验结果表明,在总识别率上,基于特征映射的微博图文相关关系识别方法优于其余两种方法,在相关图文的预测方面,基于特征映射的微博图文相关关系识别方法比其余两种方法更有效,在不相关图文的预测方面,基于SVM的微博图文相关关系识别方法比其余两种方法更有效。