随着数字媒体技术的飞速发展、智能终端的普及、以及社交网络的火热,越来越多的信息采用多媒体内容呈现,使得多媒体数据爆炸式增长。多媒体数据包含了文字、图像、视频等多种形式,具有信息丰富、表观差异大、规模数据量庞大等特性特点。因此,面对当前的挑战,如何针对多媒体数据的特点,对大规模多媒体数据进行有效的内容分析和理解成为了当前的热门研究问题,也是一个极具挑战性的研究难题。社交网络多媒体具有丰富的社交媒体信息,比如用户提供的标签信息以及视觉对象的属性信息等。这些信息有助于多媒体数据的内容分析与理解。而多媒体内容分析与理解涉及到多媒体数据表示、图像-标签关联关系预测和高效索引等问题。因此,本论文重点研究了如何借助于社交媒体信息进行多媒体数据的属性特征表示、图像-标签关联关系预测和大规模数据高效索引问题。本文以基于社交媒体的多媒体内容分析与理解为研究课题,重点研究了图像的判别辅助属性特征学习、社交网络图像-标签关联关系预测和深度哈希索引等,主要研究内容和贡献如下。1)基于辅助属性学习的图像内容表示。针对人工定义属性数量有限以及不完整等问题,提出了一种辅助属性特征学习方法,通过学习判别辅助特征来实现图像内容表示的语义属性增强。针对小样本分类问题,为了学习判别性辅助特征,本方法在传统的预定义属性的基础上,同时学习辅助属性特征和多个分类器。为了学习得到的辅助属性特征更具有区分性,通过引入列稀疏约束,同时学习未知类别的辅助特征和分类器,使辅助属性特征和分类器具有最佳的相容性。在小样本分类问题上验证了该方法所提出的辅助属性特征学习方法的有效性。2)基于投影非负矩阵分解的社交网络图像标签优化。针对社交网络多媒体的用户标签存在噪声、缺失等问题,提出了一种新颖的投影非负矩阵分解模型,预测社交网络图像和标签之间的关联关系,对社交网络图像的标签进行优化。在非负矩阵分解的基础之上,本文通过假设图像潜在表示是通过正交变换矩阵从其原始特征表示投影而来的,从而无缝的解决了矩阵分解的新样本问题。同时,为了处理不相关的视觉特征,引入了行稀疏范数正则化来学习适合于选择出有效特征的映射矩阵。为了维持用户标签空间和视觉空间的局部几何结构,在矩阵分解时同时联合探索了视觉相似性和标签相关性。本文将方法应用于社交网络图像检索问题,取得了显著的检索性能,说明了该方法能够有效的改进社交网络图像-标签的关联关系,提高图像的标签质量。3)基于多级相似性学习的深度哈希索引。为了快速高效的索引海量的社交网络图像,提出了一种基于多级相似性的深度跨模态哈希索引方法,学习紧凑且有辨别性的哈希编码,探索多媒体数据多级语义相似相关性,并将其应用于大规模社交网络图像检索。该方法是第一次尝试联合深度特征表示学习、哈希函数学习和多级语义相似度学习形成的一个完整框架。其通过深度神经网络探索多媒体数据的多级语义相似相关性来学习有判别性的和紧凑的二进制哈希码。具体地,通过同时利用局部结构信息和语义标签信息来学习图像之间的多级语义相似度。同时,考虑用位平衡和量化约束进一步使统一的二进制编码更加紧凑。在两个广泛使用的多模态数据集上的结果验证了该方法在基于图像查询文本和基于文本查询图像两个检索任务上的优越性能。