论文部分内容阅读
随着多媒体技术、互联网技术以及社交网络的迅速发展,人们可以访问的信息资源空前丰富。图像数据因其形象直观、蕴含信息综合性强等特点,应用领域逐渐增多,其数量更是以惊人的速度增长。但由于图像数据本身的结构复杂性、蕴含信息的多样性以及时空的多维性,导致有效的组织和管理大规模图像数据、快速的检索用户需求的图像成为学术界的研究热点。为此,图像的情感语义分析和检索技术应运而生,它综合人工智能、计算机视觉、模式识别、心理学以及数据库管理等领域的相关知识,对图像数据蕴含的高层情感语义进行分析,旨在获得图像蕴含的内在情感语义信息,建立实用性强的图像检索系统。因此,对图像进行情感语义分析和高效检索技术的研究有着广阔的应用前景和实用价值。本文以场景图像为研究对象,对SUN Database数据库中的各类场景图像进行有针对性的情感语义分析和检索方法研究:从建立开放行为学实验环境下的场景图像情感语义数据获取平台开始,选择并改进了OCC情感模型,分析了场景图像语义理解方面存在的语义模糊性问题,采用粒子群(PSO)算法优化BP神经网络的权值和阈值,并由Adaboost算法组合15个BP神经网络的输出结果,构建强预测器,对场景图像的情感语义类别进行预测,搭建了适合大数据处理的基于MapReduce并行编程模型的场景图像检索平台,系统地研究了场景图像的情感语义分析和检索方法。主要成果及创新点如下:(1)针对人们在理解图像时存在的语义模糊性问题,本文提出了基于模糊理论的场景图像情感语义自动标注方法。通过选择OCC情感模型中与场景图像情感语义相关性较强的10个情感词作为基本情感值,本文又定义了3个隶属变量{非常,中性,几乎不}来描述人们对场景图像理解的情感程度,采用基于权重的不规则分块方法提取了场景图像的颜色视觉特征,并使用T-S模糊神经网络进行语义特征映射,实现了用基本情感值和模糊隶属度对场景图像情感语义的自动标注,实验验证了不同用户对同一场景图像的情感理解方向是一致的,但理解的深浅程度有所差异。(2)改进了OCC情感模型,提出了融合情绪、性格因素等认知因素的改进的OCC情感建模方法。本文使用维度观测量(PAD)模型描述人的情绪因素,得到OCC情感词与P、A、D各维度值的映射矩阵,使用五因素模型(FFM)模型描述人的性格,将性格分为五大类,再得到性格与情绪的映射矩阵,最后利用得到的两个映射矩阵将OCC情感模型量化,最终得到了融合情绪、性格因素的OCC情感量化模型。(3)为提高对未知场景图像情感语义类别的预测精度,提出了基于Adaboost-PSO-BP神经网络的场景图像情感语义类别预测算法。本文应用改进的融合情绪、性格因素的OCC情感建模方法提取场景图像的情感语义特征向量,使用粒子群(PSO)算法优化BP神经网络的权值和阈值,将优化后的BP神经网络作为弱预测器,用Adaboost算法组合15个BP神经网络弱预测器的输出构建强预测器,有效的提高了场景图像情感语义类别的预测精度。(4)针对大规模场景图像数据,为实现高效检索,提出了一种基于MapReduce并行编程模型的场景图像检索方案。本文设计了Hadoop集群并行处理架构下,大规模场景图像的并行存储和检索方法,将Mahout环境下分布式Mean Shift算法应用于场景图像的特征聚类中,实现特征并行聚类和匹配,提高检索性能。实验从检索准确率、加速比与效率、数据伸缩率等方面验证了提出的分布式并行检索方法的高效性。本文围绕场景图像的情感语义理解展开研究,从情感语义数据的获取、自动标注、情感语义类别的预测以及大规模场景图像数据的高效检索等方面进行了探讨和研究。理论上,对场景图像蕴含的情感语义进行了抽象、分析和形式化表示,实践上,搭建了实验平台进行了验证和分析,为各类图像数据的情感语义理解提供了新的思路和途径。