【摘 要】
：
常言道,一图胜千言,很多时候一张图片带来的信息胜过千言万语。随着互联网的迅速发展,人们越来越热衷于分享图片来替代文字表达自己的情感。心理学家研究发现,人类会对所看到的图像产生不同的情感响应,因此可以借助图像情感分析对社交网络上获取的数据进行研究,提升互联网数据分析的准确性,该方向有着广泛的应用前景,如态度挖掘,政选预测,抑郁检测等。图像情感分类任务旨在利用机器学习算法对图像中的情感信息进行挖掘,并
论文部分内容阅读
常言道,一图胜千言,很多时候一张图片带来的信息胜过千言万语。随着互联网的迅速发展,人们越来越热衷于分享图片来替代文字表达自己的情感。心理学家研究发现,人类会对所看到的图像产生不同的情感响应,因此可以借助图像情感分析对社交网络上获取的数据进行研究,提升互联网数据分析的准确性,该方向有着广泛的应用前景,如态度挖掘,政选预测,抑郁检测等。图像情感分类任务旨在利用机器学习算法对图像中的情感信息进行挖掘,并自动预测观察者在观察图像时所受到情感刺激的类别。目前研究发现,图像的风格与内容是引起情感反应的两大主要因素。图像内容中的深层语义信息表示了人、物体和场景等目标物之间的相互关系,蕴含了丰富的情感信息,进一步研究发现,图像情感分析的关键特征集中在局部区域,即情感区域;图像风格描述了图像的颜色、纹理、样式等属性,是图像的浅层信息,图像风格会给观察者带来直观的视觉刺激,尤其在图像中缺乏显著性物体时,图像风格对人类情感的激发作用会更加突出。然而,一方面,现有基于注意力机制的方法对图像情感区域的发现是一次性的,难以获得完整的多层次情感区域,同时也缺少对图像区域间相互关系的挖掘;另一方面,目前的深度图像情感分类算法中缺少基于图像风格对图像情感分类的研究,而传统的风格特征提取方法难以集成到深度神经网络。针对以上问题本文提出了两个算法,主要工作如下:（1）基于对抗性擦除注意力的图像情感分类算法:当前基于注意力机制的图像情感分析方法在获取图像情感区域时是一次性提取完成,而人类视觉的注意并非一次完成,而要先进行区域相关分析,分层次获取图像情感刺激区域,最终得到情感类别归属。针对此问题,本文提出了一个应用了对抗性擦除的多阶段注意力机制图像情感分类算法。模型整体分为两个模块:对抗性擦除模块和区域信息收集模块。其中对抗性擦除模块引入了对抗性擦除方法对情感区域进行再发现,弥补传统注意力机制的缺陷,提升了图像情感区域提出的完整性;区域信息收集模块利用双线性融合网络来收集图像中区域间的相关信息,丰富了模型的特征表达,提升了整体的图像情感类别预测能力。（2）基于风格记忆的图像情感分类算法:现有的基于深度学习的图像情感分类方法忽视了风格特征与情感间的相关性,针对此问题,本文提出了基于风格记忆的图像情感分类算法网络。网络分为两个支路,在内容性分析支路外,增加了一个在风格性上进行图像情感分析的风格特征记忆单元。风格特征记忆单元是一个由情感类别自动激活的自学习风格特征存储库,基于底层视觉特征与人类情感响应的相关性,自动存储被响应情感类别激活的风格特征,并利用反向传播算法,对风格记忆单元进行参数更新。网络最终可以从内容和风格两个层级对图像情感类别进行综合预测,有效提升了在风景、艺术等图像上情感分类的准确率。在FI与EmotionROI两个情感图像基准数据集上进行了充分实验,与多种图像情感分类方法进行对比,基于对抗性擦除注意力的图像情感分类算法的准确率比此前最优方法分别高出1.39%和2.24%,而基于风格记忆的图像情感分类算法的准确率表现较此前最优方法高出0.51%和2.99%。
其他文献
热电池是一种由盖体、壳体、保温层、接线柱、激活系统及电堆组成的一次性使用电池。在传统的热电池设计中,不考虑热电池内部的产气情况,使得热电池的实际放电时间与设计时的理论放电时间存在较大差异。因此,本文对热电池保温层中多组分气体输运机制及对热电池放电时间的影响进行了深入研究,主要工作及成果如下:（1）基于纤维材料保温层的微观结构图像,构建了从材料到结构的保温层纤维孔隙结构的参数可控代表性体积单元（RV
多聚焦图像融合是图像融合领域的一个重要分支。光学镜头由于受到景深的限制,拍摄时无法同时聚焦多个目标,导致图像中未被聚焦的目标区域较为模糊。多聚焦图像融合旨在将多幅聚焦区域不同的图像融合成一幅全聚焦的清晰图像,融合后的图像能够更全面准确地描述场景信息,具有十分重要的现实意义和应用价值。本文研究了基于图像自适应变换及D-S证据理论的多聚焦图像融合方法,具体研究内容如下:研究了基于自适应变换的多聚焦图像
数据库是国家重点的“卡脖子“难题之一,也是最为复杂的软件系统之一,其核心技术长期被国外企业和机构垄断,比如Oracle、IBM DB2等。随着云计算的发展和普及,分布式数据库为我国的数据库发展带来了换道超车的机会。在分布式数据库中,时钟机制被用来确定分布式提交事务的时序,是最重要功能模块之一,可避免潜在的事务冲突。自混合逻辑时钟（HLC:Hybrid Logical Clock）机制广泛应用于国内
互联网的快速发展让用户可以在网络平台上快速获取到海量信息,面对如此庞杂的数据量,互联网用户难以从中筛选出感兴趣的信息,使信息利用率大幅下降。推荐算法的出现可以帮助用户实现信息过滤,越来越多的平台将推荐算法应用于系统为用户提供推荐服务,包括网络购物、视频音频以及社交媒体等。新闻是用户获取信息的重要方式,在线新闻平台需要更优的推荐算法提升推荐结果,这样才能增加用户流量,因此新闻推荐也成为研究的热点。新
当前,我国半导体产业由于西方国家的封锁和限制,正面临着严峻考验,尤其在芯片制造领域,高端半导体设备缺乏的问题严重。分子束外延设备是制备高质量半导体材料的关键设备,在量子阱激光器、红外探测器等领域发挥着重要作用。因此,开展高性能分子束外延设备的自主研发具有重要的战略和现实意义。束源炉是分子束外延设备的关键组成部分之一,而坩埚和加热线圈是束源炉的核心。因此,本论文围绕分子束外延设备中束源炉结构设计与成
作为图像处理领域中的一个重要分支,遥感图像目标检测技术广泛应用于数字城市建设、灾害检测以及军事侦察等领域,受到了学者们的关注。由于独特的成像机制,遥感成像技术在对地面目标进行成像的过程中具有多维度、多视角、信息丰富等优势。但遥感平台位于目标上方高空作业,对地成像的结果存在背景复杂、目标信息可变性强等特点。故本文针对传统目标检测方法难以在不同复杂场景下对多类别多尺度目标进行精准检测的问题,根据遥感图
高分辨率图像可以提供丰富的图像细节信息和良好的视觉效果,然而受成像设备及成像环境等因素的制约,存在设备获取图像分辨率低的问题。为解决该问题,学者们提出了多种方法将低分辨率图像重建为高分辨率图像,将其称为图像超分辨率重建技术。图像超分辨率重建算法通过软件方法将低分辨率图像重建成对应高分辨图像,从而满足用户需求。随着深度学习的发展,基于深度学习的图像超分辨率重建算法成为研究热点。本文分别针对基于反馈网
太阳能光伏发电因其清洁、无污染、可再生等优点,在社会上受到了越来越广泛的应用。为了满足使用需求,光伏系统往往由许多光伏组件串、并联而成。由于安装问题、复杂的环境因素以及非均匀光的分布,经常造成串联光伏组件之间受到的光照强度不均匀,从而使光伏（PV）模块出现失配的情况。失配现象不仅会导致光伏组件自身输出功率下降,还会拉低其它串联光伏组件的电流,从而使得整个串联光伏系统输出功率大大降低,严重情况下甚至
附子为回阳救逆的第一要药,是临床常用的有毒中药。2015年版《中华人民共和国药典》附子项下收载了黑顺片、白附片、淡附片、炮附片4种附子饮片规格,其中,以黑顺片、白附片应用最多,其质量优劣直接影响到临床用药的安全与有效。目前中药标准物质主要包括中药化学对照品、对照药材与对照提取物,其在中药饮片的质量控制中发挥了良好的作用。然而,饮片来源于药材而异于药材,经炮制后其外观性状和内在质量均发生一定改变,从
传统的图像传感器以固定帧率输出图像的绝对光强信息,分辨率高、填充率高,具备可以重构图像的细节纹理信息,但数据量大、功耗大,在极端的光照条件下不能获取足够的图像信息。动态视觉传感器（Dynamic Vision Sensor,DVS）模拟生物视网膜处理信息的机制,在外部光照条件发生变化时,像素电路异步地产生脉冲事件。当光强信息不变化时,DVS没有输出,所以DVS具有数据量小、低功耗、快速响应的特点。