随着自媒体时代的来临,越来越多的人通过社交网络表达自己的见解。在社交网络上每时每刻都有无数新的图像信息被发布,这些图像信息承载着发布者的情感状态。在如此庞大的图像资料面前,研究如何从这些图像中获得所需资讯是非常有意义的事情。图像分析也从一开始识别图像中的直观信息,如图像中有什么,进一步的发展到了情感理解层面,即识别图像中所包含的情感信息,也称为图像情感计算。图像情感计算中一个重要的研究内容就是图像情感分类。图像情感分类的应用十分广泛,可以应用在舆情分析、广告推荐以及用户行为需求分析等领域。与一般的图像分类任务相比,情感理解的不确定性以及模糊性使得图像情感分类变得极其不易。目前,图像情感分类研究的主流方法是基于卷积神经网络（Convolutional Neural Network,CNN）来搭建识别模型。由于卷积神经网络通常基于局部区域感知,缺乏整体图像信息的感知能力,而图像情感主要是通过图像整体信息以及局部信息结合共同诱发的,这就使得仅用卷积神经网络无法达到理想的图像分类效果,寻求分类效果更好的图像情感分类方法成为十分重要的任务。通常的图像情感分类任务中,基于分类模型的效果主要是由两部分决定,一是有效的特征提取方法,二是优异的分类器。论文对这两个部分都进行了探讨,将视觉深度自注意力变换网络（Vision Transformer,ViT）用于图像情感分类,分别与两个不同结构的残差网络相结合构建出两个分类网络,分别命名为Res-ViT网络以及DRSN-ViT网络,并在四个分类任务上验证了分类效果。论文的主要研究内容及结论如下:（1）尝试在ViT网络的基础上对情感图像数据集进行分类。深度自注意力变换网络（Transformer）在自然语言处理领域已经是首选体系结构。ViT网络是在Transformer网络基础上改进的专门用在图像领域的网络。ViT网络采用的注意力机制允许它关注图像的不同区域,并在整个图像中整合信息。论文研究了在多分类任务中FI数据集8分类和Emotion Ro I数据集6分类上的表现,分别达到70.65%、60.12%的准确率。在二分类任务中FI数据集2分类和Emotion Ro I数据集2分类上分类效果分别达到89.65%、82.45%。从实验结果来看ViT网络对情感图像数据集分类效果优于常见的深度学习卷积神经网络。（2）基于ViT网络构建了Res-ViT图像情感分类识别模型。提出了一个加入残差缩放因子的卷积神经网络残差模块与ViT网络结合得到的Res-ViT网络。残差网络的部分用于提取图像的深度特征,将提取到的特征输入到ViT网络进行分类。提出的网络既利用了卷积神经网络的局部特征提取优势又结合ViT网络关注到了图像整体信息。Res-ViT网络识别模型在FI数据集8分类、Emotion Ro I数据集6分类、FI数据集2分类和Emotion Ro I数据集2分类共四个分类任务上对网络的分类性能进行微调训练和测试,测试结果分别为73.40%、61.45%、91.50%和85.25%,比当前数据集分类效果最优的卷积神经网络分类方法分别提升3.33%、0.98%、3.99%、2.31%。并且相比于原本的ViT网络准确率都有所提升。（3）提出了DRSN-ViT图像情感分类识别模型。Res-ViT网络中使用残差模块中阈值是人为调节的,与上述网络不同的是,使用了具有软阈值化的深度残差收缩网络（Deep Residual Shrinkage Network,DRSN）与ViT网络组合,最终得到了DRSN-ViT网络。软阈值功能所需阈值由一个小网络自动设定,避免手动设定的限制,可以为不同的图像类别生成特定的阈值集合,使得网络提取到的深层特征更有助于图像分类。首先搭建深度残差收缩网络用于图像深度特征提取,再将提取到的特征输入ViT网络中进行分类。在FI数据集8分类、Emotion Ro I数据集6分类、FI数据集2分类和Emotion Ro I数据集2分类共四个分类任务上对网络的分类性能进行测试,结果分别为74.58%、62.50%、92.24%和86.73%,分别比对应的基于卷积神经网络的最佳分类方法准确率提升了4.51%、2.03%、4.73%和3.79%。并且相比于Res-ViT网络性能有所提高。综上所述,论文对ViT网络在图像情感分类领域进行了尝试,并达到了比较好的分类效果。所提出的两种基于卷积神经网络的深度特征提取方法,与ViT网络结合后提升了图像情感数据集的分类准确率。