心理学研究表明图像刺激会唤起人类的不同情感响应,图像情感分类任务旨在运用机器学习模型自动预测观测者看到图像时的情感反映,构建图像情感自动预测模型在社交网络、互动广告推广等场景中具有重要的应用价值。现有研究表明相比于整幅图像,图像的某些局部区域会更易引起人类情感响应,而注意力机制则可以有效学习图像中与任务关联的关键区域。为此,本论文提出了联合视觉显著性的图像情感分类网络模型。具体工作包括两个方面:（1）基于多尺度注意力门控网络的视觉显著性预测:目前基于深度学习的显著性预测模型往往只强调高级语义特征,然而高级语义特征缺乏精细的空间信息。理想情况下,显著性预测模型应该同时包括空间和语义特征。本文提出了一种带有多尺度注意力门控模块的深度网络模型,用于视觉显著性预测。该网络采用高分辨率网络（HRNet）作为主干来提取多尺度语义特征,多尺度注意力门控模块以分层方式自适应融合这些多尺度特征。此模块根据高级语义特征计算空间注意图,然后通过门控操作将其与低级空间特征融合。通过分层门控融合,可以在最佳尺度上实现最终显著性预测。在三个基准数据集上的大量实验分析证明了该方法的优越性能。（2）结合显著性区域的图像情感分类网络模型:现有研究发现图像的某些局部区域会更易引起人类情感响应,而显著性预测则可以提供有效的局部信息。为此,本论文提出了结合显著性区域的图像情感分类网络模型。该网络包含有显著性通路和情感分类通路,显著性通路预测图像中能够引起观看者情感响应的显著区域,情感分类通路提取图像的全局深度特征,并通过残差注意力融合方法突出分类通路中的显著特征,最后经由全连接层输出图像情感类别,进而实现端对端的图像情感分类。实验结果验证了本文模型的有效性,在提高图像情感预测准确率的同时预测的显著性区域也能够很好匹配人工标注的情感区域。