视觉问答是一个典型的多模态任务,也是一个重要的研究课题,结合了计算机视觉和自然语言处理两大领域,引起了人们的广泛关注。这个任务需要同时对图像和文本进行处理并将两种数据融合,因此多模态特征的信息表示与融合在视觉问答任务中起着关键作用,基于此提出了许多解决方案。通过对已有模型的回顾与分析,这些模型在理解句子语义和关注图像相关重点区域的能力上仍然存在一些不足,这影响了视觉问答模型的性能。有鉴于此,本文提出了增强的视觉特征,通过对图像特征的改进使模型的整体性能得到提高。具体研究内容如下:(1)提出了基于联合注意力机制和增强视觉特征的多模态融合模型,实现了对于特征信息的细粒度表示。通过结合空间特征和对象特征的方式得到增强的视觉特征。此外,使用双向长短期记忆网络实现对问题本身的自注意力机制,并根据问题中的关键字来关注视觉特征中的重要区域。最后,以多模态可分解双线性池化融合模型作为图像和文本特征的融合模型。本文通过实现视觉问答任务验证了所提出模型的有效性,并进行了大量的对比实验与分析。实验结果表明,通过与现有的多个基线模型和先进模型进行比较,该模型在GQA数据集上表现出了较为先进的性能,进而也证明了增强的视觉特征能够有效提高模型的整体性能。(2)针对模块化联合注意力机制堆叠模型,提出在图像的对象特征中加入每个对象对应的位置坐标信息,以此作为增强的视觉特征。相较于单独使用图像对象特征的情况,增强的视觉特征中包含了更为细粒度的信息,即对象的绝对位置信息,使模型在关注图像中的相关区域时更加准确。堆叠模型中包含了自注意力单元与指导注意力单元,对图像和文本实现了联合注意力学习。在VQA-v2数据集上对提出的改进模型进行视觉问答任务的实现,通过大量实验以及与相关的基线模型和先进模型的对比,结果证明了采用增强视觉特征的模型取得了较优的性能,再次充分验证了本文研究点的有效性。