视觉问答任务是一个结合计算机视觉研究与自然语言处理两个领域的前沿方向。视觉问答系统可根据问题语义,从与问题相匹配的图像中找寻有用信息对问题进行答案预测。视觉问答任务模型包含图像特征处理、文本特征处理、多模态特征融合和答案预测四个模块,其中图像特征处理和文本特征处理均属于特征提取的范畴。在当前的视觉问答研究中,如何进行特征提取、多模态特征融合以及注意力机制的改进一直都是研究的难点问题,故而本文将针对这三个问题展开探索与研究:1.基于Faster-RCNN目标检测算法的图像预处理模型。本文利用Faster-RCNN与Resnet101相结合的方式处理图像信息,Faster-RCNN用于识别属于类的对象实例,并使用边界框对它们进行定位,进而Resnet101模型对VQA v2数据集进行预处理,提取2048维图像特征向量,图像特征信息则以矩阵向量的文件形式参与到视觉问答模型的训练中。2.基于多模态特征融合的视觉问答模型研究。为了解决跨模态特征融合的问题,基于1的工作基础,本文采用预训练好的词向量工具和长短时记忆网络对文本特征进行表征,形成一个2048维的特征向量来表示问题。然后将2048维图像特征向量和2048维的问题特征向量输入多模态分解双线性池化特征融合算法模块中,生成融合特征。最后预测答案模块,以Soft Max为分类器进行答案预测输出。通过在VQA v2数据集上的实验结果证明了本文构建的视觉问答模型的合理性和科学性。3.基于多模态特征融合的多重注意力机制的视觉问答模型研究。为了加强模型语义信息和更准确的抓取图片特征信息,本文在基于2的工作基础上加入自注意力机制、引导注意力机制和多头注意力机制,构成基于多重注意力机制的视觉问答模型,旨在更好的捕捉图片及文本之间的相关语义信息,缩短多模态特征融合的鸿沟。实验结果表明多重注意力机制与多模态分解双线性池化的特征融合算法相结合的视觉问答模型具有较高的准确率,且优于先进模型。