人类感知世界是多模态的,如图像、声音、气味等。为了更高效地获取信息,人们希望计算机也能够理解与处理多模态数据。其中视觉问答是一个热门的多模态数据研究方向,它结合了视觉技术与自然语言处理技术,对输入的图片与问题给出相应答案,在安防、儿童教育等领域具有很好的应用前景。现有的多模态视觉问答方法应用场景过于广泛,没有根据不同的应用场景对图像数据做特定的语义信息理解。这些方法虽然能较好的区分不同场景类型的问题并给出相关的答案,但对于同一场景下的相关问题,准确率仍然不高。另一方面,现有方法对多模态数据的特征提取没有充分考虑视觉问答任务的特性,简单地在单模态数据上提取特征,特征表达能力不足,难以学习深层次语义信息。为解决现有多模态视觉问答方法的不足,本文提出了一种基于行为语义理解的多模态视觉问答方法。针对应用场景太宽泛问题,考虑到在现实应用场景下人们对图片的视觉问答往往是关于交互行为信息的,本文提出一种基于注意力机制的多分支行为语义信息抽取网络(ASI-Net),使模型更聚焦于学习交互行为信息。通过注意力机制进一步提取人、物体实例的周边信息,并融合人与物体实例对的空间信息检测图片中的交互行为,实现行为语义信息抽取。为解决现有视觉问答方法对多模态数据特征表达能力不足的问题,本文提出一种双向注意力机制特征提取方法。首先模型自动检测图片目标实例并提取相应位置上的特征,然后由问题引导动态地赋予不同目标实例特征不同的权重,提升模型对多模态数据的特征表达能力,以学习更丰富的语义信息。上述行为语义信息抽取网络和双向注意力机制特征提取方法都是为了提升视觉问答方法的效果。本文将行为语义信息抽取网络和多模态数据特征提取网络进行融合,实现基于行为语义理解的多模态视觉问答模型(ASM-Net)。通过实验表明,本文提出的基于行为语义理解的多模态视觉问答方法在开放域问答上的准确率达到70.13%,高于主流的视觉问答方法,在与交互行为相关问答上的准确率超过现有模型2.18个百分点。