随着深度学习和人工智能的快速崛起,计算机视觉和自然语言处理领域在图像理解和文本分析生成上均获取了巨大的成就。渐渐地,人们不再满足于从图像或文本中获取单一种类的信息,而是考虑如何充分利用多模式数据来解决语言和视觉的综合任务。在这个新的语言视觉研究热潮中,图像描述生成已经成为关键任务。图像描述生成任务类似于我们小时候做过的看图写话,其本质是一个从机器视觉到自然语言的转化过程,目的是让模型能自动生成描述给定图像内容的自然语句。相比于其它的视觉任务,该任务不仅需要计算机识别图像中的关键内容,理解它们之间的关系,还需要将获取到的图像信息用合适的自然语言表达出来。近年来,受机器翻译领域中编码-译码(Encoder-Decoder)模型的启发,图像描述生成研究取得了突破性进展。然而由于可用数据集的限制和中文语言处理的特殊性,图像中文描述生成任务虽然可以实现,但仍存在准确性、完整性较低,连贯性、可读性不佳等问题。针对以上问题,本文基于经典的编码-译码架构,提出了一种新型的结合文本词特征和注意力机制的中文图像描述生成模型(AW-NIC模型)。该方法的创新性主要表现在以下两个方面:1.词特征模块。针对中文自然语言处理的特殊性,考虑到在中文文本中不同词语贡献度不同的因素,本文在词特征模块,结合文本的词性特征、词频特征、词长特征,新设计了一种词在文本中贡献度的计算方法,用以在模型训练时对输出的文本向量的进行权重赋值操作,使描述语句中贡献度较大词语的正确性得到优先保证。2.注意力机制模块。为了减小图像编码转化过程信息损耗对模型识别精度的影响,提高模型的文本输出质量,我们在中文描述生成模型中加入注意力机制模块。该模块可根据之前生成的文本信息确定与当前任务关联度更强的图像区域,使模型能在解码的不同时刻获取到不同的图像信息,达到提高语言模型输出精度的效果。本文设计的AW-NIC模型不仅利用词特征模块优化模型性能,使其与中文描述生成任务特性更加契合,还利用注意力机制对图像的编码转换过程进行指导,使语言生成模型更关注与当前任务有关部分的图像特征,进而有效地提升模型输出质量。该模型在AIC-ICC数据集上实验结果表明,词特征和注意力机制模块的加入会极大地提升模型输出描述文本的精确性、完整性。