图像描述生成是计算机视觉与自然语言处理的交叉任务,该任务的完成需建立在图像理解与抽象推理的基础上,巨大的挑战吸引了越来越多研究者的关注。它的应用前景不仅局限于视障助手等辅助性任务上,而且有望在信息检索上发挥巨大效用。然而,现有的研究主要关注英文句子的生成,围绕着英语语种已经孕育出了丰富的生态,包括高质量的数据集、成熟的评判标准以及前人的优秀工作。考虑到世界上有超过一半的人使用非英语交流沟通,为了增加图像描述生成技术的普惠性,本文的研究内容就是面向中文的图像描述生成。面对目标语言上数据集缺乏的问题,本文的主要解决思路是借助现有成熟的自然语言处理技术,基于中心语言数据集增广目标语言数据集,低成本且快速获得目标语言上的可用大数据集,为深度学习的应用奠定基础。具体地,以英语中心语言,而目标语言则为中文。由于某些评判标准的具体实现依赖英语的独有特点,在做了适当取舍后,我们完成了从英语到中文的基于朴素比较的评判标准的迁移工作。目前有两种方法获得图像的中文描述句子,一种是非端到端模型,仅在英语模型末端采用机器翻译来获得中文句子;另一种是端到端模型,在数据集上应用机器翻译来构建目标语言上的数据集,然后采用端到端的方式训练中文模型,直接输出中文句子。我们使用基准模型在增广数据集上进行了实验。实验表明,端到端模型要显著优于非端到端模型。然后通过观察发现机器翻译的结果会有语法或语义上的错误,而这会导致模型学到错误的知识。为了使得生成的句子更加符合中文的表达习惯,我们训练了Native语言模型并以其为奖励函数,使用策略梯度的方法优化模型的生成策略。定性分析表明,优化过后的模型生成的句子更加符合人们的日常经验。最后,通过对实例的分析我们发现句子中的目标不够丰富且目标之间的关系常有错误,然后我们借助目标检测、属性分类和关系检测技术,针对图像动态地构建场景图,然后在场景图的基础上使用GCN模块编码上下文感知的特征向量,并在解码器一端使用分层注意力机制自底向上地聚合图像特征,隐式实现了视觉概念和语言实体的对齐。实验表明,视觉语言对齐的方法大幅提升了模型的效果。