图像描述生成是将图像识别与自然语言处理相结合为目标图像生成描述语句的过程,在儿童早教、盲人导航和人机交互等方面具有重要意义。近年来,基于深度学习的编码-解码器框架模型成为图像描述生成研究的热点。该方法使用卷积神经网络编码器提取图像特征,把图像-描述对中的描述作为解码器训练过程的参考语句并将其向量化,所得词向量与图像特征共同输入循环神经网络解码器中生成描述语句,其中训练阶段输入的词向量为真实值,测试阶段输入的词向量则为前一步的预测值。在上述方法中由于测试阶段的输入依赖前面步骤的输出,因此一旦输出错误,则会导致错误累积的问题,同时存在提取图像特征不充分和词向量与参考语句意思有偏差的问题,从而影响描述语句的生成效果。针对测试阶段的错误累积问题、图像特征提取不充分问题以及词向量与参考语句的意思偏差问题,本文基于深度强化学习,同时引入上下文编码网络和Bert模型研究图像描述生成方法。本文具体工作如下:(1)设计了基于深度强化学习嵌入上下文编码网络的图像描述生成模型DR-ECRNN模型。DR-ECRNN模型基于Basic DR-ECRNN基础模型设计,图像编码阶段,在基础模型的深度残差网络的基础上嵌入上下文编码网络提取更加充分的图像特征;文本解码阶段,将所得图像特征输入LSTM中进行学习,并使用具有较强决策能力的策略网络与价值网络共同指导其生成描述语句。由实验结果可知,DR-ECRNN模型比未嵌入上下文编码网络的基础模型在Microsoft COCO Caption 2014、Flickr8k与Flickr30k数据集上的BLEU评分平均提升了0.8%、0.58%和0.6%。(2)设计了基于深度强化学习引入Bert模型的图像描述生成模型DR-BCRNN模型。DR-BCRNN模型的图像编码器与DR-ECRNN模型相同,文本解码器基于DR-ECRNN模型进行改进,使用Bert方法将参考语句向量化,增加了单词在句中所处位置和单词所属句子的相对位置的表征信息,结合上下文语境为参考语句生成更加准确的词向量,输入LSTM中进行学习,使用策略网络为其提供决策,价值网络计算当前决策的奖励值。由实验结果可见,DR-BCRNN模型比未引入Bert方法的DR-ECRNN模型在Microsoft COCO Caption 2014、Flickr8k与Flickr30k数据集上的BLEU评分平均提升了0.63%、0.6%和0.33%。基于以上工作,本文还将DR-ECRNN模型和DR-BCRNN模型与近几年相关模型m-RNN、NIC和NIC+att等进行了实验对比,结果表明,在上述三个数据集上,本文模型的BLEU评分优于其它模型,在其它评价指标上也有不同程度提升。