图像翻译是一类计算机视觉问题,其目标是使用一组图像来学习输入与输出之间的映射,将一张图像转换为不同目标的图像,在风格迁移、超分辨率增强、图像补全等领域得到了广泛的应用。近几年,人们开发了功能强大的递归神经网络结构来获取文本特征,将文本特征与深层次的视觉特征融合。与此同时,深度卷积生成对抗网络在生成特定类别的高质量图像的成果已经非常显著。目前,图像翻译的研究从一对一的转换逐渐转化为一对多的转换,但每一个网络或分支仅仅适配于一个翻译目标,后期通过不同功能模块的排列组合完成对最终目标的翻译。这使得特征组合出来的目标有限,在遇到新的子目标时需要重新扩容网络进行训练,效率大大降低。另外,随着图像翻译对于细节要求的愈加具体,翻译目标变得越来越精细,且单独目标的翻译频率越来越低。本文提出了基于对抗式生成网络与文本信息的图像翻译课题,利用自然语言提供在某类问题上的翻译目标,使得图像翻译的网络真正转换到一对多的问题。自然语言提供了一种灵活而紧凑的方式来表达视觉特征,是不同特征的组合。每种组合还有不同的表达方式,大大丰富了翻译的目标,并提供了更多的细节。因此这种方式将会更加实用,可以为电影和游戏场景的制作提供了丰富的素材,也能为自动驾驶技术迅速和便捷的生成不同路况下的丰富训练数据,以不断提高算法对不同路况的判断能力。本课题以生成式对抗网络为核心,在输入中增加文本特征作为训练的约束,最终生成翻译图像。在生成器中,text embedding与输入图像的特征融合后一起经过翻译转换后恢复出符合要求的结果;判别器则负责鉴别输入图像的真假,得出标量分数。在GANs的基础上采用循环框架,约束了文本中没有提到的背景和姿态等部分。与特定目标的翻译网络相比,本课题需要将更多的信息存储在网络中,为了提取更加抽象、更加具有语义信息的特征,采用残差结构加深了网络,避免梯度弥散和梯度爆炸。