基于生成对抗网络的文本生成图像研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:smalleye
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本生成图像问题是图像生成方向的一个重要分支,给定一个文本描述,可以生成符合文本描述的图像。文本生成图像的方法主要是基于生成对抗网络的,目前的一些方法经常出现模式崩塌问题,生成的结果缺乏多样性。本文为了提高生成图像的质量做了以下工作:首先,为了解决训练过程比较自由缺乏约束的问题,本文提出了语义分类器生成对抗网络。将文本预处理后得到文本向量,与随机噪声连接在一起输入到生成器中,通过卷积层生成图像。然后将图像输入到判别器中,对其进行真假的判断。判别器中添加语义分类器,对文本和图像的语义一致性进行判断。语义分类器结构使判别器中增加额外的监督任务,使生成器生成的样本多样化,减轻模式崩塌的问题。其次,针对生成样本缺乏多样性的问题,本文引入了行列式点过程对样本中的多样性进行建模。行列式点过程生成对抗网络模型由三个生成器和三个判别器组成,生成器依次生成不同分辨率的图像。网络中引入行列式点过程矩阵,使生成器生成与真实样本相似的具有多样性的样本,从而提高了生成图像的质量。最后,针对生成图像质量低、训练过程复杂的问题,本文提出层级倒置残差生成对抗网络,采用端到端的训练方式,克服了分阶段训练使训练过程复杂的缺点。该网络模型由一个生成器和三个判别器组成,生成器中引入倒置残差网络,可以保留更多的特征信息,使生成图像的清晰度明显提升,图像包含更多的细节。生成器中分为三个层级,通过线性压缩层得到三个由低到高的分辨率的图像,该模型训练过程简单并且生成图像的质量明显提高。
其他文献
贝叶斯网络在不确定性领域中是重要的概率图模型工具,其构建包括结构学习算法、参数学习算法及推理算法,而如何建立高效、准确的贝叶斯网络算法是贝叶斯网络当前的研究热点。针对贝叶斯网络算法在学习中存在寻优效率差、易陷入局部最优的问题,提出两种改进贝叶斯网络算法:基于改进的结构学习算法和推理算法。篦冷机是水泥生产的重要设备,用于冷却熟料和热量回收,由于篦冷机工艺参数多且参数间影响关系的不确定性导致对篦冷机进
人脸图像去模糊任务,致力于在模糊核未知的情况下,从已知的人脸模糊图像中复原出潜在的清晰图像,属于人脸图像复原的一个重要的研究方向。清晰的人脸图像对于人脸识别等高级图像处理任务以及刑事侦查等实际任务有至关重要的作用,故该文致力于提高人脸图像的质量。首先,为了更好地应用面部语义信息,该文设计了基于面部语义信息的人脸图像去模糊网络。该网络通过语义分割子网络获得面部语义掩模,通过语义类去模糊子网络更好地恢
星载P波段合成孔径雷达(Synthetic Aperture Radar,SAR)具有较强的穿透性且对生物量敏感,因而此波段成为探测地表、植被等隐藏目标的有效手段。然而,由于P波段的SAR信号受到背景电离层色散特性和电离层不规则体随机起伏特性的影响,因此雷达图像散焦严重。在雷达成像中,如果在硬件上提高雷达图像分辨率,会增加生产成本,因此从成像算法的角度提高图像质量成为最合理的方法。本文旨在利用深度
关于移动机器人的研究始终绕不开导航控制,目前有很多优秀的算法应用于机器人导航,取得了众多成果,但这些算法大多依赖环境地图或者局限于理论方面。因此本文的目的在于设计一个不依赖环境地图的端到端导航模型,并提高机器人的实际应用能力,主要研究内容如下:首先,概述课题研究意义和背景,简单介绍了几种传统导航算法原理和局限性,重点分析了强化学习导航原理和应用现状,根据不同的算法方案分析了强化学习在导航领域存在的
在神经科学和生物医学信息处理领域,锋电位分类是从细胞外采集的信号中提取单个神经元放电信息的关键步骤。锋电位是神经元细胞膜上快速且短暂的电位变化,是大脑中神经元进行信息传递的主要途径。尽管目前已存在许多锋电位分类方法,但在准确性和鲁棒性方面仍有待提高。因此,本文提出了基于深度学习的锋电位分类方法,以更有效地实现锋电位分类,对于研究大脑的工作机制具有重要意义。首先,提出了一种基于一维卷积神经网络(CN
光纤传感器由于其体积小、不受电磁干扰、环境适应性强等特点,被广泛应用于压力测量。本文基于游标(Vernier)效应和保偏光子晶体光纤的Sagnac干涉特性,提出了一种利用F-P腔增敏的分离型压力传感结构,并将传统Sagnac干涉环改良成了直线型,使传感器具有更简单的结构。该传感系统为全光纤结构,具有在高压环境中工作的潜力。论文的主要内容如下:首先,对比了几种光纤压力传感器的优缺点,分析了Sagna
压缩感知提供了一种新型信息处理方式,它充分利用信号的稀疏性,以远低于Nyquist的采样率进行随机采样以获取离散样本,然后通过重构算法实现对原始信号的良好恢复。压缩感知主要包括三个方面的内容,其中重构算法的设计是压缩感知成功恢复信号的关键。近似消息传递算法的特点是计算复杂度低,重构精度高,是一种高效的重构算法。该文应用近似消息传递算法对图像进行压缩感知重构,具体工作如下:首先,针对基于K-mean
随着我国逐渐步入老龄化社会,心血管疾病患者持续增加,使得心脏监护系统需求也在不断提高。如何利用计算机辅助技术对心律失常进行精准检测和分类是心血管疾病诊断中的研究热点之一。在进行心律失常识别时,传统上是心脏病专家依据患者的心电图来进行观察和分析,这样的方式容易产生漏检和客观性的结论,因此本文考虑采用机器学习和深度学习分类算法,对心律失常进行了以下研究:首先,针对在单个心跳的患者内的心律失常分类问题,
随着我国经济和信息科技的发展,汽车的普及率大大提高,然而另一方面各种交通事故也随之而来。为了应对交通事故的频繁发生,高级驾驶辅助系统(TSR)便应运而生,它可以帮助驾驶员做出正确的驾驶操作,从而有效地避免交通事故的发生。在TSR中,对交通标志的准确识别是一个核心问题,具有重大研究意义。为了进一步提高交通标志识别的准确率和计算效率,本文的主要工作如下:首先,为了解决交通标志识别算法中GTSRB数据集
小目标检测是目标检测任务中一个具有挑战性的分支,其目的是对图像中的小像素目标进行分类和定位。随着深度学习的发展,基于卷积神经网络的小目标检测算法取得了巨大的进步,但由于检测的环境复杂、信息量少以及分辨率低等问题,小目标检测算法还有待发展。该文围绕基于深度学习的小目标检测算法进行分析和研究,具体研究内容如下:首先,为了提升小目标检测的性能,该文提出基于金字塔卷积与注意力机制的小目标检测方法。该方法将