【摘 要】
:
风格迁移是一种自动生成艺术图像的技术,可以将真实拍摄的照片转换成具有某种艺术风格特点的图像,并且保持大致的内容不变。在工业上的动画CG制作、动漫电影制作、趣味相机软件等领域,风格迁移技术凭借着自动化、高效率、高灵活度等特点已经有广泛的应用。但是风格迁移技术存在重大的限制,即每个算法模型只能对一种艺术风格进行迁移,这导致了模型的可复用率极低,在工业场景上的应用也受到不小的限制。而任意风格迁移方法的出
论文部分内容阅读
风格迁移是一种自动生成艺术图像的技术,可以将真实拍摄的照片转换成具有某种艺术风格特点的图像,并且保持大致的内容不变。在工业上的动画CG制作、动漫电影制作、趣味相机软件等领域,风格迁移技术凭借着自动化、高效率、高灵活度等特点已经有广泛的应用。但是风格迁移技术存在重大的限制,即每个算法模型只能对一种艺术风格进行迁移,这导致了模型的可复用率极低,在工业场景上的应用也受到不小的限制。而任意风格迁移方法的出现解除了这一限制,任意风格迁移方法以一个内容图像和一个可以任意指定的风格图像作为输入,生成具有艺术风格特点的图像,使得单个模型可以在任意的风格类别上完成风格迁移任务,但是现有的任意风格迁移方法有不少缺陷,包括在生成的艺术化图像上容易出现模糊块、颜色块和无意义的线条等现象,并且在风格泛化能力,以及高分辨率的内容图像上有着较差的表现。基于以上研究背景,本文工作主要分为以下三个方面。(1)针对现有任意风格迁移算法的缺陷,本文设计了一种基于自适应通道网络的任意风格迁移算法。算法的模型框架使用基于Info GAN和WGAN-Div的生成对抗网络,且结合自适应通道网络模块(Ada CNet),Ada CNet可以将图像特征图中的内容信息和风格信息在一定程度上解耦,从而在重建图像内容结构的同时仍然保持丰富的艺术风格特征(如图像纹理、颜色、线条等)。在此基础上,本文设计了新的内容重建损失来维持图像的局部结构不变性,以及新的风格一致性损失来提高模型的艺术风格泛化能力。实验结果表明,相比于现有的其他任意风格迁移算法,本文设计的方法在风格迁移过程中可以很好地权衡内容信息和风格信息,消除了生成的图像出现模糊块、颜色块和无意义的线条等缺陷,并且在风格泛化能力上和高分辨率内容图像的风格迁移中均有良好的视觉表现。(2)本文将基于自适应通道网络的任意风格迁移算法在其他参数化方法上进行了推广,提出了通用的任意风格迁移算法网络模型和训练策略。基于自适应通道网络的任意风格迁移算法不依赖于风格迁移算法中转换模块的设计方案,因此在其他算法上的推广是一个自然的扩展。在此基础上,本文设计了通用的任意风格迁移算法网络模型和训练策略,给出了在不同算法上的适配方案。并且针对通用网络模型在SANet算法和WCT算法上的适配给出了范例,提出了SANet-GAN和WCT-GAN网络模型,相关实验验证了通用网络模型的可行性和有效性。(3)本文构建了一种任意风格迁移算法模型的定量评估方法,即风格迁移分数(STS)。基于内容信息在风格迁移中的局部结构不变性和和风格信息在迁移中的一致性设计的STS指标,可以定量的评估任意风格迁移算法模型在具体的内容图像与风格图像上的迁移效果,并在坐标系中进行可视化对比。相关的实验也验证了STS指标与人的主观对比结果一致,是合理且有效的定量评估方法。
其他文献
近年来,有机-无机杂化钙钛矿电池(PSCs)因空穴电子迁移率高、载流子扩散长度长、宽波长范围内吸光系数高、带隙可调(1.15~3.06 e V)、光电转换效率(PCE)高(25.7%)等突出优点,使得钙钛矿基叠层太阳能电池被认为是有望突破单结太阳电池理论效率极限、效率达到30%以上的可行解决方案。在钙钛矿基叠层电池中,带隙为1.65~1.75 e V的宽带隙钙钛矿(WBPs)可有效吸收太阳光谱短波
互联网的快速发展使得数据的存储与利用被广泛的研究,聚类作为数据挖掘中一种重要的方法,能够仅根据数据中简单的描述关系信息对数据进行适当的分组.然而,传统的聚类算法具有不稳定和鲁棒性较差的缺点,这使得在许多聚类任务上往往无法达到预期的聚类效果.为了提升传统聚类算法的性能,研究者利用少量数据的先验信息(成对约束)和应用集成学习的思想,分别提出了半监督聚类和聚类集成方法来改善传统聚类的缺点.而半监督聚类集
在多标签分类中,每个样本可能同时属于多个类标签,在商品推荐、生物功能预测和文档标注等多个方面有着广泛的应用.在数据爆炸的时代,数据规模通常是巨大的,即大量的样本示例、类标签和特征属性.高维特征空间和稀疏标签空间给多标签分类带来很大挑战,容易降低分类效率、破坏分类精度.为解决多标签数据的分类问题,本文基于特征和标签空间降维对其进行研究,主要工作如下:针对多标签分类中存在的特征高维和标签稀疏等问题,本
癌症的诊断与治疗是目前全人类所共同面对的难题。现如今,全球范围内癌症死亡率与日俱增,对癌症进行早期诊断是降低死亡率的有效手段。目前癌症的常规诊断方法有癌症标记物、病理学诊断和影像学诊断等,但这些方法有其相应的局限性,如癌症标记物无法同时满足敏感性、特异性和易于监测等要求;病理学、影像学诊断结果依赖于医生的临床经验,存在漏诊误诊风险。近年发展起来的高光谱显微成像(HMI)技术将高光谱成像与显微成像相
仓储管理是物流运营过程中必不可少的一个重要环节,随着大数据与信息技术的发展,新兴仓储技术的形成与发展可以带动整个物流产业技术范式的变革。了解技术的发展趋势,及时、准确地捕捉新兴技术的发展主题可以辅助科研人员确定相关研究方向,促进企业或政府等组织依据技术发展的新兴趋势提前制定正确、有效的发展策略和相关政策。本论文以仓储领域为研究对象,系统地探究了新兴技术主题的识别框架和融合结构与内容属性的异质科研合
溶解性有机质(DOM)广泛存在于土壤、水体等环境介质中,是地球上分布最广的有机物质之一。DOM具有复杂多样的结构,可与环境污染物发生相互做用,介导其在环境中的赋存、迁移和反应。由于含有具有光化学活性的基团,DOM可以在太阳光照下发生一系列光化学反应。其可通过光敏化反应产生多种自由基,这些自由基可以降解水环境中的有机污染物,或影响具有重要环境意义金属离子的形态和归趋。DOM光照生成的自由基还可以诱导
跨境电子商务已经成为了促进经济增长的重要方式,2021年,我国跨境电子商务的进出口总额达到1.98万亿元,进出口跨境电子商务的发展促进了我国产业结构的提升优化,驱动了相关产业的创新发展,为我国外贸企业开拓新市场提供了重要渠道。消费者风险感知是影响消费者购买意愿的重要因素,在线评论中包含着大量的用户体验信息,是影响消费者风险感知和做出购买决策的重要依据。因此,基于在线文本评论识别跨境电子商务背景下消
当光透过雨雪、烟尘、磨砂玻璃等复杂介质时会发生散射,导致相机上仅能接收到杂乱无序的散斑图案,无法依赖传统的光学成像方法辨别目标信息。近年来研究人员提出了一系列方法,以恢复出散斑图案中隐藏的目标信息,实现透过散射介质成像。散斑相关成像方法作为新兴技术中的一种,由于具备单帧、非侵入式成像、光路设计简单等优点受到研究人员的广泛关注。然而,该方法的成像范围受到散射介质中光学记忆效应的限制,超出光学记忆效应
空气中粒子之间频繁的碰撞和摩擦都会致使粒子带电,对带电粒子的散射特性与逆散射研究将有助于遥感、成像及大气光学的发展。Mie理论能够精确地计算平面波入射的粒子散射特性,但只能得到总体散射之后的结果,使用Debye级数展开(DSE)方法则能对粒子的每个散射过程加以解释分析。具有独特光学特性的石墨烯涂层粒子通过Drude-Sommerfeld模型转化亦可将其认为是一种特殊的带电粒子。贝塞尔光束是一种沿着
随着越来越多人为设计的复杂场景出现,对这些结构进行测量维护的需求便不断上升,而通过人工测量维护的成本较高。利用计算机和一些传感器设备,三维重建技术可以将这些场景做高精度建模,有助于对这些场景分析和维护。目前三维重建技术主要分为主动式三维重建和被动式三维重建,主动式三维重建依赖于传感器如深度相机,激光雷达等主动测量深度的设备获取场景的深度信息,使用时成本较高,深度相机的精度和分辨率目前都难以用于大场