面向少标签和无标签分类任务的迁移学习方法

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wyakl1314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分类技术是数据挖掘中的热门,广泛应用于社会生活各个领域,通过学习得到一个分类模型,把每个属性集映射到一个预先定义的类标号。随着深度学习和神经网络的发展,分类任务也迎来了新的发展,但仍然面临着标注数据难获取、标注工作难度大等问题。面向少标签场景时,由于缺乏充足的标注数据,常规分类方法训练得到的模型分类效果不稳定、泛化性能差;而在一些特殊的领域,甚至无法获取到标注数据,这时由于缺乏标签信息监督模型训练,常规分类方法不再适用。迁移学习可以利用数据、模型、任务等方面的相似性,将有大量标注的源域学习到的知识应用到目标域,协助完成目标域分类任务。目前针对少标签甚至无标签的情况,基于实例的迁移学习通过实例加权策略,使源域和目标域的数据分布相似,这种方法的缺点在于难以确定权重的取值;基于特征的迁移学习寻找源域和目标域之间共同的特征表示,利用这些特征进行知识迁移,但是容易破坏领域的内部结构;基于参数的迁移学习考虑到模型的参数能够反映学习到的知识,将源域训练好的模型的参数应用到目标域上,模型参数不易收敛;基于关系的迁移学习迁移的是类比关系,这种方法应用较少,仅适用于关系域。针对上述问题,本文提出的创新性成果如下:(1)面向少标签分类任务,提出了一种基于非负稀疏约束和判别联合概率的参数迁移方法。构建了非负稀疏降噪堆栈自动编码器,提高模型的数据重构能力以及鲁棒性,提取更加有效的高阶特征;设计了基于判别联合概率的域间差异度量方法,在减少域间差异的同时保留类别信息,有助于分类训练;此外还设计了基于动态选择的参数迁移方法,根据参数敏感度确定是否将该参数设置为冻结。通过仿真实验对所提方法进行分析验证,证明了该方法的优越性和创新性。在少标签分类任务中,该方法可以充分利用目标域中的少量标注数据并有较好的分类性能。(2)面向无标签分类任务,提出了一种基于双向循环生成对抗网络的迁移学习方法。构建了双向循环生成对抗网络,充分利用源域和目标域信息,在两个方向上进行数据分布转换,生成的中间域起到数据增强的作用;另外提出了基于类级别域间差异的跨域对齐方法,在跨域分布对齐过程中防止类别信息丢失。通过仿真实验对所提方法进行分析验证,证明了该方法的优越性和创新性。在无标签分类任务中,该方法在尽可能对齐源域和目标域的数据分布的同时保留其内部结构,有较好的分类表现。
其他文献
在软件技术和规模不断发展的今天,软件开发过程中出现的问题越来越多,代码缺陷检测工具由于其缺陷检测效率高并且自动化程度高被人们所青睐。但随着代码规模越来越大、代码文件变得越来越复杂,代码缺陷检测工具也面临着更多的挑战,如硬件资源达不到需求、检测时间过长等情况。此时传统单机代码缺陷检测系统并不能很好地解决这些问题,需要采用分布式的方法进行调度。如果能在分布式调度之前知道被测模块大致的时间开销与空间开销
近年来,随着5G移动通信技术的发展,人们也越来越重视5G移动通信基站周围电磁辐射水平的影响。5G基站不仅要满足覆盖范围内信号强度的要求,更要保证区域内的电磁辐射强度不会对人体造成影响。有必要对5G基站的电磁辐射水平进行定量和定性的研究。本文从5G关键技术出发,对应用场景、用户分布、断面距离和流量传输时长等影响因素进行测试研究。分别对以上因素进行了理论分析,提出了相应的测试方案并进行实地监测。通过对
知识推理作为知识图谱的重要一环,一直处于重点研究热门对象之中.随着深度学习的不断发展,多种深度学习模型与知识推理的结合引起了很大的重视,得到了大量国内外学者的热捧.为了提高从已有知识中推理出新知识的正确率,二者的结合被广泛研究.基于深度学习的知识推理可以挖掘得更深、更仔细、更精确,有效提高了丰富知识库中的实体、关系、属性和文本信息等的利用率,使推理效果更佳.通过简单介绍知识图谱以及知识补全概念,重点叙述知识推理的概念及基本原理,从知识表示学习、知识获取和知识计算应用三个方向展开,综述了基于深度学习的知识推
近年来,随着智慧交通的飞速发展,复杂城市环境下高精度定位的需求日趋旺盛。由惯性导航系统和全球卫星导航系统构成的INS/GNSS组合导航系统能够提供连续高精度的定位导航信息,弥补单一导航系统的不足。然而在实际的复杂城市环境中,GNSS信号极易受到高楼、林荫、隧道等遮挡,传统的组合导航系统会退化为纯惯性导航推算。由于受到微机械电子系统惯性测量单元量测噪声的影响,纯惯导系统的定位精度会随误差累积而发散。
肺癌是全球致死率较高的一种癌症,IASLC(国际肺癌研究协会)研究表明:随着肿瘤的不断增长,患者的死亡率会逐步上升。对肺癌患者来说,及时地诊断和治疗可以有效提高存活率。肺结节作为肺癌发病初期的临床表现,在肺癌早期的筛查中起到至关重要的作用。近些年,随着影像学成像技术的不断发展,更薄层的成像能够提高肺结节筛查的准确度,从而造成了肺部影像和诊断报告呈指数增长,大量的数据增加了医生诊断的难度。将深度学习