考虑标签噪声的鲁棒分类方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:psiteddd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
得益于大规模高质量标注数据集,深度学习模型在计算机视觉领域取得了飞速发展,然而采集如此大规模数据集不可避免的引入错误标注的标签,也就是形成了标签噪声问题。受标签噪声的影响,深度学习模型在训练过程中对标签噪声过拟合,最终影响深度学习模型的性能。且标签噪声在许多高端、精密的实际应用场景中广泛存在,如无人驾驶、故障诊断等领域。因此,提出标签噪声鲁棒深度学习算法具有深远的理论和应用研究价值。所以,本文基于标签噪声的鲁棒学习算法进行研究,以深度学习模型为基础,构建了一系列噪声鲁棒学习算法,主要研究内容和贡献如下:(1)分析标签噪声对分类建模任务的影响从实验和理论两个方面分析标签噪声对基于神经网络的分类任务的影响,包括不同类型标签噪声的影响,以及标签噪声对损失函数和不同基础网络结构的影响。(2)基于噪声转移矩阵的自适应损失校正算法针对现阶段损失校正算法依赖先验知识和启发式的优化策略,通过引入元学习优化框架,提出基于噪声转移矩阵的自适应损失校正算法。在一个小规模干净数据集监督下,算法自适应的从数据中学习噪声转移矩阵,提升了对标签噪声的鲁棒性。设计了迭代优化网络参数和噪声转移矩阵的策略。任何基于梯度下降算法优化的神经网络都可以嵌入到算法中。(3)基于概率加权的噪声鲁棒学习算法针对深度神经网络首先学习简单样本,随后学习困难样本的记忆模式,提出元概率加权算法,通过对神经网络输出概率加权,在元数据监督下,使加权概率产生的梯度优化方向与在干净数据集训练的神经网络预测概率的梯度方向相似,从而降低深度学习模型对噪声样本的记忆。算法可以迭代地学习深度神经网络和元加权参数,且自适应从数据中学习概率权重参数。(4)基于概率校准的噪声鲁棒学习算法从梯度反向传播的角度对标签噪声进行理论分析,发现噪声标签产生的非零梯度实际上会导致性能下降。基于此,我们提出了概率校准机制,通过巧妙的设计概率校准函数,在so ftmax函数和交叉熵损失之间进行概率校准操作,从而使噪声标签产生的梯度接近0,缓解标签噪声对神经网络的影响;其次从理论上推导了概率校准函数条件,并提出了一系列可行的概率校准函数。有趣的是,指数函数ex可以作为一个概率校准函数,实际上是另一个softmax层。最后,概率校准函数可以很容易地集成到众多噪声鲁棒算法中,进一步提高性能。综上,所提出的三种噪声鲁棒学习算法在人工合成以及真实环境噪声数据集的优异性能验证了算法的有效性。
其他文献
报纸
肿瘤微环境(Tumor microenvironment,TME)即肿瘤细胞生存和发展的内部环境。肿瘤微环境不仅包括肿瘤细胞本身,还包括与肿瘤细胞密切相关的成纤维细胞、免疫细胞、胶质细胞等各种细胞,同时也包括附近区域内的细胞间质、微血管以及浸润在其中的生物分子。肿瘤微环境一直是肿瘤研究的重点,对了解肿瘤的产生、生长和转移的过程具有重要意义,且对肿瘤的预防、诊断和治疗也具有重要作用。调节或利用实体肿
学位
面对日益增长的线上线下资源整合需求,越来越多的供应商选择侵入策略,于原有零售渠道的基础上开辟直销渠道,以通过所有可用的购物渠道为消费者提供无缝的购物体验。一方面,电子商务和第三方物流的快速发展吸引供应商开辟网络直销渠道侵入传统的零售市场。另一方面,一些发源于网络渠道通过电子零售商销售产品的供应商,开始建立线下直营店。供应商开辟直销渠道的侵入策略可能引起渠道竞争,进而对零售商的垄断权构成威胁和挑战。
学位
为探究气象因素与盘锦地区水稻产量的关系,运用指数平滑系数法从2009~2018年的水稻产量中计算得出水稻的趋势产量,进而分离出其气象产量,再与盘锦地区水稻生育期5~10月的各气象因素进行相关分析,得到关键气象因子,构建预测模型并经行验证。结果表明:水稻产量与气象因素具有一定的相关性,其中,5月平均温度及7月的湿度对水稻气象产量的相关系数较高,∣r∣相对较大。用构建的预测产量模型对2009~2018
期刊
天然产物特别是二次代谢产物一直以来都是新药研发不可或缺的一部分,过去三十年上市的一千五百多种新药大部分与天然产物相关。微生物天然产物具有丰富的结构多样性,这也使其具备各种各样的生物活性,几十年来一直是药物发现和开发的主要来源。Fleming发现青霉素开启了微生物天然产物作为抗生素的大门。然而随着抗生素的广泛使用,细菌耐药性问题日趋严峻,甚至出现了表现出多重耐药性的“超级细菌”。因此寻找新的抗生素或
学位
净化去除胶体颗粒的过程几乎遍及水处理工艺。其中过滤是饮用水处理中极其重要的一个环节,它担负着水质把关的重任。因此,研究过滤过程中,胶体颗粒的迁移行为和沉积机理,具有十分重要的理论和实际意义。本文以聚苯乙烯微球来模拟胶体态污染物,旨在研究胶体颗粒在滤料中的迁移行为和沉积机理,为胶体态污染物的迁移行为和理论研究提供新方法借鉴。主要研究内容及结论如下:首先,从胶体特性(模型胶体(Model colloi
学位
饱和氮杂环化合物因其在药物研发和有机合成中的重要性而备受关注。近些年来许多科研人员在其合成策略的发展方面做出了重要贡献,并取得了很大的研究进展。与常见的含氮、氧和硫的饱和氮杂环相比,含硒饱和氮杂环的合成方法报道较少。有机硒类化合物具有重要的生物活性,但因其合成方法的缺乏导致该类化合物的研究受限。本论文基于以上的研究热点和难点,对含硒饱和氮杂环化合物的合成方法进行了研究和探索。本论文分为以下六个部分
学位
从20世纪后期开始,随着经济社会的快速发展和人口数量的急剧增长,我国的草原生态出现了大面积退化、沙化现象,而传统的行政监管模式和产权制度设计已经越来越不能满足我国草场资源利益日益复杂化的局面。于是学术界和实务界开始转向从基层社区的角度去探索草原生态治理的有效政策方案,但是内生于草原牧区的社区治理模式中,草原生态的治理同样出现了各种难题。作为一种公共资源,草原是一种特定群体内部需要采取集体行动来实现
学位
新型配电网系统中,作为管理分布式资源的一种有效手段,虚拟电厂示范点开始集中涌现。多个虚拟电厂接入配电网后,若缺乏对内部资源协调及配电网的引导机制,将导致虚拟电厂收益低下与配电网潮流越限的问题。对此,本文构建虚拟电厂内产消者互助的点对点电能共享机制,并以电价引导方式建立虚拟电厂与配电网的协同运行模型。首先,虚拟电厂内采用分布式方法协调各类型产消者的电能管理,并求得对外与配电网的交互策略;同时,配电网
期刊
随着经济不断发展,船舶运输业也取得较大进步,但船舶尾气排放对港口和周围环境的污染却愈发严重。在船舶发动机中,柴油机占有领先地位,其属于压缩发火的往复式内燃机,通常使用挥发性较差的柴油或者劣质含硫燃料油作燃料,因此其会排放大量的氮氧化物(NOx)和硫氧化物(SOx),且排放温度范围比较宽(180-500°C)。目前NH3选择性催化还原法(NH3-SCR)是最有效去除NOx的方法,但是由于SOx易转化
学位