基于网络内部信号的自监督训练方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:ananluo2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习研究的不断扩展,自监督学习作为一种新兴的无监督学习方法,被用于训练网络在无标注的数据集上进行表征学习,目前已经在计算机视觉领域中取得了一定的成果。为了从无标注数据中学习通用视觉特征,研究者利用自监督学习方法提出了一种常用的解决方案,即设计不同的代理任务供网络求解。同时,网络在优化代理任务中的目标函数的过程中得到了训练。然而,在现有的自监督学习方法中,研究者通常利用网络外部信号设计自监督代理任务,这将导致训练数据被拓展至原来的数倍大小,从而产生数倍于原始训练的额外开销。因此,本文就自监督学习方法、正则化方法与卷积神经网络结构进行了相关研究分析,并作出了如下贡献:1)通过改变代理任务的应用对象,利用网络内部信号进行代理任务设计,提出了基于特征转换的自监督代理任务,该代理任务通过定向抹除特征图,配合自动生成的联合标签使网络在完成监督学习任务的同时完成自监督代理任务。2)在设计代理任务的基础上,实现了基于网络内部信号的自监督训练方法,使该代理任务在网络训练中得到充分的应用。这种方法可被用来训练监督学习场景下的现有网络,以此来增强网络的监督学习表征能力,同时仅引入少量的额外训练开销。该训练方法提高了网络对局部特征的关注程度,迫使网络关注目标对象上更多的局部特征,从而实现目标对象与冗余背景的解耦,有效缓解“捷径学习”现象给网络预测带来的耦合效应。本文通过大量实验展现了基于网络内部信号的自监督训练方法可以显著提升网络的泛化性、鲁棒性和监督学习表征能力。除此之外,本文通过对不同网络结构和数据集的广泛对比研究,展现了本文的训练方法可以与现有方法兼容,同时,本文的训练方法所带来的额外计算开销可以忽略不计。
其他文献
当今交通事故频发,其中驾驶员操作失误是主要原因之一。自动驾驶技术的发展为减弱或摆脱人为因素提供了最有效的解决办法,目前是世界公认的汽车发展趋势。其中,局部避障路径规划和路径跟踪控制是自动驾驶汽车的关键,对汽车的智能化水平和行驶安全稳定性有着决定性影响。因此,本文针对自动驾驶汽车局部避障路径规划与路径跟踪控制策略展开研究。主要研究内容如下:采用分层控制架构搭建局部避障路径规划和跟踪控制模型。上层为避
学位
基于深度学习的单视图三维人脸重建任务,旨在利用卷积神经网络将单张2D人脸图像建模出准确逼真的3D人脸模型,该技术被广泛地应用于三维游戏、影视广告、人脸动画、人脸识别等场景中。近年来深度学习技术飞速发展,进一步加快了三维人脸重建课题的研究进程,卷积神经网络也为三维人脸重建的研究打开了新思路。尽管如此,三维人脸重建研究工作中仍然存在许多困难,比如带标注的数据集难以获取,复杂的神经网络难以训练,重建精度
学位
随着城市化进程的加快,越来越多的人涌入经济比较发达的地区,然而土地面积是有限的,供不应求,出现用地面积紧张的现象,导致房价的攀升,让地产公司和投资者赚的盆满盈钵,然而随着限购、限贷等一系列国家限制性政策的出台以及新冠疫情的影响,促使曾经蒸蒸日上的地产行业步入了经济衰退期,在此背景下,地产公司纷纷转变战略措施,以期在严峻的形势下保存体力,等待地产暖冬的到来,因此,采取合理科学的业绩评价方法成为了指引
学位
人体行为分析一直是计算机视觉领域的关键性问题。而人体姿态估计和骨架动作识别作为人体行为分析的两大基础任务,也得到了研究员们越来越多的关注。不同于基于人体模板来进行关键点特征提取的传统方法,最近基于图神经网络的深度学习方法取得了很好的性能。基于图神经网络的方法将人体关节点作为图的顶点,将基于身体物理连接的两个关节点之间的骨骼作为图的边,以这种方式建立图结构并在该图结构上进行关节点特征融合。尽管这些方
学位
为解决Ti-6Al-4V钛合金表面激光熔覆Al2O3-ZrO2陶瓷涂层易出现裂纹、气孔等缺陷的问题,有效增强Ti-6Al-4V钛合金耐高温、耐磨损性能,扩大其在高温、重载等严苛条件下的使用范围。综合运用理论分析、有限元仿真及实验研究等方法,开展陶瓷熔覆层裂纹抑制机理研究及熔覆工艺分析。揭示Al2O3-ZrO2熔覆层裂纹萌生及生长机理,阐明激光熔覆工艺对陶瓷熔覆层裂纹敏感性的影响规律。探索并提出钛合
学位
文章为探究互联网金融与银行科技创新能力的内在联系,选取2010~2019年我国26家商业银行数据为样本进行实证分析,以净手续费及佣金收入度量银行科技创新能力,以第三方支付、P2P、余额宝交易规模之和度量互联网金融发展水平。研究结果表明,互联网金融与银行科技创新能力正相关。分组回归后发现,大型银行科技创新能力受到互联网金融的影响相较于小型银行而言更加显著,表明在互联网金融的影响下,大型银行表现出的科
期刊
作为机器听觉领域研究最为广泛的技术,自动语音识别在智能家居、智能汽车、智能手机虚拟助手等场景下都有非常重要的应用价值。在理想环境下,自动语音识别的精度已经接近饱和。但是在噪声场景尤其是高噪声场景下,受稳态和非稳态噪声的影响,语音识别的精度出现大幅度下降乃至完全失去识别效果。同时,在一些特定的对能源使用要求较为严苛的军事应用场景,如航空航天卫星、全天候陆地侦察车等,对低功耗的嵌入式语音识别方案有较大
学位
近年来,深度神经网络(Deep Neural Network,DNN)在图像分类任务中取得了显著的效果。然而,对抗性机器学习领域的进展使得DNN不再可靠。通过在良性图像上添加精心设计的扰动(即对抗攻击),产生的对抗样本可以轻易骗过最先进的DNN,这不可避免地引起了人们对所部署模型稳定性的担忧。因此,尽可能多地暴露DNN的“盲点”是当务之急。在所有的威胁模型中,黑盒攻击是最具挑战性和最实用的,因为部
学位
基于核心素养的要求,通过对传统的知识链接型、实验传递型课堂的分析,结合初高中教材对《功》的编排特点,设计以贴近学生生活的真实情境为中心、以任务引导为手段的创新型教学方式,以期为高中物理课堂教学改革提供借鉴。
期刊
在针对遥感图像的目标检测应用中,对重要物体的关键部位进行目标检测具有重大的研究价值,在军事上,可以利用关键部位目标检测发现具体要打击的部位,从而进行精确打击。经过测试,现有的目标检测算法针对小目标物体的关键部位检测会发生许多漏检的情况,究其原因是小目标物体的关键部位检测更加具有挑战性。为了解决现有技术进行关键部位目标检测精度不佳的问题,本文围绕神经网络轻量化技术、关键部位目标检测技术、神经网络结构
学位