【摘 要】
:
在深度学习中,面对不断增加的数据样本量与昂贵的人工标注成本,对比学习作为自监督学习的一种重要方法,可以脱离标签进行基于样本本身的训练。相较于传统的有监督学习,通过对比学习训练的模型可获得理解更丰富的高层次特征的能力,为下游任务提供更优秀的预训练模型。对比学习通常会采用实例识别任务(instance discrimination task)作为训练模型的借口任务(pretext task)。然而,实
论文部分内容阅读
在深度学习中,面对不断增加的数据样本量与昂贵的人工标注成本,对比学习作为自监督学习的一种重要方法,可以脱离标签进行基于样本本身的训练。相较于传统的有监督学习,通过对比学习训练的模型可获得理解更丰富的高层次特征的能力,为下游任务提供更优秀的预训练模型。对比学习通常会采用实例识别任务(instance discrimination task)作为训练模型的借口任务(pretext task)。然而,实例识别任务存在类别冲突问题,使得模型难以正确理解实例图像与正负样本之间的相似与差异,影响预训练模型对高层次特征的理解。同时对比学习需要使用计算量巨大数据预处理来提升训练的效果,但该预处理通过CPU(central processing unit)执行,导致预处理耗时过长,严重影响了训练的速度。为了克服实例识别任务的类别冲突问题,提出协同处理方法。为了缓解预训练对训练耗时的影响,提出并实现利用GPU(graphics processing unit)的数据预处理优化方法。本文的主要贡献如下:(1)针对实例识别任务的类别冲突问题,借鉴一致性的思想与多模型训练的方法,本文提出协同处理方法。该方法可以在训练多个不改变原有训练方法的对比学习模型的同时,使用协同损失让这些模型学习其他模型对数据的理解。依靠这种方法减少这些模型对数据的理解间隔,达到协同一致,从而克服实例识别任务的类别冲突问题。(2)针对预处理耗时对模型训练速度的影响,分析该影响的原因和常用预处理方法的缺陷,设计并实现利用GPU的数据预处理加速方法,并成功运用在协同处理方法的实验中。使用本文优化方法、Pytorch与DALI(data loading library)的数据处理模块在Cifar10和Image Net上进行基准测试实验,优化方法的执行速度是Pytorch方法的3倍,并与DALI在这两个数据集的测试速度持平。除此之外,在使用协同处理方法与Mo Co-v2(momentum contrast learning v2)训练实验中,使用本文的加速方法均比使用常规预处理方法的训练速度快大约3倍,并且能够维持模型的特征提取能力。(3)为验证协同处理方法的有效性,设计基于Mo Co-v2的协同损失,并与Mo Co-v2,Sim CLR等主流方法进行比较。在Image Net的线性评估实验与Cifar10的K最近邻评估实验中,本文方法比Mo Co-v2分别提高了1.2%与4.3%的Top1的分类精度,并且在VOC-0712和COCO-2017数据集的目标检测与实例分割实验中,协同处理方法的性能均比Mo Co-v2有所提升。综上所述,在深度学习领域,为对比学习提供了一种可行的训练方法,可以以此缓解实例识别任务的类别冲突问题;也在数据处理领域,提供了可以提高预处理的速度的方法,将预处理的执行从CPU转移到GPU上,以此提升深度学习训练效率。
其他文献
睡眠是人类的生命本能,但是随着社会压力的增大,越来越多人面临着睡眠障碍的困扰。睡眠分期作为睡眠质量评估和障碍诊断的基础,在相关领域研究中占据重要地位。脑电信号记录睡眠期间的大脑活动具有高准确性,是睡眠阶段判读中的主要评判依据,被广泛应用于临床和科研中。然而现有的脑电睡眠分期方法更多基于特征工程或者深度学习框架,主要关注大脑局部信息而忽略了通道之间及脑区之间的信息交互,忽略了脑电信号固有的“图”属性
网约车系统(Online Car-Hailing System,OCS)是城市交通的重要组成部分,随着汽车保有量的快速增多,在城市运营网约车会遇到交通拥堵问题。预测交通流指导网约车进行路径选择,对缓解城市交通拥堵具有现实意义。本文针对交通流预测与网约车路径选择展开研究。目前在交通流预测领域多采用深度学习方法,并且通常只考虑少数交通流影响因素,通过综合考虑多种交通流特征预测交通流能有效提高预测精度;
在中国,每年有数以万计的人确诊听觉障碍,助听器可以有效地帮助康复治疗。大多数助听器放大有效声音的同时,也会放大环境噪声,影响体验。通过采集听者脑电信号,使用听觉注意力检测方法获取听者关注的声音并进行放大,是提升患者体验的有效手段,但是该方法通常要求听者高度集中注意力而难以推广应用。为解决该问题,本文试图通过听者脑电信号识别说话人身份,以此降低对听者要求。目前关于听者脑电信号的说话人身份识别研究非常
网络编码在无线传感器网络数据采集中的研究与应用是目前较为热门的课题,其能够通过编码的方式提高灾难场景下数据的可靠性。在传统的编码采集方式中,一般利用节点采集的数据互相进行交叉式编码。然而,针对只有在达到某种特定触发条件后才开始进行数据采集的触发式数据场景,这种交叉式编码由于无法产生足够的数据,难以保证数据的可靠性。而且,传统交叉编码进行区域聚集收集时需要较高的收集与解码开销。针对上述存在的问题,本
艺术肖像画生成是指让计算机根据给定的人脸图像生成风格化的画像,其在公共安全与数字娱乐领域具有独特的应用价值。近年来,研究人员提出了各种基于生成对抗网络的艺术肖像画生成方法,并取得了令人瞩目的进展。但是,现有的方法在艺术肖像画的细节纹理生成、几何结构保留等方面仍然面临着很大的挑战。为此,本文提出了一种基于人脸语义正则化约束的肖像画生成算法,并将其应用于素描和钢笔画。然后,本文提出了一种基于非对称循环
随着信息技术的发展,人类社会进入大数据时代。知识图谱能连接相关数据并建立关系网络,为影视、医疗等行业提供有力支持。关系分类与关系抽取是构建知识图谱的关键技术,深入研究具有重要意义。关系分类旨在实体已知的情况下,预测实体之间的关系类别。关系抽取旨在实体未知的情况下,抽取文本中的关系三元组。句法分析捕获词汇间的依存关系,包含句法结构与句法依赖。使用句法分析技术能显著提升关系分类与关系抽取任务的效果。本
随着物联网产业的逐渐成熟和5G技术的问世,海量数据从日常生活的各个领域涌现,作为当前主要计算范式的云计算已经逐渐无法负担急剧增长的数据流量。边缘计算技术的出现为解决日益增长的海量数据带来了希望。作为一种分布式计算架构,边缘计算通过将服务器部署在用户端来提供计算能力,从而可以减少骨干网络拥塞,降低计算响应延迟。然而,城市人口密度分布不均,不同区域人口数量差别较大,导致城市基站工作负载极度不平衡,用户
在模糊控制中,区间二型模糊系统不仅具有解决一型模糊系统隶属函数不确定问题的能力,且具有比二型模糊系统计算复杂度更低的优良性质。非齐次Markovian切换系统是一类以非齐次Markovian过程为模型的随机切换系统,对结构随机突变的系统进行建模时具有很大的优势。因此,本文以区间二型模糊模型为框架,研究非齐次Markovian切换系统的H∞控制问题,本文研究内容及创新点如下:一、研究一类不确定非齐次
船舶自动识别系统(AIS)是一种海上辅助导航系统,该系统能够自主连续的在甚高频信道上广播信息,自动交换船舶静态信息和动态信息,实现船与船、船与基站之间实时通信,对可能发生的事故进行提前预警,有效的避免船舶碰撞,保障航行安全,推动了海上交通运输的发展。目前国内AIS设备厂商较少且大部分实现方案都是采用国外AIS信号处理专用芯片,核心技术受制于人。因此,深入研究AIS通信协议,完成AIS控制子系统的设