【摘 要】
：
深层的深度学习模型虽然通常拥有高性能,但计算复杂性和存储需求要求较高,使得这种深层模型在车载终端设备和个人移动设备等资源受限的平台上部署较困难。知识蒸馏作为一种特别的模型压缩方法,采用教师模型传递知识给学生模型的训练方式,可以将具有较低的推理时延、较弱的算力和较少的存储量的轻量级学生模型的准确率提高到接近教师模型的水平,满足资源受限的平台部署和运行需求。目前知识蒸馏算法普遍存在知识形式差异较大,以
论文部分内容阅读
深层的深度学习模型虽然通常拥有高性能,但计算复杂性和存储需求要求较高,使得这种深层模型在车载终端设备和个人移动设备等资源受限的平台上部署较困难。知识蒸馏作为一种特别的模型压缩方法,采用教师模型传递知识给学生模型的训练方式,可以将具有较低的推理时延、较弱的算力和较少的存储量的轻量级学生模型的准确率提高到接近教师模型的水平,满足资源受限的平台部署和运行需求。目前知识蒸馏算法普遍存在知识形式差异较大,以及模型的压缩比和蒸馏后的性能还有较大的改进空间等问题。针对这些问题,本论文研究知识蒸馏的新方法,并探讨其在车载终端上应用。本论文主要研究工作如下:（1）提出了自适应损失函数权重的更多粒度知识蒸馏方法。针对分析目前的多粒度知识蒸馏方法的粒度最佳选择和各粒度级别的损失函数收敛速度需要统一的问题,改进了自分析器数量,并引入自分析模块各分支损失函数自适应的权重。在图像分类公开数据集Cifar100和State Farm,以及自采驾驶行为数据集UESTCDriving上的实验表明,该方法能够提高学生模型的学习能力,并且与其它知识蒸馏方法融合后,与原算法相比,具有0.44%～1.07%的准确率提升。（2）提出了软标签熵减少的知识蒸馏方法。针对知识蒸馏中软标签系统信息混乱的问题,采用系统信息熵值来衡量软标签所含信息的混乱程度,并标注信息价值较高的类别作为相干标签,排除非相干标签对软标签造成的混乱影响。将系统信息熵值减少后的软标签用于知识蒸馏训练,有利于提高学生模型对非相干标签的辨别能力,同时也保留了软标签所包含的类间信息。在UESTCDriving和State Farm数据集上的实验表明,该方法最高使学生网络有2.45%的准确率提升。（3）采用服务器端方式和车载终端方式,分别设计并实现了两种部署知识蒸馏后模型的车载系统。服务器端实现方式能够持续性更新深度学习模型库,并且提供给车载终端系统部署模型的参数更新功能;车载终端实现方式在Android平台上部署了经过知识蒸馏训练的轻量级网络模型,提供驾驶行为识别的实时识别。两种实现方式的系统性能测试表明,知识蒸馏后的轻量级模型在资源受限的平台上完成驾驶行为识别的分类识别准确率能达到90.82%,平均运行时间234ms,具有较好的准确率和实时性。
其他文献
污泥热解残炭具有特殊孔隙结构和延伸的比表面积,由于污泥灰分含量高、固定碳低,使得热解炭孔隙结构不发达,比表面积较低,吸附效果一般。浒苔热解炭具有纤维状碳骨架和丰富的孔隙,会与污泥共热解过程中发生良好的交互作用。基于此,本文提出了用共热解残渣制备污泥—浒苔复合吸附剂的新思路,以废提质,用于污水处理领域,以废治废,充分利用了二者的资源化价值,符合我国可持续发展的要求。本文首先开展污泥与浒苔热解动力学分
工程领域中,准双曲面齿轮和弧形锥齿轮等零部件,因其承载性强,扭矩角可变,传动稳定等优势广泛被航空航天、矿山机械、风电等行业所采用。但由于遭受振动甚至冲击影响,容易引起齿轮等零部件润滑剂流失甚至断流,产生严重乏油状态,导致接触副润滑失效、表面磨损等问题。为解决乏油润滑问题,人们通过物理方法（如:微织构、表面纹理等）或者化学方法（如:表面改性剂、表面修饰等）增加润滑剂的回填,能够有效缓解乏油程度。在表
食道癌是一种致死率极高的消化系统肿瘤,早期医疗手段的介入能有效延长病人寿命,提升病人愈后生存质量。食道癌可以通过CT进行诊断,但是医生在CT上手动分割食道肿瘤区域既费时又耗力,该方式难以应对当前病人多医生少的现状。深度学习分割技术是该问题的主流解决方案,但是以U-Net为代表的分割模型在特征传递中存在较多图像噪声,并且单卷积流的特征提取结构难以提取到层内的多尺度信息,所以难以实现准确的食道癌分割。
木结构是我国古代建筑中的一种重要结构体系,它以木构件为承重骨架,柱与梁之间多使用榫卯节点进行连接。在追求低碳环保的现代背景下,作为绿色建筑的建材,木结构又有机会以不同形式表现建筑。燕尾榫节点在传统木结构中应用广泛,被称为“榫卯之母”,其榫头与卯口之间的互相挤压、摩擦所产生的减震耗能作用使节点具有良好的抗震性能。本文以燕尾榫节点为研究对象,考虑摩擦和嵌压建立有限元模型,采用理论分析结合数值模拟的方法
通过控制相邻施工区段混凝土浇筑的间隔时间,以减小温度应力、避免混凝土开裂,从而取消后浇带,并改变跳仓做法的间歇法施工,在超长混凝土结构工程中逐步得到了应用。采用间歇法施工时,相邻施工区段混凝土浇筑后结构所产生的温度应力共同作用,以及独立柱基和电梯井等不均匀约束的结构形式,均会改变底板温度应力的大小和分布。为了得出底板在共同作用和不均匀约束下的温度应力变化规律,以利于间歇法施工的进一步推广应用,本文
随着建筑业数字化、智能化、工业化等技术的高速发展,3D打印混凝土技术具有建造灵活度高、无模板化等特点,有助于加快推进建筑业的转型升级,得到了迅猛发展。3D打印充分利用了材料性能,“前期可挤出、后期可建造”的要求导致3D打印建造过程中工艺的控制较为严苛。当前多采用“试错法”评价建造性能,仍没有统一量化的方法。因此,开展3D打印混凝土可建造性与工艺参数的量化研究具有迫切性和必要性。本文利用数值模拟的手
车内噪声逐渐成为汽车舒适性的重要评价指标,消费者、政府、公司技术、竞争对手共同推动汽车企业加大车内降噪方面的投入,提升品牌竞争力。传统的吸声、隔声材料主要针对中高频噪声,对低频噪声效果不明显。为了在汽车的前期开发阶段,降低车内低频噪声,缩短产品开发周期。本文基于CAE仿真技术,分析车身NVH性能和整车碰撞性能,基于Elman神经网络预测的方法,确定最优的车身结构参数,车内噪声降低的同时提升整车碰撞
青少年期是人格发展的黄金阶段,在此阶段如遭遇校园欺凌会严重危害青少年身心健康发展。社会工作者秉承“助人自助”价值理念,以专业理论基础和工作技巧,可帮助校园受欺凌者走出困境,解决服务对象的问题,使其增强自身能力,有效降低欺凌事件的发生几率,使校园受欺凌者顺利走出校园欺凌的阴影。本研究在收集校园受欺凌者小A相关信息基础上,分析案主遭受校园欺凌的原因及校园欺凌带来的创伤反应。在增能理论指导下围绕案主需求
随着工农业现代化的飞速发展,污水排放造成的污染日益凸显,而村镇污水处理率明显低于城市。这是因为村镇污水处理站数量众多且位置分散,基于人工对设备运行是否正常的监测非常低效,使故障设备难以被及时维护,直接影响了污水处理率,因此提高村镇污水处理监测效果成为一个重要的研究问题。目前相关研究中已有基于物联网（IoT）的村镇污水处理监测系统解决此问题,此类系统借助数据采集器在脱离人工的情况下自动采集和分析污水
无人机和北斗卫星的不断发展,给人们带来了新的生活方式,也让人们更多的接触到遥感图像,如今人们可以在几乎任何地方使用无人机拍下与以往不同视角的图像。现有的目标检测方法已经可以比较好的执行目标检测任务,然而在遥感图像中执行检测时会有一定的精度损失,这是由于遥感图像中存在着大量的大长宽比且密集排列的倾斜目标,在该场景下执行非极大值抑制算法会有较大的误差。因此,本文提出旋转目标检测方法,以更为精确的表示方