【摘 要】
：
卷积神经网络以及其他类型的神经网络正在飞速发展与应用,为了追求高准确率,网络模型的深度越来越深,复杂度越来越高。然而在某些真实的应用场景如移动或者嵌入式设备上,如此大而复杂的模型难以应用。轻量级的神经网络网络架构不仅能帮助我们更好的将深度学习技术部署和应用到更多实际场景中,还能提高现有应用的用户体验。设计一个轻量级的网络架构,主要有人工设计和自动架构搜索两种途径。当前主要存在的问题有:在人工设计方
论文部分内容阅读
卷积神经网络以及其他类型的神经网络正在飞速发展与应用,为了追求高准确率,网络模型的深度越来越深,复杂度越来越高。然而在某些真实的应用场景如移动或者嵌入式设备上,如此大而复杂的模型难以应用。轻量级的神经网络网络架构不仅能帮助我们更好的将深度学习技术部署和应用到更多实际场景中,还能提高现有应用的用户体验。设计一个轻量级的网络架构,主要有人工设计和自动架构搜索两种途径。当前主要存在的问题有:在人工设计方面,轻量级网络需要大量的专业知识与经验积累,然后通过大量实验去验证模型的有效性,鲁棒性。在架构搜索方面,尽管自动架构搜索已经体现出了其相比于人工设计的优越性,但搜索过程中,通常需要大量的物理资源去支撑,这也使得架构搜索对于一些中小型团队、个人研究者,又或者是在一些大型数据集上,难以实践。针对以上问题,本文对近年来轻量级神经网络的设计进行了回顾和归纳,并在人工设计与自动架构搜索方面都提出了创新的模型与算法。在人工设计方面,本文以Dense Net为基准,通过分析当前主流的轻量级卷积操作,选择合适的操作应用到Dense Net模块中,并加入通道注意力机制与空间注意力机制以及跨模块的特征复用,进一步提升Dense Net中特征复用的优势,设计了Dense Net的轻量级版本,在保持模型准确率的前提下减小了模型的大小。在自动架构搜索方面,本文以渐进式可微架构搜索算法为基准,为增加模型的多样性,本文提出多单元搜索空间,进而增加了搜索结果集合中可能出现的网络架构。同时,针对本文提出的搜索空间进一步改进渐进式搜索算法,解决跳层连接过多导致的性能崩坏问题,同时大大减少了搜索过程中的显存占用和消耗时长。本文方法在CIFAR10、CIFAR100数据集上都取得了当前最优的效果。同时,本文挑战了直接在大数据集Image Net上进行架构搜索,同样取得了当前最优的效果。
其他文献
为适应航空航天电子设备轻量化的要求以及越来越有限的空间,本文对比了传统单材质壳体均热板的优缺点,提出了一种轻量化铝铜复合板材均热板,该均热板能够有效的结合铝和铜质均热板的优点。实验结果表明,本文中的铜铝复合板材均热板不仅拥有优异的传热特性,同时做到了均热板的轻量化、低成本。本文的具体研究工作如下:（1）铜铝复合板材均热板制造工艺研究介绍了铜铝复合板材铸轧过程的原理,并测试复合板材的力学性能以及导热
2.0μm单频光纤激光在相干探测、高分辨率光谱学、非线性频率转换、引力波探测和医疗卫生等领域中具有重要的使用价值和广泛的应用前景。相较于连续光,2.0μm单频脉冲激光具有更高的峰值功率和能量,且激光在时域上可以进行调节,即可以实现重复频率和脉冲宽度的灵活调谐,更能满足实际应用需求。然而,现阶段对于在超短谐振腔中有效实现输出稳定、峰值功率大、脉冲能量高的2.0μm单频脉冲的研究非常有限,尤其是限制了
本文结合概率疲劳分析理论和汽车振动理论,通过CAD/CAE的设计手段,建立了汽车驱动桥壳的有限元振动分析力学模型,基于路谱随机载荷的概率计算结果,对其进行了疲劳强度校核和疲劳寿命预估,并进一步提出了汽车结构件基于CAE随机振动计算结果的概率疲劳寿命预估方法,为进行汽车零件基于CAE计算结果的有限寿命设计打下基础。
在现代社会,音视频通信已广泛应用到日常交流、商务会谈、在线教育和医疗服务等方面,成为人们生活中不可或缺的一部分。现有的音视频通信软件都需要借助键盘、鼠标或触摸屏等传统人机交互设备才能使用。但是,世界上数以百万计的人患有重度运动功能疾病,如脑瘫、中风以及脊髓损伤等。他们因双手不能运动,无法独立地使用现有的音视频通信软件,这给他们的生活带来了极大的不便。而脑机接口（Brain-Computer Int
负荷运行状态的监测是用电管理的重要环节。通过非侵入式负荷监测技术,用户可以在安装少量传感器的前提下,藉由总线处测量得到的用电信息识别出建筑内部的负荷运行状态,实现高性价比的负荷监测。针对应用过程中非侵入式负荷监测对负荷识别的实时性与动态适应性的要求,本文重点研究了在线非侵入式负荷识别算法,主要研究内容如下:（1）对非侵入式负荷监测技术的基本实现流程与关键步骤进行介绍,在此基础上,对在线非侵入式负荷
刺玫果是广泛分布于我国东北地区的中药保健食品山刺玫（Rosa davurica Pall.）的成熟果实,中国民间主要使用刺玫果制作药酒、煎剂、茶水等来治疗消化不良、胃痛、气滞腹泻、月经不调等病症。经研究证实,刺玫果的主要成分包括黄酮、皂苷、多糖等,同时潜藏抗氧化、护肝、肿瘤、降脂、抗炎免疫免疫等生理活性。本文借助天然产物分离提取技术,对刺玫果活性物质进行了分离提取工作,应用现代活性物质研究方法,对
术后72h内的急性疼痛是影响患者康复质量的关键因素。局部麻醉药罗哌卡因具有低毒性和运动神经阻滞分离的特点广泛用于临床术后镇痛,但是其镇痛时间还满足不了部分患者需求。多囊脂质体由于内部非同心腔室的结构具有良好的缓释效果,本文制备了一种盐酸罗哌卡因多囊脂质体,具有良好的缓释效果,在具长效镇痛方面有巨大的应用价值。罗哌卡因（Rpv）为长效局麻药,具有神经和心脏毒性低,神经阻滞与运动阻滞分离等特点,广泛应
乳腺癌是全球发病率最高的癌症,也是女性癌症患者死亡最常见的原因。对于乳腺癌患者而言,转移才是其发生发展中最难以控制的阶段,也是造成90%以上乳腺癌患者死于实体瘤的主要原因。对乳腺癌运动能力的抑制以及有效的抗乳腺癌方法将大大缓解乳腺癌带来的经济与社会负担。因此,基于材料表面带电特性对细胞行为调控的重要作用及现阶段电刺激用于肿瘤治疗的局限性,本文利用具有稳定可调表面带电特性的铌酸钾钠（KNN）块体压电
温室气体CO2大量排放引发的环境问题和化石燃料过度使用造成的能源危机是人类社会发展面临的重大威胁,实现CO2减排和能源转型低碳发展目标是当今世界的主题。CO2作为一种丰富的重要碳源,是众多化学反应的基础。利用可再生能源产生的氢气可以有效地将CO2转化为高附加值的燃料和化学品,这将是一种有前景的CO2减排策略。然而传统催化转化反应条件苛刻、反应选择性和稳定性有待提升等问题是限制其工业化应用的瓶颈。非