【摘 要】
:
随着计算机算力的提高与人工智能算法的突破,基于神经网络模型的应用层出不穷,而训练这些神经网络模型需要大量数据。传统模型训练方式首先将智能终端的数据传输到云数据中心,然后在云数据中心进行神经网络训练。然而,将大量终端数据传输至云数据中心会给主干网带来巨大传输压力,而且随着人们对数据隐私的关注度逐渐上升,将数据从终端传输至云数据中心进行相应处理有隐私泄露的风险。因此针对传统神经网络模型训练方式的不足,
论文部分内容阅读
随着计算机算力的提高与人工智能算法的突破,基于神经网络模型的应用层出不穷,而训练这些神经网络模型需要大量数据。传统模型训练方式首先将智能终端的数据传输到云数据中心,然后在云数据中心进行神经网络训练。然而,将大量终端数据传输至云数据中心会给主干网带来巨大传输压力,而且随着人们对数据隐私的关注度逐渐上升,将数据从终端传输至云数据中心进行相应处理有隐私泄露的风险。因此针对传统神经网络模型训练方式的不足,联邦学习将模型训练过程下沉至终端设备,以在保障用户隐私的前提下充分利用终端隐私数据。然而相对于云数据中心的模型训练,联邦学习面临着终端计算与通信能力弱、终端系统异构与数据异构等问题,其降低了联邦学习训练效率,为构建高效联邦学习训练框架带来巨大的挑战。针对上述问题,现有工作围绕如何提升联邦学习训练效率开展了研究,并取得一定进展,但仍存在一些问题:一方面,当前相关工作假设所有终端设备都执行相同训练轮次,然而由于终端系统资源异构与终端数据量不同导致落后终端的产生,从而降低了联邦学习训练效率;另一方面,当前相关工作忽略了终端与云数据中心之间的同步频率对模型收敛精度的影响,使用较低频率同步方式虽然能够提高联邦学习训练效率,但同时也会降低模型收敛精度。为此,本文研究联邦学习终端迭代次数自适应分配机制与同步频率自适应调整机制,以提高联邦学习训练效率。为解决落后终端降低联邦学习训练效率的问题,本文首先分析终端迭代次数对联邦学习训练效率的影响,然后提出联邦学习终端迭代次数自适应分配机制,该机制根据终端系统资源与数据分布情况给终端分配合适的训练迭代次数,从而使联邦学习训练效率得到有效提高。为解决同步频率影响模型收敛精度的问题,本文首先分析同步频率对联邦学习训练效率、模型收敛精度的影响,然后提出联邦学习同步频率自适应调整机制,该机制能根据全局模型收敛状态来动态调整同步频率,从而解决训练效率与模型收敛精度之间的矛盾,使联邦学习可以使用低同步频率,在保障模型收敛精度的前提下提高联邦学习训练效率。最后,根据理论研究成果,本文设计与实现联邦学习自适应训练原型系统,并基于该系统构进行大量对比实验,验证终端迭代次数自适应分配机制与同步频率自适应调整机制的有效性。综上所述,本文面向高效联邦学习,设计联邦学习终端迭代次数自适应分配机制与同步频率自适应调整机制,并构建一个联邦学习自适应训练系统。实验表明,本文所提出的训练机制在保障模型收敛精度的前提下能有效提高联邦学习训练效率。本文所提理论机制和原型系统有助于构建联邦学习生态系统,可进一步应用于联邦学习商业场景。
其他文献
微表情是人类无意识产生的面部微动作,其反应了人类的真实情感状态。这使得微表情在医疗诊断、商业谈判、刑事审讯等方面具有广泛的应用。微表情具有持续时间短、强度微弱、局部发生等特点,这些特点使得人类准确识别微表情十分困难。因此,自动微表情识别成为了计算机视觉、模式识别和情感计算研究领域中一个备受关注的课题。本文针对微表情识别中的关键任务:跨领域面部微表情识别,结合微表情的自身特点和域自适应方法,围绕微表
随着互联网技术的快速发展,网络媒体成为人们发布和获取新闻信息的重要平台,同时也成为广大网民扩散和讨论新闻事件的集散地。在此背景下,舆情演化分析的研究热度逐年攀升。舆情演化分析是包括话题抽取与情感极性分析在内的多种技术的综合,其中话题抽取可以展现相关事件的话题发展脉络,情感极性分析可以展现网民对相关话题的情感极性和强烈程度。将功能相互补充的话题抽取与情感分析相结合则可以用更加全面的视角展现舆情演化信
聚焦即将到来的5G时代和日渐复杂的网络系统架构,虽然现有主动式安全防御技术的理论研究成果丰富,但在实际应用中仍受到传统网络架构的限制,缺乏网络设备的信息联动和实际应用环境的支撑。SDN新型网络架构是对传统网络架构的突破,但在实际应用中仍存在缺乏数据包来源和身份验证机制、缺乏数据完整性保护机制以及有限的控制粒度难以满足精确的控制需求等问题。因此,如何从根源上突破“外壳式”防御瓶颈,从根本上解决网络系
射频识别(Radio Frequency Identification,RFID)技术是物联网感知层的关键技术,是一种通过无线射频信号采集物体信息的自动识别技术。相较传统识别技术,RFID技术具有准确率高、识别速度快、非接触和抗干扰等优点,因此被广泛应用于物流运输、交通控制、资产管理、电子商务以及安全门禁等领域。然而,RFID系统中的阅读器和电子标签通过开放的无线信道传输数据,极易受到窃听、跟踪、
基于数据分发服务(Data Distribution Service,DDS)的发布/订阅分布式系统是一种构件之间通过DDS进行通信且具有松耦合特性的分布式系统,在国防、军工等领域应用广泛。随着发布/订阅分布式系统的规模日益庞大、构件间关联日趋复杂,系统所面对的安全威胁也与日俱增,如针对系统的拒绝服务攻击会大量消耗系统资源,导致系统难以稳定地提供服务。因此,迫切需要开展有效的状态监控和运维管理工作
云边端架构为海量物联网设备引起的大数据处理问题带来了高效解决方案,而该架构设备规模大、资源异构、层次复杂等特点也为隐私保护问题带来新的挑战。本文考虑终端设备、边缘节点和远程云相互协作,以同时优化卸载决策和资源分配的方式研究云边端环境下带隐私约束的任务调度问题,具有重要的研究意义与实用价值。该问题的主要挑战为:(1)由于设备资源有限,部分任务需被卸载到边缘或云端处理,而在任务隐私要求和带宽资源限制等
随着计算机网络技术及信息技术的不断发展,互联网已走进各行各业,深刻影响着传统的生产方式与社会生活方式,催生了大量新产品和新应用。以移动互联网、云计算、边缘计算、物联网、工业4.0等为代表的新兴技术给人民带来便利的同时,也带来了严峻的安全挑战。近年来,网络安全事故频发,勒索病毒、敏感信息泄露、分布式拒绝服务等安全事件层出不穷,而利用僵尸网络发动规模化攻击是网络攻击者的常用手段。因此,针对僵尸网络检测