【摘 要】
:
深度学习是一种高效的建模、分类和识别复杂数据的方法。基于深度学习的人工智能产品也在各个领域迎来了一波新的发展热潮,给人们的生活带来了巨大的变化。分布式联邦深度学习架构由于个人数据隐私性高、学习效率高、不受计算设备限制等优点,在海量数据的传输、存储、管理和训练等场景下逐渐成为一个热门的研究方向。用户在享受深度学习模型带来便利的同时,必须要共享自己的数据。随着隐私泄露事件越来越多,数据的安全和隐私问题
论文部分内容阅读
深度学习是一种高效的建模、分类和识别复杂数据的方法。基于深度学习的人工智能产品也在各个领域迎来了一波新的发展热潮,给人们的生活带来了巨大的变化。分布式联邦深度学习架构由于个人数据隐私性高、学习效率高、不受计算设备限制等优点,在海量数据的传输、存储、管理和训练等场景下逐渐成为一个热门的研究方向。用户在享受深度学习模型带来便利的同时,必须要共享自己的数据。随着隐私泄露事件越来越多,数据的安全和隐私问题也逐步引起了人们的关注。分布式联邦深度学习系统中存在着诸多泄露用户隐私信息的风险。在分布式联邦学习协议中,参数服务器对来自多个参与者模型的梯度参数进行聚合,参与者通过共享模型参数,从彼此的数据中达到训练全局模型的效果。参与者需要在每轮迭代中上传本地梯度参数,这些参数中可能包含了本地训练集的一些信息,攻击者通过计算多次迭代的梯度参数值能够提取本地数据。本文深入研究了分布式联邦深度学习系统的隐私安全,提出了一种针对分布式联邦学习系统的攻击模型,准确的还原出每个参与者的样本;同时提出一套针对该攻击模型的隐私保护对策,保护参与者共享的参数。主要研究工作如下:1.针对分布式联邦深度学习系统中共享参数协议的漏洞,提出了一种基于生成对抗网络(GAN)和成员推理技术的攻击模型。在攻击模型中,攻击者伪装成联邦学习参与者,不断诱导正常用户训练GAN中的鉴别器,与攻击者持有的生成器进行对抗训练,通过生成器还原出正常用户的隐私数据。攻击者通过提取参与者的白盒模型,对隐私数据进行白盒成员推理攻击,确定样本和每个参与者的从属关系。在分布式系统中部署及训练攻击模型,准确的还原出每个参与者的样本,实现了对分布式联邦学习系统中个人样本的攻击。论文对攻击模型在MNIST和Celeb A数据集上进行了实验。结果表明,在分布式联邦学习系统中,即使没有直接接触数据集,攻击者也可以生成参与者的训练集。当生成样本经过神经网络测试时,精准度能够达到85%左右,这表明攻击者的重建数据集可以欺骗神经网络。因为模型的过拟合,在一些神经网络测试中,精准度甚至高于实际测试集。在实现过拟合的同时,为下一次的成员推理攻击提供了基础。2.针对分布式联邦学习系统中参与者训练样本的攻击模型,改进参数选择算法,提出了一套基于稀疏向量与信任域技术的联邦学习差分隐私保护方法。该方法首先考虑联邦学习协议选择梯度上传算法中的阈值选择问题,结合稀疏向量技术,根据梯度下降最大原则,对超过阈值的梯度进行噪声扰动。在上传参数满足差分隐私的基础上最小限度地添加噪声,避免过多的扰动对模型准确性的影响。考虑到分布式联邦模型中多个参与者重复地添加噪声不利于模型训练的情况,对联邦学习系统建立信任域机制,进行分级管理。联邦学习信任域机制同时满足k-匿名的泛化思想,干扰攻击模型。实验验证了联邦学习系统中差分隐私的保护效果,合理的参数选择能够有效的抵御样本攻击。实验也评估了基于信任域的优化方案,将参与分布式联邦学习的用户在系统中划分为k个信任域。在每个信任域内建立联合学习,将学习结果发送给参数服务器进行全局学习。在设置同样的隐私预算下,通过信任域分区,可以大大提高全局模型的准确率。
其他文献
随着企业的发展,激励是最大程度发挥员工积极性、对员工个人与企业间关系展开协调的重要性手段,故实施以人为本的管理的关键就是要建立起一套适合企业需求的激励机制。因此,本文以东阿县移动公司为例,对该公司人员激励机制进行研究。本文首先介绍了本文的研究背景和意义,通过国内外文献综述和评价总结出要解决的内容和问题,阐述研究方法和创新之处。其次,阐述期望理论、公平理论和综合激励模型等激励模型相关理论。在上述理论
随着现代信息技术的发展,人们的业余生活越来越丰富。越来越多的在线视频网站的兴起,使得人们不再局限于在电视机上观看影视作品,而是可以随时随地地在线观看自己喜欢的作品。这些在线视频网站给观众提供了一种交互式的观影体验,观影者可以在观看视频的同时发表和交流自己的感受。在这些影视评论当中隐含着许多有价值的情感信息,如何有效地挖掘和分析这些情感信息有着重要的研究意义。其不仅能够为观影者提供信息参考,同时也可
黑碳气溶胶作为气溶胶中主要的吸光成分,可以直接吸收太阳短波辐射,加热大气,根据IPCC2013年报告指出,黑碳是影响气候变暖的第三位因素,黑碳在大气中会不断老化,一般分为两个阶段,第一阶段是由链状结构紧密成球状,第二阶段会在球状的外表面包裹上有机和无机外壳,产生透镜效应,增强黑碳的吸光性,对气候变化和环境产生重大影响。但目前对黑碳辐射贡献的估算仍存在较大的不确定性,一个重要的原因是因为黑碳颗粒老化
在当前竞争日益激烈的市场行情下,企业要想获得竞争优势,实现基业长青,关键在于提高组织和员工的绩效,充分发掘人员的潜力和效能。而这首先是建立在科学的绩效指标体系之上的。近几年,由于宏观经济疲软、房地产大量透支居民收入、汽车越来越普及、城市限牌限行等,汽车销售在中国呈现疲软状态,进入低速增长甚至下降的形势。据中汽协公布,2018年全国汽车销售量为2808.06万辆,同比下降2.76%;2019年销量2
十一届三中全会至今,我国经济社会快速发展,城镇化和工业化的快速提高导致了规模巨大的人口迁移。城镇化的本质就是农村劳动力向城镇的转移。劳动力迁移不仅是人口在城乡之间的变化,更是对城乡土地资源进行重新构建,由此伴随产生了社会问题,如城乡土地资源配置不合理、城镇化质量偏低、空心村、留守儿童、农村人口老龄化等。近年来,我国经济已由高速增长阶段转向高质量发展阶段,原来单一的农村城镇化发展已不适应当前发展,在
能够为全球提供无缝覆盖通信服务的星地融合天地一体化网络,正成为未来移动通信网络建设中的重要研究方向。但现有天基网络与地面5G网络融合的结构中,网络设备和网络功能之间耦合关系错综复杂,对于统一管理和实行快速的动态资源调度提出了更高的要求。针对上述问题,论文结合网络功能虚拟化、软件定义网络等前沿技术整合异构天基信息资源,在实现网络功能和资源分离的基础上,充分借鉴5G云原生化理念,设计并实现了一种以容器
随着物联网时代的来临,大型的室内场景将会不断增加,人们也将对室内场景位置的感知产生强烈的需求。为实现在线定位时用户上传的图像与场景图像数据库的快速检索与精准匹配,室内场景分类问题得到了越来越多研究人员的关注。作为场景分类研究领域的一个分支,室内场景分类不但可以提升图像检索的效率,而且在智能安防、无人驾驶、机器人导航等领域都有广泛的应用。针对室内场景本身所具有的结构复杂性,以及不同场景特征之间具有的
改革开放以来,以工业化、城市化为依托的现代化建设,使城市人口不断聚集,城市面积持续扩大,征地拆迁的范围也不断推进。土地作为农民最重要的生产资料和收入来源,然而土地征收使农民失去了对土地的使用和收益权,丧失了获得经济来源的基础。征地拆迁补偿安置是一个长期热门的话题,吸引了社会各界的目光。趁着改革开放、西部大开发和重庆直辖、成渝双城经济圈等一系列重大利好,重庆的经济、文化、社会发展迅猛。渝北区作为重庆
国内流行的三人棋牌类游戏“斗地主”是典型的不完备信息博弈,既有两个农民角色与地主角色之间的对抗,也有两个农民角色之间的合作。随着人工智能技术在大规模棋牌类游戏中取得的重要进展,例如Alpha Go和Libratus分别在围棋和一对一无限注德州扑克游戏上取得了超越当前人类职业玩家的能力,“斗地主”棋牌类游戏也引起了人工智能研究人员的广泛兴趣。蒙特卡洛树搜索通过抽样方法解决大规模搜索问题近似解,是Al
在国际上,实施工伤保险制度已有100多年历史。这项制度的科学性,主要体现于长期在实践基础上所形成的工伤预防、补偿、康复三者有机结合的模式。工伤预防主要是通过事先防范