【摘 要】
:
在大数据的时代,数据成为了科学研究的基石。基于深度学习技术的推荐算法、语音识别、图像识别、无人驾驶等新型科技发展迅速,数据担任着驱动算法不断优化迭代的重要角色。深度学习模型的层层数据抽象能力带来预测准确性的提升,但大量训练数据通常包含敏感和保密的用户信息,面临着严重的隐私泄露风险。差分隐私技术凭借其背景知识无关的强大数学证明,已经从面相传统的数据发布向更加前沿的深度学习训练数据隐私保护领域发展。差
论文部分内容阅读
在大数据的时代,数据成为了科学研究的基石。基于深度学习技术的推荐算法、语音识别、图像识别、无人驾驶等新型科技发展迅速,数据担任着驱动算法不断优化迭代的重要角色。深度学习模型的层层数据抽象能力带来预测准确性的提升,但大量训练数据通常包含敏感和保密的用户信息,面临着严重的隐私泄露风险。差分隐私技术凭借其背景知识无关的强大数学证明,已经从面相传统的数据发布向更加前沿的深度学习训练数据隐私保护领域发展。差分隐私和深度学习的结合,通常面临模型准确度和隐私性的博弈。噪声的添加带来模型准确性损失,以及非语义安全的弱点使得差分隐私在部署过程中存在许多困难:如何减少训练轮数迭代造成的噪声数倍累加,以及最终的模型整体效用的评估等问题都是亟待解决的问题。首先,作为研究的基础,本文梳理了目前主流的差分隐私深度学习隐私保护方案,将差分隐私部署于深度学习模型的位置按照输入层、隐藏层、输出层划分为三个层次;其次,以差分隐私理论约束为隐私保证,以减小差分隐私为模型带来的可用性损失为目的,分别研究了基于梯度自适应加噪和基于输入输出关联的多层差分隐私保护方法。其中,针对梯度下降过程,提出分层的梯度适应性裁剪和加噪,利用Moments Accountant机制进行隐私统计,并结合隐私攻击进行模型安全性证明,分析了由于训练迭代所带来的模型局限性;基于输入输出关联的多层差分隐私保护方法摆脱了隐私预算对训练轮数的约束,利用关联度计算加强了模型特征与输出之间的关系,将关联度作为噪声适应性分配的依据,即在关联性较强的特征上添加更少的噪声,确保了模型更优的准确性。差分隐私的保护效用已经在诸多应用中得以体现,也逐渐成为隐私保护的一种实际标准,研究其在深度学习领域的应用,将为未来更多的深度学习技术落地提供隐私保障。本文通过对照实验,不仅在理论上证明了差分隐私的效用,也在直观上提供了依据,证明了在一定程度上,差分隐私深度学习保护模型能够在隐私性和可用性上达到平衡。
其他文献
<正>游戏是幼儿最喜欢的活动,任何幼儿都离不开游戏。3—9岁是个体社会交往能力形成和发展的关键时期。尤其角色游戏是幼儿最为喜欢的活动,它能满足幼儿的生理和心理需要,是
当前,由于地域环境和经济发展状况等因素的影响,农村教育相对城镇而言还比较落后,一些学校特别是偏远的农村学校,课堂教学改革的步子缓慢,远远跟不上时代的节奏。在实施教学改革的
初中学生补习课外阅读后,可以开阔自己的视野、让智力得到提升、并且培养语言组织能力,因此课外阅读在学生初中语文课本中起到了关键性的作用,但是当前不少学生依旧没有形成
帕金森病(Parkinson s disease,PD)是一种严重危害中老年人健康,以黑质-纹状体多巴胺能神经元进行性丢失为主要病理特征的一类神经退行性疾病。PD病人主要表现为运动迟缓、姿
本文基于定位理论,以北京市属14家文艺院团作为国有文艺院团典型研究群体,在厘清分类与定位逻辑关系的基础上展开受众认知调查研究,依据调查结果,提出国有文艺院团未来发展的
目的对比后路椎间盘镜(MED)与开放手术治疗腰椎间盘突出症的手术疗效。方法采用MED治疗椎间盘突出症20例,开放手术治疗椎间盘突出症20例,比较两组手术时间、术中出血、住院时间
在用地震资料解释复杂的断块时,如果与地质资料相结合时,解释的可靠性相应会提高;如果还应用地震倾角测井资料,解释的精度还会提高。本文就八四年对中原油田文215断块应用倾
随着市场化经济体制的深入,我国出现了一个较为年轻的产业,即投资贷款行业。在计划经济时代,企业缺乏资金,只能通过银行贷款的方式进行融资,但是在市场经济时代,随着个人资本
弓网系统是城市轨道交通列车供电系统的关键系统,其担负着将牵引网电能输送给电力机车的重要任务。受电弓和接触网是弓网系统的关键组成部分,由于其恶劣的工作环境和所承受的强烈的电气和力学作用,受电弓和接触网都容易产生各式各样的病害,其中最为常见的就是磨耗病害。目前地铁相关部门最常用的检测手段仍然是人工检测方式,耗时耗力,同时效率较低,本文主要的研究内容就是利用计算机视觉相关技术,通过深度学习、图像处理、双
随着新课程改革的推进,新的教育理念也随之诞生。改变传统的以教师在课堂上输出书本中的知识为中心的学习方式,倡导学生通过自主合作学习的模式也是新课改的重要目标之一。对