【摘 要】
:
以神经网络为代表的深度学习系统一旦训练调试完成,便可对相应的任务进行自动预测,此特性促使神经网络被工业界广泛应用。在部署深度学习系统之前,应对一些目标性质进行全面的测试或验证,在一定程度上保证能够满足这些性质。除了鲁棒性和安全性,公平性也是一个设计良好的深度学习系统应该具备的重要性质。在与人相关的分类预测任务中,神经网络模型的不公平决策会影响甚至改变用户的生活。为了避免歧视事件的发生,评估并改善神
论文部分内容阅读
以神经网络为代表的深度学习系统一旦训练调试完成,便可对相应的任务进行自动预测,此特性促使神经网络被工业界广泛应用。在部署深度学习系统之前,应对一些目标性质进行全面的测试或验证,在一定程度上保证能够满足这些性质。除了鲁棒性和安全性,公平性也是一个设计良好的深度学习系统应该具备的重要性质。在与人相关的分类预测任务中,神经网络模型的不公平决策会影响甚至改变用户的生活。为了避免歧视事件的发生,评估并改善神经网络模型的个体公平性,系统地生成能够揭露歧视问题的测试用例是关键。本文利用神经网络可导或几乎处处可导的性质,提出了一个针对神经网络模型的公平性测试框架EIDIG(Efficient Individual Discrimination Instance Generator),用于发掘并修正神经网络模型中存在的歧视。EIDIG采用模型输出对输入的梯度作为指引信息,取代了损失函数对输入的梯度,有效降低了计算负担,并分全局搜索和局部搜索两个顺序的阶段生成个体歧视样例。在全局搜索阶段,结合聚类算法快速生成一小批多样化的个体歧视样例作为下一阶段的种子输入;在局部搜索阶段,在上一阶段生成的个体歧视样例周围检测出尽可能多的个体歧视样例。最终,从搜索到的个体歧视样例中抽取一部分用于神经网络的重训练,进而有效提升原神经网络模型的公平性。在两个搜索阶段中,均充分利用了相邻搜索迭代步中的先验信息来优化算法。在全局搜索阶段,根据梯度引导将潜在的个体歧视样例对向神经网络的决策边界扰动,直至两个仅敏感属性有别的对偶样例得到不同的预测结果,并在梯度中引入了动量项,这使得每一搜索迭代步中使用的梯度信息包含了最近多步的梯度信息,从而稳定搜索方向,加速全局搜索过程的收敛;在局部搜索阶段,根据梯度信息评估属性贡献度,对已有的个体歧视样例对作影响尽可能小的扰动,从而尽可能保留原有的预测结果,通过实验发现局部搜索阶段相邻迭代步包含的梯度信息高度冗余,因而降低了梯度和属性贡献度的计算频率,在保证搜索效率的同时大幅降低计算成本。实验结果表明,相较于之前最为先进的公平性测试方法,EIDIG平均多生成了19.11%的个体歧视样例,将整个搜索过程加速了121.49%,在保持原模型预测精度的同时将其歧视程度减轻了80.03%。EIDIG在歧视样例的生成数量和生成速度以及提升原模型公平性等方面取得了暂时领先的实验表现。此外,给出了将EIDIG算法适配到更广泛的应用场景的途径。为了应对神经网络模型内部结构和权重无法得知的黑盒测试环境,运用零阶优化对梯度进行估算,实现了EIDIG在黑盒场景下的应用。为了使得EIDIG能够处理非结构化数据集,提出了三种篡改图片或文本数据的敏感属性的思路,通过迭代地调用对抗攻击方法来修改图像或文本的敏感属性,调用表现先进的生成对抗网络模型来生成真实的对偶图像样本,以及运用词语类比理论来替换文本数据中有关敏感属性的关键词。
其他文献
随着教育信息化的推进,学校多媒体设备数量与日俱增。目前,学校使用的网络报修系统只实现了简单的报修信息收集,没有与设备管理相结合,存在重复报修、审核复杂、无法统计设备故障率等缺点,不能满足学校报修管理的需求。因此,设计和开发一个符合学校需求的报修应用系统,对学校的设备管理具有深远的现实意义和广泛的应用价值。本文以某实验学校为背景,研究了报修系统的发展与现状,发现由于各学校报修流程的差异,目前没有完全
行为识别是计算机视觉领域较为火热的一个研究方向,由于现今各类互联网短视频应用的大量投放与应用,短视频已经逐渐走入了互联网经济时代的各个应用软件。那么在此基础上的视觉技术就获得了更多的应用前景。行为识别技术作为短视频中对目标视频进行自动打标并分析预测的关键技术近年来在各大计算机视觉顶会中大放异彩,但由于三维视频数据相比于二维图像数据多了时间维度从而对设备的计算和存储消耗造成了更多的压力,因此如何将现
高校采用远程或在线方式进行教学的情况越来越普遍,“新冠疫情”期间,数以亿计的在线课程通过各类在线平台,以师生时时互动或异时录播课程的形式,帮助高校师生进行教与学的活动,为人们熟知。与传统线下教育资源的传播方式截然不同,在线教育资源的传播有传播快和范围广的特点。当下,对于此类远程教育资源属于何种作品,应受何种保护的讨论颇多。高校教师创作的在线教育资源,其版权是否归属于教师?在何种情况下归属于教师?关
新时代教育信息化的发展推动了线上线下融合教学的实施,逐渐成为教育改革的新趋势。但是,随着信息更新速度的加快和传输方式的变化,学生在学习过程中也容易陷入碎片化学习和被动接受式学习的困境。因此,如何在线上线下融合教学中促进学生的深度学习成为本研究的重点,而互动作为教学活动的纽带,能够有效发挥在线学习环境和线下学习环境的融合作用,本研究旨在通过设计有效的互动策略促进混合环境下的深度学习。经过文献梳理与研
ROS(Robot Operating System)操作系统具有松耦合、功能库丰富等优势,目前被广泛应用于工业、商业等多种不同领域的机器人开发中。随着应用领域的拓展和用户数量的增长,机器人数据可视化的需求日益复杂,而如Rviz等现有的数据可视化工具,在可扩展和跨平台等方面存在一定局限。结合应用场景和项目需求,本文设计并实现了一个面向Web的ROS机器人数据可视化系统,完成了基于网页的机器人数据可
联邦学习是一种有助于解决多方计算下数据孤岛问题的学习方法,参与方无需共享本地数据,通过分布式协作训练一个高质量的全局模型。联邦学习凭借其去中心化、数据隔离、高计算性能等优势成为工业界和学术界的热门研究方向。然而,大量研究表明联邦学习机制存在许多安全漏洞,由于联邦学习的框架并没有对参与方的资质进行校验、没有对模型的访问权加以约束,也并没有考虑到对传递的参数进行保护。这些漏洞可能被内部参与者和外部攻击
随着劳动者的工作模式从既有“工厂劳动”转向当下的“数字劳动”,时空自由的重要性开始变得愈发突出。虽然网约配送平台宣称劳动者将突破固定的工作场地限制和特定的工作时间安排,甚至拥有更多的“灵活性”和“自由性”。然而当网约配送员在入职后却普遍发现具体的配送服务环节给自己带来了较为沉重的劳动负担,并由此导致“数字平台的虚假自由”“外卖员被困在系统中”等论断的提出。然而吊诡的是,根据《2020年外卖骑手职业
当前我国新冠肺炎疫情呈多点散发,为快速实现流行病学调查工作中整理流调报告中的关键数据,帮助尽早发现已有病例、密切接触者和次密切接触者,切断传播链,本文研究利用人工智能领域自然语言处理的命名实体识别(Named Etity Recognition,NER)技术自动分析流调数据找出关键关联信息,为后期流调人员快速开展工作提供技术支撑。为此本文以公布的新冠肺炎确诊病例轨迹信息作为主要的数据来源,从构建新
目的:观察清热活血消肿方熏洗对痔疮术后疼痛程度、创面愈合的影响。方法:80例随机分为两组各40例,两组均用痔疮套扎术与外痔切除术治疗,对照组术后给予高锰酸钾熏洗,观察组术后给予清热活血消肿方熏洗。结果:观察组总有效率高于对照组(P<0.05),观察组术后1d、3d、7d疼痛VAS评分低于对照组(P<0.05),观察组水肿、出血、渗液、坠胀症状消失时间以及创面愈合时间均短于对照组(P<0.05),治