论文部分内容阅读
摘 要：人工智能技术早已融入大众生活的方方面面，在为人类带来便利的同时，其背后也暗藏着算法歧视的危机。算法歧视不仅是技术层面的问题，也是一个法律问题。它对私法和公法领域都可能带来挑战。对此，需要在厘清人工智能概念的基础上，探讨算法歧视产生的原因和危害，提出规避算法歧视的对策。
关键词：人工智能;算法歧视;法律规制
中图分类号：TP18文献标识码：A文章编号：2095-4379-（2019）14-0127-02
作者简介：严景，北京邮电大学，硕士研究生在读，研究方向：国际法。
利用人工智能系统为公司筛选简历，本是一件节省时间和人力成本的好事，但是这背后也许会隐藏着风险。去年，美国一家著名的电商公司就陷入了这样一场由人工智能简历筛选系统引发的算法歧视风波。
该公司自2014年起，开始将人工智能简历筛选系统用以招聘。该系统能够根据应聘者简历中的关键词，判断这些关键词与岗位的匹配程度，对简历进行一至五星星级打分，选出最为“契合”的应聘者。这一系统看似高效便捷，然而却被媒体披露，其算法对女性具有歧视：它通过关键词直接过滤了女性应聘者的简历。
这一切并不是该公司故意而为之。系统的设计者以公司在2004到2014年十年间收到的、含有五万个关键词的简历为录入样本，让系统通过研究样本数据，总结出岗位与简历关键词的匹配规律，这样，系统便知道某一特定岗位通常与哪些关键词挂钩。（譬如应聘产品经理岗位的简历通常含有“决策力”、“逻辑性”等字眼。）因而也就可以直接通过关键词筛选应聘者。问题在于，这十年间的简历绝大多数都是由男性投递的，女性样本非常少。人工智能系统在研究样本的过程中，误以为女性样本比例小是因为女性应聘者并不如男性那样符合公司的招聘需求，于是系统在实际招聘中倾向给女性应聘者打低分。
此消息一经披露变引发了轩然大波。该公司不得不在去年停用了此人工智能简历筛选系统。
当摄取的数据出现偏差时，人工智能有可能放大这个偏差，最终输出带有偏见的结果，这也就是所谓的算法歧视。如今，人工智能已经应用在公众生活的诸多领域，算法歧视一旦产生，极有可能会挑战到公序良俗、侵犯公民的合法权益。正如这个案例中，女性的平等就业权就遭受了巨大的冲击因此。为此，我们有必要探讨如何避免人工智能中的算法歧视。
一、人工智能概述
（一）人工智能的定义与分类
探讨人工智能算法歧视的前提是厘清什么是人工智能。
人工智能（Artificial Intelligence，AI），这个詞包含了两个层次：一是人工，二是智能。如今的人工智能是由机器或软件所呈现出来的，故而“人工”一词指的是人造机器或软件。计算机科学上关于“智能”的定义存在着许多争论，有学者认为智能就是一种学习的能力。有学者认为智能是个多元概念，包括学习、逻辑与探索等等能力。笔者认为智能是获取某些信息并利用这些信息以实现特定目标的能力①。因为麦卡锡提出人工智能这个概念的根本目的还是在于希望其能学会自我实现目标。所以人工智能就是由机器或软件表现出来的特定目标的智能。人工智能实现特定目标的过程，即软件或机器基于数据信息，模仿人的思维方式和行为方式，思考问题、解决问题，并且实现自我完善。
人工智能可划分为两类，一类是广义的人工智能，也就是强人工智能（Artificial General Intelligence，AGI）。一类是狭义的人工智能，也就是弱人工智能（Artificial Narrow Intelligence，ANI）。②这两者的区别在于，广义人工智能能够实现自我感知，能够对对周围环境做出反应。它可以对人类交付的目标进行调整，甚至是构建新的目标，可以说，它是有独立意志的。而狭义人工智能，只能简单执行人类赋予的指令，无法自我创造目标。
（二）人工智能的应用
人工智能技术经过诞生至今几十年的快速发展，早已经融入人类生活的方方面面。
在经济领域，人工智能技术在工农业都发挥着不容忽视的作用：专家系统、智能控制、遗传编程等技术，使得天气预测、物种培育、作物养殖、物流仓储等方面都有了重大突破;智能工厂、智能生产、工业智能管理逐步成为了现实。在政治领域，人工智能也扮演着重要的角色：行政执法监测、信息收集与检索等技术为行政和司法带来便利;智能控制系统、人工智能武器、无人化平台等技术成为评估一国国防力量的重要因素。在社会生活领域，无人驾驶、智能医疗、机器识别、智能家居等各种人工智能产品与服务为人类的生活带来了巨大的变革。
人工智能技术在当下被如此广泛的应用，与每个公民的生存发展都有着如此紧密的联系，而且可以预见，今后它势必会在人类的生活中走得更深更远。我们可以看好人工智能，但不能对其暗藏的算法歧视视而不见。
二、人工智能算法歧视的产生与危害
（一）算法歧视产生的原因
在公众的预想中，人工智能与人不同，它超越了人类认知水平的局限，也不受感情因素的影响，人工智能输出的数据和信息，应当是客观的、中立的、公平的。那么为什么算法歧视又屡屡发生呢？
算法歧视产生的原因主要有以下几种：
第一，数据驱动产生了算法歧视。
对于人工智能而言，其输入的样本决定了输出的数据。当系统用以训练的数据样本有偏差时，其产出的结果也会不客观。正如在此案例中，其过去十年间应聘者的男女性别比例极其失衡，设计者在开发简历筛选系统之时忽视了这一点，原封不动地把所有的简历信息录入。他们并没有意识到简历样本的性别偏差会导致人工智能产生男性比女性“重要”的判断，这就造成了后来的问题。
我们会理所当然地认为，当人工智能系统参考的数据样本规模足够大时，计算结果就会更为精准，也趋于公正。可这种预设的前提是样本能完整均衡地覆盖到每个群体。一旦覆盖不完整而产生了误差值，当样本规模越大，偏差也会越大。 此案例造成的歧视并非技术人员故意而为。可现实中不排除有的程序设计者本身就对某一人群或事物抱有歧视态度，而故意录入不公正、客观的数据。所以，人为或非人为的原因，都有可能造成数据驱动型的算法歧视。
第二种是交互过程中产生了算法歧视。
有的算法歧视，来源于人工智能投入使用过程中接触到的用户持有的偏见。由于人工智能能对获取的信息加以学习和模仿，且这种吸收是对信息不加甄别的，所以一旦获取到了用户歧视性的言论，它便有可能主动模仿这些言论，最终成为一个歧视者。同样以性别歧视为例，如果将一个智能聊天系统投入到一个歧视女性的社交平台，而与它互动的用户经常发表一些歧视女性的论调，那么它也将学会这些言论。
第三种是人工智能系统为了实现用户需求产生了算法歧视。
用户都会按照自己的习惯和喜好来使用一项产品。而人工智能产品会研究用户的行为模式，迎合用户的喜好，呈现出用户想要看到的商品和服务。算法在这个过程中让用户看到他们只想看到的信息，过滤用户不想看到的信息。可问题在于，用户自己既有的倾向不一定是正确的，人工智能在后期对错误信息的一次次不断呈现，有可能会使用户在偏差的道路上越走越远。比如一个用户先入为主地认为男性比女性更适合担任企业的管理者职位，为了佐证自己的观点，他在网络问答社区上搜索这类的问题。在查看他人评论的时候，他有可能着重浏览支持自己立场的回答。这时候，人工智能系统为了“满足”用户的需求，往往会记住他的倾向，主动地给他推送一些男性确实比女性更合适的留言。用户最终会认为既然有如此多的证据佐证自己的立场，那么自己的观点一定是对的。
人工智能在学习用户偏好之时，我们尚且可以说它是中立的。它如同一个婴儿，无法辨别用户偏好的好坏。可遗憾的是，当它为了满足这种偏好而选择性地推送信息的时候，其行为就打上了歧视的烙印了。
（二）算法歧视的危害
人工智能算法歧视并不只是研发者辩称的技术瑕疵那么简单。这个案例告诉世人，算法歧视是能对公民法定就业权造成直接侵害的。除此之外，人工智能的算法歧视还可能侵犯的公民的名誉权。（当歧视是人工智能系统作为商品或服务时产生的，侵犯的则是消费者人格尊严受尊重权。）
除了私法上的法律问题外，人工智能系统算法歧视可能还会引起公法上的法律问题。当歧视言论涉及到民族、宗教，情节严重的，可能涉及煽动民族仇恨、民族歧视、煽动分裂国家等问题。
三、人工智能算法歧视的应对对策
人工智能算法歧视问题的解决不能仅仅等待研发者突破技术难关，而需要法律与政策的支持。
（一）完善相关法律规范
技术中立是当今学界的共识。许多研发者认为人工的机器或软件没有情感，也没有价值观，其输出的内容不过是对现实世界的客观反映。在非故意录入歧视性样本的情况下，研发人员对人工智能造成的危害后果没有主观恶意，所以不用对此承担法律责任。然而，技术特性不能成为研发人员逃避法律责任的借口。即使不能人为干预输出过程，研发人员至少可以在以下方面做出努力：一、广泛调研，保障输入样本的完整性、准确性，将样本的偏差率仅可能降低。二、保障算法和数据的透明性。除了设计商业秘密和国家秘密的数据，研发者可以选择将信息公开，向公众展示人工智能做出决策的过程和依据，这样就能让公众在一定程度上监督系统的运作。三、建立救济机制。研发企业应当有相关的事后救济机制，在歧视产生时，能将影响降到最低。在这些方面，立法机关应当完善相关的法律法规，将企业的法律责任明确下来。
（二）加强政府监管
行政机关应当加强对人工智能商品或服务的监管。有关部门可以建立伦理审查制度，重申公平的价值理念，对人工智能产品的开发设立伦理红线。同时，可以建立动态监测机制，对人工智能的应用实现跨平台、全流程跟踪监管，针对屡次触碰红线、造成严重危害的企业，可以将其纳入黑名单中。
（三）强化行业自律
2016年，日本AI学会、英国标准协会相继出台人工智能设计伦理标准。在美国，谷歌等产业巨头也不断提出如机会平等“（Equality of Opportunity）”这样的新的技术要求以避免算法歧视。我国也应当强化行业自律，发挥人工智能学会的监管作用，促进相关企业的交流与合作，尽快推动技术标准和行业规范的出台。
[ 注 释 ]
①这里采用德国学者马库斯.胡特和謝恩.莱格的观点：“智能是用来衡量一个个体在一系列广泛环境中实现目标的整体能力.”
②现在也有学者提出人工智能可以分为弱人工智能、强人工智能、超人工智能（Artificial Superintelligence，ASI）三个等级.ASI的学习能力、独立意识，以及解决问题的能力比AGI更强.
[ 参 考 文 献 ]
[1]李开复，王咏刚.人工智能[M].北京：文化发展出版社，2017.
[2]高超.“歧视用户”竟然也是一种战略[J].公关世界，2017，06（11）.
[3]喻国明，杨莹莹，闫巧妹.算法即权力：算法范式在新闻传播中的权力革命[J].编辑之友，2018（5）.
[4]潘宇翔.大数据时代的信息伦理与人工智能伦理——第四届全国赛博伦理学暨人工智能伦理学研讨会综述[J].伦理学研究，2018（2）.
[5]王勇.人工智能时代的法律主体理论构造——以智能机器人为切入点[J].理论导刊，2018（2）.
关键词：人工智能;算法歧视;法律规制
中图分类号：TP18文献标识码：A文章编号：2095-4379-（2019）14-0127-02
作者简介：严景，北京邮电大学，硕士研究生在读，研究方向：国际法。
利用人工智能系统为公司筛选简历，本是一件节省时间和人力成本的好事，但是这背后也许会隐藏着风险。去年，美国一家著名的电商公司就陷入了这样一场由人工智能简历筛选系统引发的算法歧视风波。
该公司自2014年起，开始将人工智能简历筛选系统用以招聘。该系统能够根据应聘者简历中的关键词，判断这些关键词与岗位的匹配程度，对简历进行一至五星星级打分，选出最为“契合”的应聘者。这一系统看似高效便捷，然而却被媒体披露，其算法对女性具有歧视：它通过关键词直接过滤了女性应聘者的简历。
这一切并不是该公司故意而为之。系统的设计者以公司在2004到2014年十年间收到的、含有五万个关键词的简历为录入样本，让系统通过研究样本数据，总结出岗位与简历关键词的匹配规律，这样，系统便知道某一特定岗位通常与哪些关键词挂钩。（譬如应聘产品经理岗位的简历通常含有“决策力”、“逻辑性”等字眼。）因而也就可以直接通过关键词筛选应聘者。问题在于，这十年间的简历绝大多数都是由男性投递的，女性样本非常少。人工智能系统在研究样本的过程中，误以为女性样本比例小是因为女性应聘者并不如男性那样符合公司的招聘需求，于是系统在实际招聘中倾向给女性应聘者打低分。
此消息一经披露变引发了轩然大波。该公司不得不在去年停用了此人工智能简历筛选系统。
当摄取的数据出现偏差时，人工智能有可能放大这个偏差，最终输出带有偏见的结果，这也就是所谓的算法歧视。如今，人工智能已经应用在公众生活的诸多领域，算法歧视一旦产生，极有可能会挑战到公序良俗、侵犯公民的合法权益。正如这个案例中，女性的平等就业权就遭受了巨大的冲击因此。为此，我们有必要探讨如何避免人工智能中的算法歧视。
一、人工智能概述
（一）人工智能的定义与分类
探讨人工智能算法歧视的前提是厘清什么是人工智能。
人工智能（Artificial Intelligence，AI），这个詞包含了两个层次：一是人工，二是智能。如今的人工智能是由机器或软件所呈现出来的，故而“人工”一词指的是人造机器或软件。计算机科学上关于“智能”的定义存在着许多争论，有学者认为智能就是一种学习的能力。有学者认为智能是个多元概念，包括学习、逻辑与探索等等能力。笔者认为智能是获取某些信息并利用这些信息以实现特定目标的能力①。因为麦卡锡提出人工智能这个概念的根本目的还是在于希望其能学会自我实现目标。所以人工智能就是由机器或软件表现出来的特定目标的智能。人工智能实现特定目标的过程，即软件或机器基于数据信息，模仿人的思维方式和行为方式，思考问题、解决问题，并且实现自我完善。
人工智能可划分为两类，一类是广义的人工智能，也就是强人工智能（Artificial General Intelligence，AGI）。一类是狭义的人工智能，也就是弱人工智能（Artificial Narrow Intelligence，ANI）。②这两者的区别在于，广义人工智能能够实现自我感知，能够对对周围环境做出反应。它可以对人类交付的目标进行调整，甚至是构建新的目标，可以说，它是有独立意志的。而狭义人工智能，只能简单执行人类赋予的指令，无法自我创造目标。
（二）人工智能的应用
人工智能技术经过诞生至今几十年的快速发展，早已经融入人类生活的方方面面。
在经济领域，人工智能技术在工农业都发挥着不容忽视的作用：专家系统、智能控制、遗传编程等技术，使得天气预测、物种培育、作物养殖、物流仓储等方面都有了重大突破;智能工厂、智能生产、工业智能管理逐步成为了现实。在政治领域，人工智能也扮演着重要的角色：行政执法监测、信息收集与检索等技术为行政和司法带来便利;智能控制系统、人工智能武器、无人化平台等技术成为评估一国国防力量的重要因素。在社会生活领域，无人驾驶、智能医疗、机器识别、智能家居等各种人工智能产品与服务为人类的生活带来了巨大的变革。
人工智能技术在当下被如此广泛的应用，与每个公民的生存发展都有着如此紧密的联系，而且可以预见，今后它势必会在人类的生活中走得更深更远。我们可以看好人工智能，但不能对其暗藏的算法歧视视而不见。
二、人工智能算法歧视的产生与危害
（一）算法歧视产生的原因
在公众的预想中，人工智能与人不同，它超越了人类认知水平的局限，也不受感情因素的影响，人工智能输出的数据和信息，应当是客观的、中立的、公平的。那么为什么算法歧视又屡屡发生呢？
算法歧视产生的原因主要有以下几种：
第一，数据驱动产生了算法歧视。
对于人工智能而言，其输入的样本决定了输出的数据。当系统用以训练的数据样本有偏差时，其产出的结果也会不客观。正如在此案例中，其过去十年间应聘者的男女性别比例极其失衡，设计者在开发简历筛选系统之时忽视了这一点，原封不动地把所有的简历信息录入。他们并没有意识到简历样本的性别偏差会导致人工智能产生男性比女性“重要”的判断，这就造成了后来的问题。
我们会理所当然地认为，当人工智能系统参考的数据样本规模足够大时，计算结果就会更为精准，也趋于公正。可这种预设的前提是样本能完整均衡地覆盖到每个群体。一旦覆盖不完整而产生了误差值，当样本规模越大，偏差也会越大。 此案例造成的歧视并非技术人员故意而为。可现实中不排除有的程序设计者本身就对某一人群或事物抱有歧视态度，而故意录入不公正、客观的数据。所以，人为或非人为的原因，都有可能造成数据驱动型的算法歧视。
第二种是交互过程中产生了算法歧视。
有的算法歧视，来源于人工智能投入使用过程中接触到的用户持有的偏见。由于人工智能能对获取的信息加以学习和模仿，且这种吸收是对信息不加甄别的，所以一旦获取到了用户歧视性的言论，它便有可能主动模仿这些言论，最终成为一个歧视者。同样以性别歧视为例，如果将一个智能聊天系统投入到一个歧视女性的社交平台，而与它互动的用户经常发表一些歧视女性的论调，那么它也将学会这些言论。
第三种是人工智能系统为了实现用户需求产生了算法歧视。
用户都会按照自己的习惯和喜好来使用一项产品。而人工智能产品会研究用户的行为模式，迎合用户的喜好，呈现出用户想要看到的商品和服务。算法在这个过程中让用户看到他们只想看到的信息，过滤用户不想看到的信息。可问题在于，用户自己既有的倾向不一定是正确的，人工智能在后期对错误信息的一次次不断呈现，有可能会使用户在偏差的道路上越走越远。比如一个用户先入为主地认为男性比女性更适合担任企业的管理者职位，为了佐证自己的观点，他在网络问答社区上搜索这类的问题。在查看他人评论的时候，他有可能着重浏览支持自己立场的回答。这时候，人工智能系统为了“满足”用户的需求，往往会记住他的倾向，主动地给他推送一些男性确实比女性更合适的留言。用户最终会认为既然有如此多的证据佐证自己的立场，那么自己的观点一定是对的。
人工智能在学习用户偏好之时，我们尚且可以说它是中立的。它如同一个婴儿，无法辨别用户偏好的好坏。可遗憾的是，当它为了满足这种偏好而选择性地推送信息的时候，其行为就打上了歧视的烙印了。
（二）算法歧视的危害
人工智能算法歧视并不只是研发者辩称的技术瑕疵那么简单。这个案例告诉世人，算法歧视是能对公民法定就业权造成直接侵害的。除此之外，人工智能的算法歧视还可能侵犯的公民的名誉权。（当歧视是人工智能系统作为商品或服务时产生的，侵犯的则是消费者人格尊严受尊重权。）
除了私法上的法律问题外，人工智能系统算法歧视可能还会引起公法上的法律问题。当歧视言论涉及到民族、宗教，情节严重的，可能涉及煽动民族仇恨、民族歧视、煽动分裂国家等问题。
三、人工智能算法歧视的应对对策
人工智能算法歧视问题的解决不能仅仅等待研发者突破技术难关，而需要法律与政策的支持。
（一）完善相关法律规范
技术中立是当今学界的共识。许多研发者认为人工的机器或软件没有情感，也没有价值观，其输出的内容不过是对现实世界的客观反映。在非故意录入歧视性样本的情况下，研发人员对人工智能造成的危害后果没有主观恶意，所以不用对此承担法律责任。然而，技术特性不能成为研发人员逃避法律责任的借口。即使不能人为干预输出过程，研发人员至少可以在以下方面做出努力：一、广泛调研，保障输入样本的完整性、准确性，将样本的偏差率仅可能降低。二、保障算法和数据的透明性。除了设计商业秘密和国家秘密的数据，研发者可以选择将信息公开，向公众展示人工智能做出决策的过程和依据，这样就能让公众在一定程度上监督系统的运作。三、建立救济机制。研发企业应当有相关的事后救济机制，在歧视产生时，能将影响降到最低。在这些方面，立法机关应当完善相关的法律法规，将企业的法律责任明确下来。
（二）加强政府监管
行政机关应当加强对人工智能商品或服务的监管。有关部门可以建立伦理审查制度，重申公平的价值理念，对人工智能产品的开发设立伦理红线。同时，可以建立动态监测机制，对人工智能的应用实现跨平台、全流程跟踪监管，针对屡次触碰红线、造成严重危害的企业，可以将其纳入黑名单中。
（三）强化行业自律
2016年，日本AI学会、英国标准协会相继出台人工智能设计伦理标准。在美国，谷歌等产业巨头也不断提出如机会平等“（Equality of Opportunity）”这样的新的技术要求以避免算法歧视。我国也应当强化行业自律，发挥人工智能学会的监管作用，促进相关企业的交流与合作，尽快推动技术标准和行业规范的出台。
[ 注 释 ]
①这里采用德国学者马库斯.胡特和謝恩.莱格的观点：“智能是用来衡量一个个体在一系列广泛环境中实现目标的整体能力.”
②现在也有学者提出人工智能可以分为弱人工智能、强人工智能、超人工智能（Artificial Superintelligence，ASI）三个等级.ASI的学习能力、独立意识，以及解决问题的能力比AGI更强.
[ 参 考 文 献 ]
[1]李开复，王咏刚.人工智能[M].北京：文化发展出版社，2017.
[2]高超.“歧视用户”竟然也是一种战略[J].公关世界，2017，06（11）.
[3]喻国明，杨莹莹，闫巧妹.算法即权力：算法范式在新闻传播中的权力革命[J].编辑之友，2018（5）.
[4]潘宇翔.大数据时代的信息伦理与人工智能伦理——第四届全国赛博伦理学暨人工智能伦理学研讨会综述[J].伦理学研究，2018（2）.
[5]王勇.人工智能时代的法律主体理论构造——以智能机器人为切入点[J].理论导刊，2018（2）.