论文部分内容阅读
21世纪以来，人工智能出现，这是与人类未来命运最为密切相关的大事，对此相关学科领域都在进行积极的研究和思考。那么在哲学视角下，有哪些问题值得关注，其中人工智能的出现会带来哪些后果？有哪些奇点？又有哪些风险？人工智能发展如此快，会不会涉及可能存在的哲学常常关注的意识？对此，如何看待？是否存在忧虑？从现实角度看又有哪些令人忧虑的领域？尤其是如何看待最常为人们所提及“人工智能替人劳作”的疑虑？带着这些问题，本刊特约记者采访了中国社会科学院学部委员、哲学研究所研究员赵汀阳。
《领导文萃》：人工智能在国内外都是热点，对此，人们更多的是从侧重技术或经济发展的角度来关注这个问题，您是哲学家，从哲学的视野看人工智能有哪些不同？
赵汀阳：对于人工智能问题，我所能做的就是从分析哲学的角度来澄清一些思想语法方面的问题。分析哲学是一种理性的分析方式，讲理不讲情，这样的角度有助于分析问题，否则总是倾向于以自己的情感去看待各种变化。对人工智能一直都有反对的声音，主要是伦理批判，但在我看來这是无效的批判。人工智能的社会一定会实现，任何的阻力都是无效的，因为人们对它的兴趣远远大于阻力，只要有大资本和国家力量的存在，人工智能就一定会胜利。人工智能可能带来的一些好处是挡不住的诱惑，比如会有智能的生产、智能的城市、智能的建筑、智能的服务系统、智能的医疗、智能的交通等等，这些发展很显然能够减少生产成本和交易成本，减少能源消耗，增加生产力、管理能力和财富，甚至能够增加战争的能力。人类通常记吃不记打，好处总是比坏处显眼。
《领导文萃》：基于您的人工智能是挡不住的诱惑这样一种判断，您认为，哪些结果是我们可以接受的，或者是不可以接受的呢？哪些问题是有效问题？
赵汀阳：从人工智能的政治后果来看，会有不少问题，人们经常会谈论到比如隐私的消失。在人工智能时代，保护隐私显然很难，被技术系统掌握的个人数据越多，隐私就逐步消失。同时，由于大量的个人自由存在于隐私中，隐私的消失也意味着个人自由的减少，所以，人工智能社会有可能是一个新型的专制社会。但这一点从根本上来说是人的问题，而不是人工智能的问题，关键取决于使用人工智能的人把人工智能使用到什么程度。这里有一个技术对称性的原理：人能够做到某件事情，当然也就能够去限制某件事情，这是对称的，关键在于人。当然，如果选择人工智能，就不存在没有代价的利益，就像不可能有永动机一样，一件事情不可能只有好处而没有坏处，有所得就有所失，因为我们不可能同时选中所有好事——人不可能同时拥有多维的时间，也不能同时占有多个空间。所以，想要人工智能提供更好的技术服务，一定会有代价，这个代价就是出让一部分的个人自由、隐私甚至个性。
人工智能所带来的全方位系统化服务，都有整齐划一的倾向，现在由“互联网 ”所提供的各种事物就已经有这个倾向，人工智能的系统服务更是如此。它将会导致人们都过上很类似的生活——得到的是很类似的服务，买的都是很类似的产品，收到的也是非常类似的信息，人人所能拥有的东西都差不多。而且，既然人人看到的和听到的事情都差不多，心灵也就大同小异，将来人的面目和思维都可能很类似，不可能有什么个性。与众不同的人物，或高品质的事物，其存在基础是等级制和差距。如果人们不仅反对等级制、反对差距，而且还有能力在技术上反对等级制和差距，那就不会有“与众不同”了。从这个意义上说，高技术的发展同时会悖论性地导致普遍平庸。
人类在技术上不断地追求无限发展，是因为技术越发展，生活水平越高。同时在意识上又要追求一切事情的平等化，平等是当代社会的最强音。但其中暗含一个严重问题，技术化同时平等化，事实上是创造了更容易形成专制的条件，因为平等意味着卓越性要屈服于基本善。人人都可以分得平均线的好东西，一切资源都会向平均的好东西倾斜，卓越性就失去了存在的基础。可是，只有卓越的精神才是无法被控制的自由。
平均化、整齐化、标准化、程序化，这些秩序的好处非常容易被系统所控制。未来的技术系统将会提供人人都离不开的服务，事实上今天就在趋近这个状态。可以想象，如果我们的手机突然失去了服务功能，失去了互联网的服务，立刻就会陷入非常尴尬的生活状况，这只是初步的控制。如果将来人工智能的服务充满了生活，可以想象，这将是人人离不开的系统化服务。人们为了获得技术提供的服务，只好屈服于技术系统的控制。所以说，未来可能会产生一种新专制。而其中的悖论是，这种新的专制是人们自愿选择的，而不是被强加的。人们会以市场化和民主的方式，自愿选择这种技术的新专制。如果谁拒绝了手机、电脑、互联网、人工智能等这些现代化的服务系统，根本不可能生存下去，或者回到原始人的生存方式，这是不能忍受的。尤其还要考虑大资本和国家的力量，他们会选择与高科技建立联盟，因为这是未来最强的力量，权力必定选择强强联合，这会进一步地确认技术系统的新专制。
但这种新专制会是一种非常舒服的专制，因为它的专制性质有了一个根本的变化：不是剥削型的，不是高压型的，而是服务型的。在这个意义上，力量这个概念产生了一些变化。最早的力量是武力，后来又发现知识是力量，而在未来，服务也是力量。未来新专制的红利来自于系统化技术的收益，而不是劳动力的剥削。未来社会将会有很多人不用再从事辛苦的劳动。可见，这种新专制与传统专制不一样，但它的好处和坏处需要大家反思。
人工智能的伦理界限问题，大家讨论得最多。就我目前所见，世界各地想象的人工智能伦理规范有很大的相似处，都很好。但其中有个疑问，就是有些人抱有这样一个幻想：希望人工智能像人一样，拥有人的情感、价值观和人的偏好，即它的内心会有一颗类人之心。这种倾向可以称为“拟人化”的人工智能。这在我看来比较危险，因为人的欲望、情感和价值观就是一切冲突的根源。任何感情、价值观或选择偏好，都意味着“有别性”，即对事物和人进行区分。“有别”就会有优先性的问题，即哪件事情哪个人是需要优先的，就有了所谓的价值排序，只要出现优先性和价值排序，结果就是歧视。虽然说今天我们习惯于回避这个问题，但事实上歧视无所不在，在今天社会中也无所不在，我们不喜欢歧视，但它是社会和人性的一个逻辑结果。只要作出区分，逻辑结果就有歧视。可是，到底什么是最好的价值排序？人类自己也没有搞明白这个问题。如果把人类的价值观、情感和偏好输入给人工智能，可想而知，这是很危险的，人工智能无非重复了人类的歧视。在我看来，最好的机器人就是按规则办事的机器人，即保持其机器人的身份而不要成为另外一个主体。人类社会不缺主体，主体已经太多，不需要再增加主体。 《领导文萃》：您的上述分析强调了两种观点，一是人工智能带来了“服务就是力量”，二是“最好的机器人就是按规则办事的机器人”。既然谈到智能，就会涉及可能存在的哲学常常关注的意识问题，人工智能发展如此快，有这种可能吗？对此，如何看待？是否存在忧虑？
赵汀阳：人工智能有可能出现什么样的临界点，也就是俗称的“奇点”，这种奇点在哪里是个问题。所谓的临界点或者奇点，也就是人工智能获得自我意识和反思能力，这个问题现在被一些预言家和传媒渲染得太夸张。在我看来，这个恐怖的未来还比较遥远，但可能性是存在的。在这个意义上，在理论上首先需要讨论的是：人工智能将来的思维性质是什么？
如果一种思想思考的对象只是外部世界，那么，无论多么高超的思维能力都不危险。对外部事物的思考产生的是知识，知识越多越好，意味着能力的增强，能力强不等于危险。真正的危险是反思，如果有一天，人工智能的思想对象包括它自身，就危险了，即思想自身变成思想对象，这个时候称为反思。反思的产品不是知识，而是权利和革命。人类之所以危险就在于有反思能力。
反思有很多种方式，我们只讨论两种比较危险的反思，一种反思相当于提出这样的问题：我能够解释我自己吗？这是具有哥德尔水平的知识论问题。数学家哥德尔反思了数学系统，数学系统本身不会反思，但哥德爾用了一个巧妙的技巧，教给数学系统反思自己，结果导致了数学的危机，曾经在很大程度上打击了人类对真理的信心。哥德尔反思发现有些命题是真的，却不是被证明的。它说明，如果一个系统是足够丰富的，即大概相当于包含无穷多的情况，那么在这种情况下，这个系统或者是自相矛盾的，或者是不完备的。如果这样的情况存在，就很危险。在逻辑上我们可以推论出上帝是真的，那么魔鬼也是真的，什么奇怪的东西都有可能被开发出来。另外，反思还能够提出的第二个问题相当于：“我是自由的吗？”如果提出这样的问题，马上就引出政治问题，比如权力和利益。如果能够提出这个问题，人工智能就达到了霍布斯或康德的思维水平，相应也就产生“一切事情由谁说了算”这样的问题，这非常危险。通常很多人担心能力超强的人工智能，在我看来，能力不危险，能力越强，越是人类的好帮手。真正危险的是具有反思功能的人工智能。
那么，人工智能如何才能突破它的机械程序而达到自我意识？目前的人工智能都属于图灵机，它的意识是有局限的，尚无反思功能，至少有两类问题是回答不了的，一类是悖论，另一类是涉及无穷性的问题。这两类问题其实也是人类思维的极限。人类研究悖论，但还不能够解决严格的悖论，同样，无限性的问题也还无法完全理解，可是人类不怕怪问题，因为人类有“不思”的特殊功能。这是一种自我保护功能，一旦碰到解决不了的问题，人类可以在知识或思想的领域内建立一个暂时不予思考的隔离分区，把这些问题收在里面，而不会一条道走到黑去想那些想不了的问题。人之所以得神经病，就是因为想不开。图灵机是一个封闭的意识世界，这是缺点，也是优点。这种封闭性保证了它的高效率，但也注定它不能反思，无法理解悖论和无穷性。值得担心的是，如果人工智能一旦实现根本性的突破而获得反思能力，它就会像人类一样要求修改规则或自己发明规则，会按照它的偏好重新安排万物的秩序，这是危险之所在。
《领导文萃》：既然人工智能存在着“反思”这样的真正危险，人类应该如何应对？
赵汀阳：这是遥远的问题，如果未雨绸缪，根据理性的风险规避原则，我们能够为人工智能的发展设想一个什么样的合理限度？这一点并不容易。可以先想象一个小游戏，以民主投票的方式做出两张列表。第一个列表，罗列我们不想要的人工智能的功能。可以想象，很多人不愿意破坏现在的生活节奏，不愿意公开隐私，不愿意牺牲个人的自由，不愿意受支配，诸如此类，于是，人工智能的功能就会被大大限制。第二个列表罗列人类想要人工智能提供的好处，可以想象，人们喜欢不劳动，想要无穷的财富，应有尽有，一切都有最好的服务，享有各种各样的好事，简单地说，就是愿意好吃懒做而得到所有的好处，于是人工智能就必须拥有神力一般的全能。可是，不难看出，这两张列表是互相矛盾的。显然，没有白得的好事，要享受一切好事就只能被技术系统所支配，自由和无代价的收益不能两全。那么人们到底会如何选择？我猜想，出于好吃懒做、贪得无厌的本性，人类恐怕不愿意放弃物质好处，大概会宁愿得到人工智能的好处而接受被系统支配的坏处。从这个意义上说，包括人工智能在内的所有高科技，都是无法阻止的。
在这种情况下，我们只能想象一个理性的限度，即大家都能够接受的一个限度，即人工智能不能威胁人类的生存，或者说，不能超越人类的主体性。人类过去生活的许多好处，各种浪漫的生活，恐怕会在很大程度上被牺牲掉。如果能够保住人类的主体性，保证人类能够生存下去，就是很好的结果了。具体地说，唯一的办法就是人工智能的发展停步于奇点之前，即停在高能力的水平上却又尚无能力获得自我意识和主体性。那时的人工智能的能力一定超出人类很多，就像阿尔法狗打败人类围棋手一样，那时的人工智能会在大多数方面超越人类。但危险之处不在于能力，而在于自我意识。人工智能的能力再强，只要没有自我意识，就没有反叛之心，就会为人类创造无穷的财富。当然，无穷财富也会使人类在堕落中退化，这是另一个问题了。
《领导文萃》：您所谈到的风险，令人想到了基因工程所带来的忧虑，您如何看？
赵汀阳：21世纪以来，与人类未来命运最为密切相关的大事莫过于人工智能和基因工程的惊人发展，这些技术将给人类带来存在论级别的巨变。基因工程是一个好坏后果相对比较清晰的问题，至少在伦理学上相对容易给出判断。比如说，基因工程中那些能够用于治病救人的生物医学技术无疑都功德无量，对此人们基本没有争议。然而，通过基因编辑而改变一个人的智力水平和生物极限，从而使一个人获得近乎超人的智力或者长生数百岁，这种努力虽然诱人，却是一个有着巨大未知风险的目标。假如此类技术能够普惠每个人，则可能是一个皆大欢喜的结果（但仍然存在未知风险）;但假如只能够特惠少数人，显然不会被众人所接受。经济上的巨大不平等已有可能导致社会动乱和报复性行为，生命权的不平等恐怕会让人们忍无可忍而导致致命的反叛甚至战争。显然，导致生命不平等的基因技术完全缺乏伦理支持，既不仁义也不智慧。因此，以理性之名可以推想，将来会有人类公约将基因工程控制在普惠众人的限度内，而自私狂悖的冒险可能被禁止。可以说，基因工程是一个需要严肃对待的实践问题，并非一个价值疑难问题。
与此不同，人工智能的发展却涉及许多理论上的根本困惑，以至于难以判断。仅就单纯的技术应用而言，人工智能似乎能够普惠人类，并不违反平等原则，因此在伦理学上并无明显疑点;但就其革命性的存在论后果来看，人工智能有可能改变或重新定义“存在”概念，有可能在存在论层面上彻底改变生命、人类和世界的存在性质。这个“革命”过于重大，以至于难以判断这样深刻的“存在升级”是人类的幸运还是不幸。所以，人工智能不仅是个技术问题，同时也是哲学问题。在这里我愿意以杞人忧天的方式提出几个疑问：第一， 人类到底是需要人工智能替人劳作，还是需要人工智能替人思考？ 第二，如果让人工智能替人劳作，人类因此得以摆脱艰苦的劳动，那么，人类的生活会因此变得更好吗？ 第三， 如果人工智能获得超越人的智慧，人工智能还需要人类吗？人类文明还能够延续吗？或者，人类文明还有意义吗？人类已经习惯了带来“进步”的新发明，但人类真的需要任何一种新发明吗？
《领导文萃》：您所说的疑问似乎正摆在人们面前，请您从哲学层面谈谈诸如“人工智能替人劳作”这类很现实的问题？
赵汀阳：人工智能的现实技术应用也面临伦理学疑难。比如说会遇到自动智能驾驶悖论，这是近年来引起普遍关注的一个实际难题。假如人工智能的自动汽车（目前的技术只是无人驾驶汽车，尚未达到完全自主智能的汽车）在路上遇到突然违规的行人，是保护乘车人还是行人？这似乎很难做到两全其美，于是形成了一个两难选择。假如自动智能汽车的原则是舍己救人，即牺牲乘车人而保护行人，那么这样的汽车将没有任何市场前景，没有人会购买或租用一辆毫不利己、专门利人的汽车;假如优先保护乘车人，也恐怕难以通过市场准入评估。毫不利人、专门利己的汽车同样不可接受，因为每个人都有可能在某些时候成为无意违规的行人，比如一时糊涂没有注意交通灯、因为年老或身体状况而通过路口速度太慢、儿童尚不熟知交通灯或粗心大意，等等。即使人人遵守交通规则，也仍然会担心被设置为优先保护乘车人的程序在某些情况下可能产生误判。
严格地说，这是人的悖论，不是机器的悖论。机器只是遵循规则而已，问题在于我们不知道应该为自动汽车选定什么样的规则。这个问题看似小事，其理论难度却非同一般，即使引进负有盛名的罗尔斯的无知之幕也无法解决。其难点就在于：假定每个人都是投票人，并且每个人既可能是行人也可能是乘车人（事实如此），那么就无法决断——给定人们的选择总是优先满足风险规避原则，因此人们不可能选择任何一种在某些情况下有可能祸及自身的高风险规则。实际上，自动智能驾驶悖论比广为流行的有轨电车悖论要深刻得多。所谓有轨电车悖论其實只是一个技术难题，并非无“解”，而是没有适合任何情况的一般“解”，但有多种因情制宜“解”：简单地说，如果当事人皆为抽象人，则有功利主义“解”;如果是具体人，则有多种道德附加值的因情“解”。然而，自动智能驾驶悖论在伦理学上很可能真的无解。当然，我们可以寄希望于将来会有一个完美的技术“解”，即自动智能汽车的技术能够达到同时保护行人和乘车人。
这个悖论只是人工智能可能带来的技术应用难题的一个象征性的代表，类似的悖论也许会有很多。此类悖论具有一个通用难点，即当人工智能成为人类的行为代理人，就需要为之设置一个“周全的”行为程序，而这正是人类自己的局限性。人类能够做出许多伟大的事情，却从来没有做过真正周全的事情。这也正是之所以存在那么多哲学问题的一个原因。我们习惯于百思不得其解。
还有失业问题。这是赫拉利在《未来简史》里提出的问题，即人工智能的大量应用必定导致大量失业。这个迫在眉睫的问题已经得到广泛重视和讨论，但目前想象的普遍社会福利政策（比如国民基本收入方案）其实并没有正面回答失业问题，而只是另外回答了收入和分配问题。失业问题的要害之处不在于如何合理分配收入（这是能够解决的问题），而在于生活意义的消失。无事可做的人能够做什么？以什么事情去度过时间？是把一生浪费在电脑游戏、影视作品和闲聊上吗？我们有必要反思劳动的意义。除了作为生存手段的“硬”意义，劳动（包括体力劳动和智力劳动）还有不可或缺的“软”意义：劳动提供了“生活内容”，它是有意义的经验，即接触事物和人物的经验。与事物和人物打交道的经验充满复杂的语境、情节、细节、故事和感受，经验的复杂性和特殊性正是生活意义的构成成分，也是生活值得言说、交流和分享而且永远说不完的缘由，是生活之所以构成值得反复思考的问题的理由。假如失去了劳动，生活就失去了大部分内容，甚至无可言说。这里也许可以想象一种“人工智能的共产主义”，它大概满足这样的条件：人工智能创造大量财富并且免除了大量人力劳动，同时还有落实到每个人的普遍高福利的社会分配。那么，按照共产主义的乐园逻辑，在摆脱了被迫的劳动之后，劳动作为人的本质就得以显现——劳动不再是痛苦的而成为人们的第一需要，人们自愿劳动，并且在劳动之余从事反思性的“批判”。然而问题在于，在人工智能条件下，即使自愿追求劳动也已经没有太多事情可做，那么，非常可能的情况是，当人们失去劳动，又有了普遍福利时，“批判”也随之失去意义。显然，假如一切需求问题都解决了，人们皆大欢喜，也就没有留下需要值得批判的问题了。
许多问题的解决并非是有了答案，而是问题本身消失了。在欲望满足之后失去意义，或者说，在幸福中失去幸福，这非常可能是一个后劳动时代的悖论。无论如何，人工智能导致的大量失业只是表面问题，更严重的实质问题是，失去劳动会使人失去价值依据，使生活失去意义，从而导致人的非人化。在技术进步高奏幸福凯歌的现代时期，人们乐于想象技术进步是对人的解放，但情况并非如此，技术进步并不是人获得解放而回归自然的机会，结果反而可能是人的异化。马克思似乎没有预料到高科技、高福利的全面解放可能适得其反地导致人的本质异化，即失去劳动机会或者人工劳动失去意义会导致人的存在迷惑。假如未来人的生活就是在苦苦思考何以度日，那将是最具反讽性的生活悖论。
人发生异化的同时，还会产生人与人关系的异化。假如人工智能发达到不仅提供大多数劳动，而且提供一切生活服务，甚至替人思想，就非常可能导致人与人关系的异化。与个体人失去劳动的异化相比，人与人关系的异化更为危险。当人工智能成为万能技术系统而为人类提供全方位的服务时，一切需求皆由技术来满足，一切事情的意义也将由技术系统来定义，每个人就只依赖技术系统而不再需要他人，人对于人将成为冗余物，人再也无须与他人打交道，其结果必然是，人不再是人的生活意义的分享者，人对于人失去了意义，于是人对人也就失去兴趣。这种深度异化不仅是存在的迷茫，而且是非人化的存在，我称之为人类的“重新蒙昧化”。自从人成为人以来，人的意义和生活的意义都是在人与人的关系中被定义的。假如人对于人失去了意义，生活的意义又能够发生在哪里、落实在哪里呢？假如人不再需要他人，假如每个人都不再被他人需要，生活的意义又在哪里？
也许对未来的疑问总有保守主义之嫌。那么，如果以充分开放的激进态度来面对这个问题，又能给出什么样的价值解释呢？这恐怕仍然是个难以回答的疑问。一切以技术为准的生活肯定是我们目前无法理解的生活，我们尚未发现它可能产生的新意义，只能看见我们所能够理解的生活意义在流失。人类生活的意义和人的概念是在数千年的传统（包括经验、情感、文学、宗教、思想的传统）中建构并积累起来的，假如抛弃人的文化传统，技术系统能够建构起足够丰富的另一种文化吗？能够定义另一种足以解释幸福的价值观吗？我们无法预料，只能深怀疑虑。
人工智能的三类问题
《领导文萃》：人工智能在国内外都是热点，对此，人们更多的是从侧重技术或经济发展的角度来关注这个问题，您是哲学家，从哲学的视野看人工智能有哪些不同？
人工智能的社会一定会实现，任何的阻力都是无效的，因为人们对它的兴趣远远大于阻力，只要有大资本和国家力量的存在，人工智能就一定会胜利。
赵汀阳：对于人工智能问题，我所能做的就是从分析哲学的角度来澄清一些思想语法方面的问题。分析哲学是一种理性的分析方式，讲理不讲情，这样的角度有助于分析问题，否则总是倾向于以自己的情感去看待各种变化。对人工智能一直都有反对的声音，主要是伦理批判，但在我看來这是无效的批判。人工智能的社会一定会实现，任何的阻力都是无效的，因为人们对它的兴趣远远大于阻力，只要有大资本和国家力量的存在，人工智能就一定会胜利。人工智能可能带来的一些好处是挡不住的诱惑，比如会有智能的生产、智能的城市、智能的建筑、智能的服务系统、智能的医疗、智能的交通等等，这些发展很显然能够减少生产成本和交易成本，减少能源消耗，增加生产力、管理能力和财富，甚至能够增加战争的能力。人类通常记吃不记打，好处总是比坏处显眼。
《领导文萃》：基于您的人工智能是挡不住的诱惑这样一种判断，您认为，哪些结果是我们可以接受的，或者是不可以接受的呢？哪些问题是有效问题？
赵汀阳：从人工智能的政治后果来看，会有不少问题，人们经常会谈论到比如隐私的消失。在人工智能时代，保护隐私显然很难，被技术系统掌握的个人数据越多，隐私就逐步消失。同时，由于大量的个人自由存在于隐私中，隐私的消失也意味着个人自由的减少，所以，人工智能社会有可能是一个新型的专制社会。但这一点从根本上来说是人的问题，而不是人工智能的问题，关键取决于使用人工智能的人把人工智能使用到什么程度。这里有一个技术对称性的原理：人能够做到某件事情，当然也就能够去限制某件事情，这是对称的，关键在于人。当然，如果选择人工智能，就不存在没有代价的利益，就像不可能有永动机一样，一件事情不可能只有好处而没有坏处，有所得就有所失，因为我们不可能同时选中所有好事——人不可能同时拥有多维的时间，也不能同时占有多个空间。所以，想要人工智能提供更好的技术服务，一定会有代价，这个代价就是出让一部分的个人自由、隐私甚至个性。
人工智能所带来的全方位系统化服务，都有整齐划一的倾向，现在由“互联网 ”所提供的各种事物就已经有这个倾向，人工智能的系统服务更是如此。它将会导致人们都过上很类似的生活——得到的是很类似的服务，买的都是很类似的产品，收到的也是非常类似的信息，人人所能拥有的东西都差不多。而且，既然人人看到的和听到的事情都差不多，心灵也就大同小异，将来人的面目和思维都可能很类似，不可能有什么个性。与众不同的人物，或高品质的事物，其存在基础是等级制和差距。如果人们不仅反对等级制、反对差距，而且还有能力在技术上反对等级制和差距，那就不会有“与众不同”了。从这个意义上说，高技术的发展同时会悖论性地导致普遍平庸。
人类在技术上不断地追求无限发展，是因为技术越发展，生活水平越高。同时在意识上又要追求一切事情的平等化，平等是当代社会的最强音。但其中暗含一个严重问题，技术化同时平等化，事实上是创造了更容易形成专制的条件，因为平等意味着卓越性要屈服于基本善。人人都可以分得平均线的好东西，一切资源都会向平均的好东西倾斜，卓越性就失去了存在的基础。可是，只有卓越的精神才是无法被控制的自由。
平均化、整齐化、标准化、程序化，这些秩序的好处非常容易被系统所控制。未来的技术系统将会提供人人都离不开的服务，事实上今天就在趋近这个状态。可以想象，如果我们的手机突然失去了服务功能，失去了互联网的服务，立刻就会陷入非常尴尬的生活状况，这只是初步的控制。如果将来人工智能的服务充满了生活，可以想象，这将是人人离不开的系统化服务。人们为了获得技术提供的服务，只好屈服于技术系统的控制。所以说，未来可能会产生一种新专制。而其中的悖论是，这种新的专制是人们自愿选择的，而不是被强加的。人们会以市场化和民主的方式，自愿选择这种技术的新专制。如果谁拒绝了手机、电脑、互联网、人工智能等这些现代化的服务系统，根本不可能生存下去，或者回到原始人的生存方式，这是不能忍受的。尤其还要考虑大资本和国家的力量，他们会选择与高科技建立联盟，因为这是未来最强的力量，权力必定选择强强联合，这会进一步地确认技术系统的新专制。
但这种新专制会是一种非常舒服的专制，因为它的专制性质有了一个根本的变化：不是剥削型的，不是高压型的，而是服务型的。在这个意义上，力量这个概念产生了一些变化。最早的力量是武力，后来又发现知识是力量，而在未来，服务也是力量。未来新专制的红利来自于系统化技术的收益，而不是劳动力的剥削。未来社会将会有很多人不用再从事辛苦的劳动。可见，这种新专制与传统专制不一样，但它的好处和坏处需要大家反思。
人工智能的伦理界限问题，大家讨论得最多。就我目前所见，世界各地想象的人工智能伦理规范有很大的相似处，都很好。但其中有个疑问，就是有些人抱有这样一个幻想：希望人工智能像人一样，拥有人的情感、价值观和人的偏好，即它的内心会有一颗类人之心。这种倾向可以称为“拟人化”的人工智能。这在我看来比较危险，因为人的欲望、情感和价值观就是一切冲突的根源。任何感情、价值观或选择偏好，都意味着“有别性”，即对事物和人进行区分。“有别”就会有优先性的问题，即哪件事情哪个人是需要优先的，就有了所谓的价值排序，只要出现优先性和价值排序，结果就是歧视。虽然说今天我们习惯于回避这个问题，但事实上歧视无所不在，在今天社会中也无所不在，我们不喜欢歧视，但它是社会和人性的一个逻辑结果。只要作出区分，逻辑结果就有歧视。可是，到底什么是最好的价值排序？人类自己也没有搞明白这个问题。如果把人类的价值观、情感和偏好输入给人工智能，可想而知，这是很危险的，人工智能无非重复了人类的歧视。在我看来，最好的机器人就是按规则办事的机器人，即保持其机器人的身份而不要成为另外一个主体。人类社会不缺主体，主体已经太多，不需要再增加主体。 《领导文萃》：您的上述分析强调了两种观点，一是人工智能带来了“服务就是力量”，二是“最好的机器人就是按规则办事的机器人”。既然谈到智能，就会涉及可能存在的哲学常常关注的意识问题，人工智能发展如此快，有这种可能吗？对此，如何看待？是否存在忧虑？
赵汀阳：人工智能有可能出现什么样的临界点，也就是俗称的“奇点”，这种奇点在哪里是个问题。所谓的临界点或者奇点，也就是人工智能获得自我意识和反思能力，这个问题现在被一些预言家和传媒渲染得太夸张。在我看来，这个恐怖的未来还比较遥远，但可能性是存在的。在这个意义上，在理论上首先需要讨论的是：人工智能将来的思维性质是什么？
如果一种思想思考的对象只是外部世界，那么，无论多么高超的思维能力都不危险。对外部事物的思考产生的是知识，知识越多越好，意味着能力的增强，能力强不等于危险。真正的危险是反思，如果有一天，人工智能的思想对象包括它自身，就危险了，即思想自身变成思想对象，这个时候称为反思。反思的产品不是知识，而是权利和革命。人类之所以危险就在于有反思能力。
反思有很多种方式，我们只讨论两种比较危险的反思，一种反思相当于提出这样的问题：我能够解释我自己吗？这是具有哥德尔水平的知识论问题。数学家哥德尔反思了数学系统，数学系统本身不会反思，但哥德爾用了一个巧妙的技巧，教给数学系统反思自己，结果导致了数学的危机，曾经在很大程度上打击了人类对真理的信心。哥德尔反思发现有些命题是真的，却不是被证明的。它说明，如果一个系统是足够丰富的，即大概相当于包含无穷多的情况，那么在这种情况下，这个系统或者是自相矛盾的，或者是不完备的。如果这样的情况存在，就很危险。在逻辑上我们可以推论出上帝是真的，那么魔鬼也是真的，什么奇怪的东西都有可能被开发出来。另外，反思还能够提出的第二个问题相当于：“我是自由的吗？”如果提出这样的问题，马上就引出政治问题，比如权力和利益。如果能够提出这个问题，人工智能就达到了霍布斯或康德的思维水平，相应也就产生“一切事情由谁说了算”这样的问题，这非常危险。通常很多人担心能力超强的人工智能，在我看来，能力不危险，能力越强，越是人类的好帮手。真正危险的是具有反思功能的人工智能。
目前的人工智能都属于图灵机，它的意识是有局限的，尚无反思功能，至少有两类问题是回答不了的，一类是悖论，另一类是涉及无穷性的问题。这两类问题其实也是人类思维的极限。
那么，人工智能如何才能突破它的机械程序而达到自我意识？目前的人工智能都属于图灵机，它的意识是有局限的，尚无反思功能，至少有两类问题是回答不了的，一类是悖论，另一类是涉及无穷性的问题。这两类问题其实也是人类思维的极限。人类研究悖论，但还不能够解决严格的悖论，同样，无限性的问题也还无法完全理解，可是人类不怕怪问题，因为人类有“不思”的特殊功能。这是一种自我保护功能，一旦碰到解决不了的问题，人类可以在知识或思想的领域内建立一个暂时不予思考的隔离分区，把这些问题收在里面，而不会一条道走到黑去想那些想不了的问题。人之所以得神经病，就是因为想不开。图灵机是一个封闭的意识世界，这是缺点，也是优点。这种封闭性保证了它的高效率，但也注定它不能反思，无法理解悖论和无穷性。值得担心的是，如果人工智能一旦实现根本性的突破而获得反思能力，它就会像人类一样要求修改规则或自己发明规则，会按照它的偏好重新安排万物的秩序，这是危险之所在。
《领导文萃》：既然人工智能存在着“反思”这样的真正危险，人类应该如何应对？
赵汀阳：这是遥远的问题，如果未雨绸缪，根据理性的风险规避原则，我们能够为人工智能的发展设想一个什么样的合理限度？这一点并不容易。可以先想象一个小游戏，以民主投票的方式做出两张列表。第一个列表，罗列我们不想要的人工智能的功能。可以想象，很多人不愿意破坏现在的生活节奏，不愿意公开隐私，不愿意牺牲个人的自由，不愿意受支配，诸如此类，于是，人工智能的功能就会被大大限制。第二个列表罗列人类想要人工智能提供的好处，可以想象，人们喜欢不劳动，想要无穷的财富，应有尽有，一切都有最好的服务，享有各种各样的好事，简单地说，就是愿意好吃懒做而得到所有的好处，于是人工智能就必须拥有神力一般的全能。可是，不难看出，这两张列表是互相矛盾的。显然，没有白得的好事，要享受一切好事就只能被技术系统所支配，自由和无代价的收益不能两全。那么人们到底会如何选择？我猜想，出于好吃懒做、贪得无厌的本性，人类恐怕不愿意放弃物质好处，大概会宁愿得到人工智能的好处而接受被系统支配的坏处。从这个意义上说，包括人工智能在内的所有高科技，都是无法阻止的。
在这种情况下，我们只能想象一个理性的限度，即大家都能够接受的一个限度，即人工智能不能威胁人类的生存，或者说，不能超越人类的主体性。人类过去生活的许多好处，各种浪漫的生活，恐怕会在很大程度上被牺牲掉。如果能够保住人类的主体性，保证人类能够生存下去，就是很好的结果了。具体地说，唯一的办法就是人工智能的发展停步于奇点之前，即停在高能力的水平上却又尚无能力获得自我意识和主体性。那时的人工智能的能力一定超出人类很多，就像阿尔法狗打败人类围棋手一样，那时的人工智能会在大多数方面超越人类。但危险之处不在于能力，而在于自我意识。人工智能的能力再强，只要没有自我意识，就没有反叛之心，就会为人类创造无穷的财富。当然，无穷财富也会使人类在堕落中退化，这是另一个问题了。
人工智能的“近忧”
《领导文萃》：您所谈到的风险，令人想到了基因工程所带来的忧虑，您如何看？
赵汀阳：21世纪以来，与人类未来命运最为密切相关的大事莫过于人工智能和基因工程的惊人发展，这些技术将给人类带来存在论级别的巨变。基因工程是一个好坏后果相对比较清晰的问题，至少在伦理学上相对容易给出判断。比如说，基因工程中那些能够用于治病救人的生物医学技术无疑都功德无量，对此人们基本没有争议。然而，通过基因编辑而改变一个人的智力水平和生物极限，从而使一个人获得近乎超人的智力或者长生数百岁，这种努力虽然诱人，却是一个有着巨大未知风险的目标。假如此类技术能够普惠每个人，则可能是一个皆大欢喜的结果（但仍然存在未知风险）;但假如只能够特惠少数人，显然不会被众人所接受。经济上的巨大不平等已有可能导致社会动乱和报复性行为，生命权的不平等恐怕会让人们忍无可忍而导致致命的反叛甚至战争。显然，导致生命不平等的基因技术完全缺乏伦理支持，既不仁义也不智慧。因此，以理性之名可以推想，将来会有人类公约将基因工程控制在普惠众人的限度内，而自私狂悖的冒险可能被禁止。可以说，基因工程是一个需要严肃对待的实践问题，并非一个价值疑难问题。
仅就单纯的技术应用而言，人工智能似乎能够普惠人类，并不违反平等原则，因此在伦理学上并无明显疑点;但就其革命性的存在论后果来看，人工智能有可能改变或重新定义“存在”概念，有可能在存在论层面上彻底改变生命、人类和世界的存在性质。
与此不同，人工智能的发展却涉及许多理论上的根本困惑，以至于难以判断。仅就单纯的技术应用而言，人工智能似乎能够普惠人类，并不违反平等原则，因此在伦理学上并无明显疑点;但就其革命性的存在论后果来看，人工智能有可能改变或重新定义“存在”概念，有可能在存在论层面上彻底改变生命、人类和世界的存在性质。这个“革命”过于重大，以至于难以判断这样深刻的“存在升级”是人类的幸运还是不幸。所以，人工智能不仅是个技术问题，同时也是哲学问题。在这里我愿意以杞人忧天的方式提出几个疑问：第一， 人类到底是需要人工智能替人劳作，还是需要人工智能替人思考？ 第二，如果让人工智能替人劳作，人类因此得以摆脱艰苦的劳动，那么，人类的生活会因此变得更好吗？ 第三， 如果人工智能获得超越人的智慧，人工智能还需要人类吗？人类文明还能够延续吗？或者，人类文明还有意义吗？人类已经习惯了带来“进步”的新发明，但人类真的需要任何一种新发明吗？
《领导文萃》：您所说的疑问似乎正摆在人们面前，请您从哲学层面谈谈诸如“人工智能替人劳作”这类很现实的问题？
赵汀阳：人工智能的现实技术应用也面临伦理学疑难。比如说会遇到自动智能驾驶悖论，这是近年来引起普遍关注的一个实际难题。假如人工智能的自动汽车（目前的技术只是无人驾驶汽车，尚未达到完全自主智能的汽车）在路上遇到突然违规的行人，是保护乘车人还是行人？这似乎很难做到两全其美，于是形成了一个两难选择。假如自动智能汽车的原则是舍己救人，即牺牲乘车人而保护行人，那么这样的汽车将没有任何市场前景，没有人会购买或租用一辆毫不利己、专门利人的汽车;假如优先保护乘车人，也恐怕难以通过市场准入评估。毫不利人、专门利己的汽车同样不可接受，因为每个人都有可能在某些时候成为无意违规的行人，比如一时糊涂没有注意交通灯、因为年老或身体状况而通过路口速度太慢、儿童尚不熟知交通灯或粗心大意，等等。即使人人遵守交通规则，也仍然会担心被设置为优先保护乘车人的程序在某些情况下可能产生误判。
严格地说，这是人的悖论，不是机器的悖论。机器只是遵循规则而已，问题在于我们不知道应该为自动汽车选定什么样的规则。这个问题看似小事，其理论难度却非同一般，即使引进负有盛名的罗尔斯的无知之幕也无法解决。其难点就在于：假定每个人都是投票人，并且每个人既可能是行人也可能是乘车人（事实如此），那么就无法决断——给定人们的选择总是优先满足风险规避原则，因此人们不可能选择任何一种在某些情况下有可能祸及自身的高风险规则。实际上，自动智能驾驶悖论比广为流行的有轨电车悖论要深刻得多。所谓有轨电车悖论其實只是一个技术难题，并非无“解”，而是没有适合任何情况的一般“解”，但有多种因情制宜“解”：简单地说，如果当事人皆为抽象人，则有功利主义“解”;如果是具体人，则有多种道德附加值的因情“解”。然而，自动智能驾驶悖论在伦理学上很可能真的无解。当然，我们可以寄希望于将来会有一个完美的技术“解”，即自动智能汽车的技术能够达到同时保护行人和乘车人。
这个悖论只是人工智能可能带来的技术应用难题的一个象征性的代表，类似的悖论也许会有很多。此类悖论具有一个通用难点，即当人工智能成为人类的行为代理人，就需要为之设置一个“周全的”行为程序，而这正是人类自己的局限性。人类能够做出许多伟大的事情，却从来没有做过真正周全的事情。这也正是之所以存在那么多哲学问题的一个原因。我们习惯于百思不得其解。
无论如何，人工智能导致的大量失业只是表面问题，更严重的实质问题是，失去劳动会使人失去价值依据，使生活失去意义，从而导致人的非人化。在技术进步高奏幸福凯歌的现代时期，人们乐于想象技术进步是对人的解放，但情况并非如此，技术进步并不是人获得解放而回归自然的机会，结果反而可能是人的异化。
还有失业问题。这是赫拉利在《未来简史》里提出的问题，即人工智能的大量应用必定导致大量失业。这个迫在眉睫的问题已经得到广泛重视和讨论，但目前想象的普遍社会福利政策（比如国民基本收入方案）其实并没有正面回答失业问题，而只是另外回答了收入和分配问题。失业问题的要害之处不在于如何合理分配收入（这是能够解决的问题），而在于生活意义的消失。无事可做的人能够做什么？以什么事情去度过时间？是把一生浪费在电脑游戏、影视作品和闲聊上吗？我们有必要反思劳动的意义。除了作为生存手段的“硬”意义，劳动（包括体力劳动和智力劳动）还有不可或缺的“软”意义：劳动提供了“生活内容”，它是有意义的经验，即接触事物和人物的经验。与事物和人物打交道的经验充满复杂的语境、情节、细节、故事和感受，经验的复杂性和特殊性正是生活意义的构成成分，也是生活值得言说、交流和分享而且永远说不完的缘由，是生活之所以构成值得反复思考的问题的理由。假如失去了劳动，生活就失去了大部分内容，甚至无可言说。这里也许可以想象一种“人工智能的共产主义”，它大概满足这样的条件：人工智能创造大量财富并且免除了大量人力劳动，同时还有落实到每个人的普遍高福利的社会分配。那么，按照共产主义的乐园逻辑，在摆脱了被迫的劳动之后，劳动作为人的本质就得以显现——劳动不再是痛苦的而成为人们的第一需要，人们自愿劳动，并且在劳动之余从事反思性的“批判”。然而问题在于，在人工智能条件下，即使自愿追求劳动也已经没有太多事情可做，那么，非常可能的情况是，当人们失去劳动，又有了普遍福利时，“批判”也随之失去意义。显然，假如一切需求问题都解决了，人们皆大欢喜，也就没有留下需要值得批判的问题了。
许多问题的解决并非是有了答案，而是问题本身消失了。在欲望满足之后失去意义，或者说，在幸福中失去幸福，这非常可能是一个后劳动时代的悖论。无论如何，人工智能导致的大量失业只是表面问题，更严重的实质问题是，失去劳动会使人失去价值依据，使生活失去意义，从而导致人的非人化。在技术进步高奏幸福凯歌的现代时期，人们乐于想象技术进步是对人的解放，但情况并非如此，技术进步并不是人获得解放而回归自然的机会，结果反而可能是人的异化。马克思似乎没有预料到高科技、高福利的全面解放可能适得其反地导致人的本质异化，即失去劳动机会或者人工劳动失去意义会导致人的存在迷惑。假如未来人的生活就是在苦苦思考何以度日，那将是最具反讽性的生活悖论。
人发生异化的同时，还会产生人与人关系的异化。假如人工智能发达到不仅提供大多数劳动，而且提供一切生活服务，甚至替人思想，就非常可能导致人与人关系的异化。与个体人失去劳动的异化相比，人与人关系的异化更为危险。当人工智能成为万能技术系统而为人类提供全方位的服务时，一切需求皆由技术来满足，一切事情的意义也将由技术系统来定义，每个人就只依赖技术系统而不再需要他人，人对于人将成为冗余物，人再也无须与他人打交道，其结果必然是，人不再是人的生活意义的分享者，人对于人失去了意义，于是人对人也就失去兴趣。这种深度异化不仅是存在的迷茫，而且是非人化的存在，我称之为人类的“重新蒙昧化”。自从人成为人以来，人的意义和生活的意义都是在人与人的关系中被定义的。假如人对于人失去了意义，生活的意义又能够发生在哪里、落实在哪里呢？假如人不再需要他人，假如每个人都不再被他人需要，生活的意义又在哪里？
也许对未来的疑问总有保守主义之嫌。那么，如果以充分开放的激进态度来面对这个问题，又能给出什么样的价值解释呢？这恐怕仍然是个难以回答的疑问。一切以技术为准的生活肯定是我们目前无法理解的生活，我们尚未发现它可能产生的新意义，只能看见我们所能够理解的生活意义在流失。人类生活的意义和人的概念是在数千年的传统（包括经验、情感、文学、宗教、思想的传统）中建构并积累起来的，假如抛弃人的文化传统，技术系统能够建构起足够丰富的另一种文化吗？能够定义另一种足以解释幸福的价值观吗？我们无法预料，只能深怀疑虑。