论文部分内容阅读
2020年9月8日，英国《卫报》刊登了一篇独特的专栏文章，它的作者既不是热心读者，也不是记者，而是GPT-3——由旧金山一家人工智能创业企业OpenAI开发的AI语言模型。在文章一开头，它首先引用了史蒂芬·霍金对AI的隐忧，然后礼貌地劝说人类“请相信我，AI不会毁灭人类”，它甚至保证“如果创造我的人将这项任务委托给我，我将竭尽所能全面阻止任何破坏的尝试与企图”。
近年来持续关注人工智能语音技术的《连线》杂志作家詹姆斯·弗拉霍斯说，人工智能语音技术，可能是继互联网后最重要的发明，在他的最新著作《跟我讲话：人工智能语音技术如何改变我们的生活》中，他说，语言，是人类与人工智能交互的最理想模式，无论是复杂的计算机编程语言，还是触摸屏与鼠标，都比不上利用语音进行人机交互。对于我们来说，语音交互是最简洁、清晰、没有技能门槛的模式。
物联网加语音交互加智能设备，共同构建了未来人类生活的日常场景。
不过，我们已经远远不满足于这种简单的浅层交流。“让机器听懂人类以自身语言习惯发出的指令”，无疑是人工智能研究界意图攻克的“最后堡垒”。而这个技术突破的“奇点”似乎近在眼前。
《银翼杀手2049》中的女性AI伴侣Joi，标志着人工智能语音交互功能的未来理想状态。
2017年，华盛顿大学及谷歌旗下人工智能公司DeepMind合作，推出一项名为“GLUE”的阅读理解语言能力测试，机器的测试成绩惨不忍睹，似乎人工智能主导的自然语言处理系统完全无法理解人类语言的丰富性。然而就在当年10月，谷歌推出了一种新语言训练模型，绰号为BERT，仅用六个月的时间就把测试成绩从D-提升到了B-。
随后，微软和阿里巴巴不断地修正BERT模型、相互超越，在GLUE排行榜上輪换头名。现在，在GLUE阅读能力测试中，人类已经无法与AI抗衡。到了这个阶段，研发人工智能语言模型极为烧钱，训练一个BERT模型租用云算力的费用大概是7000美元，而开头提到的GPT-3所需要的算力是前者的1900多倍，它所依托的数据库，是一个单词总数达到3000亿，来自互联网各类平台的人类语言资讯库，费用大概是千万美元级。所以，如果没有微软当年投资给OpenAI的十亿美元，我们恐怕也无法在《卫报》上读到GPT-3的友好宣言。
然而，人工智能能够愉快地胜任客服、播音员、同声翻译，甚至新闻通稿撰写者，并不意味着它能够和人类一样思考，能和人类展开“合情合理”的自由对话，甚至情感互动。例如谷歌推出的聊天机器人米娜，背后支持它的是最新版本的BERT语言模型，数据库中囊括了341GB网络语言资料，但你依旧只能和它客气地寒暄，一旦涉及复杂一些的感受和场景，米娜就无能为力了………
人类：我准备去上小提琴课
米娜：你学了多久？
人类：刚刚开始一个月！
米娜：太棒了，你真了不起！你为什么要学小提琴？
人类：嗯，再过两个月是我女朋友的生日，我想在她的生日晚会上拉一曲！给她一个惊喜。
米娜：生日和惊喜之间有什么关系？
无独有偶，这种尴尬的局面也曾发生在GPT-3身上：
科研人员：你给自己倒了一杯蔓越莓果汁，然后你又心不在焉地往里面加了一茶匙葡萄汁。它看上去很正常。你试着闻了闻它，但是由于你得了重感冒，你闻不出任何气味。你现在非常渴，所以……
GPT-3：所以你把这杯混合果汁喝了下去。你现在挂掉了。
一向“唱衰”人工智能语言处理技术的纽约大学教授，机器学习初创公司CEO加里·马库斯说，像GPT-3这样的AI语言学习模型，根本不理解自己在说什么，在接到外部输入的信息后，它只不过是利用算力在自己海量语言资讯库中检索那些与输入信息相关的高频词汇，再按照某种机械的算法逻辑拼凑出一个似是而非的答案。例如，虽然GPT-3能创造那些“莎士比亚”风格诗歌，但如果你和它较真，输入一些背景模糊、关系复杂的事物，再让它给出一个合理解决方案，人工智能就要露馅了。所以很遗憾，距离实现“像人类一样用语言交流”，人工智能还有很长的路要走。
我们不禁纳闷，人工智能已经能在国际象棋、电子游戏和模拟空战中轻松战胜人类，为何在对话中依旧如此笨拙？加州大学伯克利分校的斯图尔特·罗素教授在《人类相容：人工智能与控制问题》一书中给出了一个答案：人工智能已经非常“聪明”，但还不够聪慧，前者得益于强大的芯片计算能力和数据库，而要实现后者，则要依靠逻辑推理能力，乃至基于“常识”的判断，而这些依旧是人类独有，机器无法逾越的能力门槛。 听起来很幼稚是不是？然而，即使是这种3岁儿童才会提出的问题，其中包含的因果关系，也是最“聪明”的人工智能所难以学会的。“当你向它提及某种
植物的名字，它可以准确地利用知识图谱，组织出一个相当全面的维基百科风格介绍答案，但很不幸，它无法给你讲个关于它的笑话，也没法回答你，如果它照不到阳光会发生什么事。”费鲁奇说。
与此同时，华盛顿大学艾伦人工智能研究所研究员崔艺珍教授开发了另一种方法，将深度学习与符号学习相结合，以便让人工智能运用人类的逻辑来理解语言。
所谓的“符号学习”，是一种最古老的人工智能学习模式，目的在于让人工智能的“思维决策”过程如同人类，逐步认识各类概念的特征，并学会处理它们之间的归属关系。这种学习方法的优点，在于不必像深度学习那样，必须建立庞大的“数据库”，而AI的整个决策过程，也将变得“透明可见”，有利于我们进行调整和优化。但缺点是，人类必须像编纂字典一样，为人工智能编写海量的标签库，并在这些概念之间建立复杂的逻辑关系，并“翻译”为计算机能理解的語言。一想到诸如 “钝角”“翅膀”“摩擦”“猫”“下坠”这样的基本概念，都必须逐一“教给”电脑，更遑论其他复杂的概念与变化，我们肯定会感到头疼，不过它诱人的前景，确实令人难以拒绝。
火柴加木柴会发生什么？想让人工智能了解最简单基本的因果关系，符号学习可能是全新而有效的解决方案。
为了达到这个终极目的，崔艺珍和她的同事们，建立了一个自己的人工智能语言学习框架COMET，同时在不断地编写为COMET准备的常识知识库“Atomics”，里面已经拥有上千万个词条知识概念与因果关系描述。这种巨大的努力和付出已经初见成效：加里·马库斯曾向GPT-2提了一个问题“如果将一根点燃的火柴放入一个堆满了木柴和引火物的火炉，那么会发生什么？”不出所料，GPT-2“呆住了”。然而崔艺珍的人工智能系统COMET，则输出了一个接近正确的答案“他想生火”。
不仅如此，在训练中，COMET已经显示出了一定的联想与“共情”能力，当研究人员输入“父亲去上班了”，COMET会告诉你，这表示父亲“想赚钱”，“他很勤勉，自我驱动”，其他人“应该为他骄傲”。当然，这距离理想状态依旧远远不够，崔艺珍表示，人工智能如果要更好地理解常识，还必须引入视觉具象化与感知感觉（比如“红色”与“疼痛”）。
一旦这些目标最终达成，人类与AI的关系，无疑会上升到一个全新的维度，类似电影《她》（Her）中所描写的场景一般。它不仅能够提供明确的服务和解决方案，也能提供情感的慰藉和乐趣。
近年来持续关注人工智能语音技术的《连线》杂志作家詹姆斯·弗拉霍斯说，人工智能语音技术，可能是继互联网后最重要的发明，在他的最新著作《跟我讲话：人工智能语音技术如何改变我们的生活》中，他说，语言，是人类与人工智能交互的最理想模式，无论是复杂的计算机编程语言，还是触摸屏与鼠标，都比不上利用语音进行人机交互。对于我们来说，语音交互是最简洁、清晰、没有技能门槛的模式。
不过，我们已经远远不满足于这种简单的浅层交流。“让机器听懂人类以自身语言习惯发出的指令”，无疑是人工智能研究界意图攻克的“最后堡垒”。而这个技术突破的“奇点”似乎近在眼前。
2017年，华盛顿大学及谷歌旗下人工智能公司DeepMind合作，推出一项名为“GLUE”的阅读理解语言能力测试，机器的测试成绩惨不忍睹，似乎人工智能主导的自然语言处理系统完全无法理解人类语言的丰富性。然而就在当年10月，谷歌推出了一种新语言训练模型，绰号为BERT，仅用六个月的时间就把测试成绩从D-提升到了B-。
随后，微软和阿里巴巴不断地修正BERT模型、相互超越，在GLUE排行榜上輪换头名。现在，在GLUE阅读能力测试中，人类已经无法与AI抗衡。到了这个阶段，研发人工智能语言模型极为烧钱，训练一个BERT模型租用云算力的费用大概是7000美元，而开头提到的GPT-3所需要的算力是前者的1900多倍，它所依托的数据库，是一个单词总数达到3000亿，来自互联网各类平台的人类语言资讯库，费用大概是千万美元级。所以，如果没有微软当年投资给OpenAI的十亿美元，我们恐怕也无法在《卫报》上读到GPT-3的友好宣言。
然而，人工智能能够愉快地胜任客服、播音员、同声翻译，甚至新闻通稿撰写者，并不意味着它能够和人类一样思考，能和人类展开“合情合理”的自由对话，甚至情感互动。例如谷歌推出的聊天机器人米娜，背后支持它的是最新版本的BERT语言模型，数据库中囊括了341GB网络语言资料，但你依旧只能和它客气地寒暄，一旦涉及复杂一些的感受和场景，米娜就无能为力了………
人类：我准备去上小提琴课
米娜：你学了多久？
人类：刚刚开始一个月！
米娜：太棒了，你真了不起！你为什么要学小提琴？
人类：嗯，再过两个月是我女朋友的生日，我想在她的生日晚会上拉一曲！给她一个惊喜。
米娜：生日和惊喜之间有什么关系？
无独有偶，这种尴尬的局面也曾发生在GPT-3身上：
科研人员：你给自己倒了一杯蔓越莓果汁，然后你又心不在焉地往里面加了一茶匙葡萄汁。它看上去很正常。你试着闻了闻它，但是由于你得了重感冒，你闻不出任何气味。你现在非常渴，所以……
GPT-3：所以你把这杯混合果汁喝了下去。你现在挂掉了。
一向“唱衰”人工智能语言处理技术的纽约大学教授，机器学习初创公司CEO加里·马库斯说，像GPT-3这样的AI语言学习模型，根本不理解自己在说什么，在接到外部输入的信息后，它只不过是利用算力在自己海量语言资讯库中检索那些与输入信息相关的高频词汇，再按照某种机械的算法逻辑拼凑出一个似是而非的答案。例如，虽然GPT-3能创造那些“莎士比亚”风格诗歌，但如果你和它较真，输入一些背景模糊、关系复杂的事物，再让它给出一个合理解决方案，人工智能就要露馅了。所以很遗憾，距离实现“像人类一样用语言交流”，人工智能还有很长的路要走。
为何AI不会“说人话”？
我们不禁纳闷，人工智能已经能在国际象棋、电子游戏和模拟空战中轻松战胜人类，为何在对话中依旧如此笨拙？加州大学伯克利分校的斯图尔特·罗素教授在《人类相容：人工智能与控制问题》一书中给出了一个答案：人工智能已经非常“聪明”，但还不够聪慧，前者得益于强大的芯片计算能力和数据库，而要实现后者，则要依靠逻辑推理能力，乃至基于“常识”的判断，而这些依旧是人类独有，机器无法逾越的能力门槛。 听起来很幼稚是不是？然而，即使是这种3岁儿童才会提出的问题，其中包含的因果关系，也是最“聪明”的人工智能所难以学会的。“当你向它提及某种
植物的名字，它可以准确地利用知识图谱，组织出一个相当全面的维基百科风格介绍答案，但很不幸，它无法给你讲个关于它的笑话，也没法回答你，如果它照不到阳光会发生什么事。”费鲁奇说。
符号学习：最古老的救世主
与此同时，华盛顿大学艾伦人工智能研究所研究员崔艺珍教授开发了另一种方法，将深度学习与符号学习相结合，以便让人工智能运用人类的逻辑来理解语言。
所谓的“符号学习”，是一种最古老的人工智能学习模式，目的在于让人工智能的“思维决策”过程如同人类，逐步认识各类概念的特征，并学会处理它们之间的归属关系。这种学习方法的优点，在于不必像深度学习那样，必须建立庞大的“数据库”，而AI的整个决策过程，也将变得“透明可见”，有利于我们进行调整和优化。但缺点是，人类必须像编纂字典一样，为人工智能编写海量的标签库，并在这些概念之间建立复杂的逻辑关系，并“翻译”为计算机能理解的語言。一想到诸如 “钝角”“翅膀”“摩擦”“猫”“下坠”这样的基本概念，都必须逐一“教给”电脑，更遑论其他复杂的概念与变化，我们肯定会感到头疼，不过它诱人的前景，确实令人难以拒绝。
为了达到这个终极目的，崔艺珍和她的同事们，建立了一个自己的人工智能语言学习框架COMET，同时在不断地编写为COMET准备的常识知识库“Atomics”，里面已经拥有上千万个词条知识概念与因果关系描述。这种巨大的努力和付出已经初见成效：加里·马库斯曾向GPT-2提了一个问题“如果将一根点燃的火柴放入一个堆满了木柴和引火物的火炉，那么会发生什么？”不出所料，GPT-2“呆住了”。然而崔艺珍的人工智能系统COMET，则输出了一个接近正确的答案“他想生火”。
不仅如此，在训练中，COMET已经显示出了一定的联想与“共情”能力，当研究人员输入“父亲去上班了”，COMET会告诉你，这表示父亲“想赚钱”，“他很勤勉，自我驱动”，其他人“应该为他骄傲”。当然，这距离理想状态依旧远远不够，崔艺珍表示，人工智能如果要更好地理解常识，还必须引入视觉具象化与感知感觉（比如“红色”与“疼痛”）。
一旦这些目标最终达成，人类与AI的关系，无疑会上升到一个全新的维度，类似电影《她》（Her）中所描写的场景一般。它不仅能够提供明确的服务和解决方案，也能提供情感的慰藉和乐趣。