生命3.0何时出现

这个问题极富争议，而且争议得十分精彩。全球顶尖的人工智能研 究者不仅在做出预测时众说纷纭，他们的情绪反应也截然不同：有的是充满信心的乐观主义者，有的则怀有严肃的担忧；甚至于，对于人工智 能会在短期内对经济、法律和军事方面造成什么影响，他们也都难以达 成共识。如果我们将讨论的时间范围扩大一些，把通用人工智能，特别 是达到或超过人类智能水平、使得生命3.0成为可能的通用人工智能涵 盖进讨论的话题，那么他们的分歧就更大了。与包括下棋软件等狭义人 工智能不同的是，通用人工智能几乎可以完成任何目标，包括学习。

有趣的是，关于生命3.0的争议围绕着两个而不是一个问题展开， 这两个问题分别是“何时”和“什么”，即如果生命3.0真的会出现， 那何时会发生？这对人类意味着什么？我认为，存在三个截然不同的学 派。这三个学派都值得我们认真对待，因为它们之中都包括一些世界顶 尖的专家。我在图1-2中描绘了这三个学派，它们分别是：数字乌托邦 主义者（Digital Utopians）、技术怀疑主义者（Techno-Skeptics） 和人工智能有益运动支持者（Members of The Beneficial-AI Movement）。现在，请允许我向你介绍一些他们中最雄辩的支持者。

数字乌托邦主义者：数字生命是宇宙进化的天赐之选

小时候，我认为亿万富翁都是浮夸和自大的，但2008年，当我在谷 歌公司遇到拉里·佩奇时，他完全颠覆了我的刻板印象。佩奇穿着一条休闲牛仔裤，一件非常普通的衬衫。如果他坐在麻省理工学院的草地 上，一定会迅速地融入野餐的人群。佩奇讲话的时候很温和，笑起来十 分友善，这让我在和他交谈时感到很放松，没有一丝紧张感。2015年7 月18日，埃隆·马斯克和他前妻塔卢拉·赖利（Talulah Riley）在纳 帕谷举行了一个宴会。在宴会上，我遇到了佩奇，聊起了我们的孩子对 粪便的共同兴趣。我推荐了安迪·格里菲思（Andy Griffiths）的经典 作品《我的屁股发疯的那天》（The Day My Butt Went Psycho），佩 奇马上就买了一本。我不断地提醒自己，他可能是人类历史上最具影响 力的人：我猜测，假设在我的有生之年出现了吞噬宇宙的超级智能数字 生命，这个决定应该就是佩奇做出的。

后来，我们与我们的妻子们——露西·索斯沃斯（Lucy Southworth）和梅亚·奇塔·泰格马克（Meia Chita-Tegmark）一起共 进晚餐。在席间，我们讨论了机器会不会产生意识这个问题。佩奇认 为，这个问题是在混淆视听，并没那么重要。稍晚些时候，在鸡尾酒会 之后，佩奇和马斯克展开了一场冗长但热烈的辩论，主题是人工智能的 未来以及我们应该为此做些什么。到凌晨时，围观者变得越来越多。我 认为，佩奇激烈维护的观点正是我认为的“数字乌托邦主义者”特有的 观点。这个派别认为，数字生命是宇宙进化自然而然、令人期待的下 一步，如果我们让数字智能自由地发展，而不是试着阻止或奴役它 们，那么，几乎可以肯定地说，结果一定会是好的。我认为，佩奇是 数字乌托邦主义最具影响力的支持者。他说，如果生命会散播到银河系 各处甚至河外星系（他认为这肯定会发生），那么，这应当以数字生命 的形式发生。他最大的担心是，人们对人工智能的猜疑和妄想会延迟这 个数字乌托邦的到来，而且可能会导致邪恶的人工智能发动军事叛乱， 接管人类社会，违背谷歌“不作恶”的座右铭。马斯克则一直还击，要 求佩奇把观点讲得更详细一些，比如，为什么他如此相信数字生命不会 毁灭我们关心的一切。佩奇时不时抱怨马斯克有“物种歧视” ：只因某 些生命形式是硅基而非碳基就认为它们低人一等。从第4章开始，我们 会回到这些有趣的问题上，进行详细的探讨。

在那个炎热夏日的泳池边，尽管佩奇似乎有些寡不敌众，但实际 上，他极力维护的“数字乌托邦主义”拥有许多支持者。1988年，机器 人学家兼未来学家汉斯·莫拉维克（Hans Moravec）写了一本经典著作 《智力后裔》（Mind Children），这本书启发了整整一代数字乌托邦 主义者。因此，这一观点得以延续下来，后来又被未来学家雷·库兹韦 尔（Ray Kurzweil）所提炼。理查德·萨顿（Richard Sutton）是人工 智能领域强化学习的先驱，在我们于波多黎各岛举行的会议上，他激情 四射地捍卫了数字乌托邦主义。我之后会简略地给你讲讲这个会议的情 况。

技术怀疑主义者：没有必要杞人忧天

有些思想家一点也不担心人工智能将会带来的影响，不过，不担心 的原因却与数字乌托邦主义者截然不同。这些思想家认为，建造超人类 水平的通用人工智能实在太困难了，没有几百年的时间，根本无法实 现，因此没必要杞人忧天。我把这种观点称为“技术怀疑主义”。拥 有“中国谷歌”之称的百度的前首席科学家吴恩达对这种观点进行了很 好的阐释： “担心杀手机器人的崛起，就好像担心火星出现人口过剩一 样。”最近在波士顿的一场会议上，吴恩达再次向我重申了自己的这个 观点。他还告诉我，他担心对人工智能风险的担忧可能会引导人们对人 工智能充满恶意，从而制约人工智能的发展。还有一些技术怀疑主义者 也发表过类似的言论，比如Roomba扫地机器人和Baxter工业机器人制作 背后的原麻省理工学院教授罗德尼·布鲁克斯（Rodney Brooks）。我 发现一个很有趣的事实：尽管数字乌托邦主义者和技术怀疑主义者都认 为我们无须担心人工智能，但在其他事情上，两者的共同点却少之又 少。大部分乌托邦主义者认为，与人类智能水平相当的通用人工智能可 能会在20～100年内实现，而技术怀疑主义者认为，这是一种乌托邦式 的幻想，他们经常会嘲笑一些人预测的“奇点”(8)，并将其戏谑为“书 呆子的臆想”。2014年12月的一个生日宴会上，我遇到了布鲁克斯，他 对我说，他百分之百地肯定，奇点不会发生在我的有生之年。“你确定 你的意思不是99%？”在后来的一封邮件中，我如此问道。他回复我 说： “不是没用的99%。就是100%。奇点根本不会发生。”

人工智能有益运动支持者：人工智能的研究必须以安全 为前提

2014年6月，我在巴黎的一家咖啡馆第一次遇到了人工智能先驱斯 图尔特·罗素（Stuart Russell），他是典型的英国绅士，彬彬有礼。 而且，他能言善辩，思维缜密，语调温和，眼中闪烁着富于冒险的光 芒。在我眼中，他仿佛就是斐利亚·福克（Phileas Fogg）的现代版 本。福克是儒勒·凡尔纳于1873年的小说《八十天环游地球》中的人 物，是我童年时代心目中的英雄。虽然罗素是迄今在世的最著名的人工 智能研究者之一，也是人工智能领域的标准教科书的作者之一，但他的 谦逊和热情很快让我放松下来。他向我解释说，人工智能领域的进展让 他相信，与人类智能水平相当的通用人工智能真的有可能在本世纪内变 成现实。尽管他充满希望，但他明白，并不是百分之百会产生好的结 果。我们必须先回答一些重要的问题，而这些问题又是非常难以回答 的，我们应该从现在就开始研究，这样，到我们需要它们时，手边才会 有现成的答案。

今天，罗素的想法比较符合主流的观点。全球各地有许多团队正在 进行他支持的人工智能安全性（AI-safety）研究。不过，对人工智能 安全性的研究并不是历来如此。《华盛顿邮报》一篇文章将2015年视为 人工智能安全性研究进入主流视野的元年。在那之前，对人工智能风险 的讨论常常被主流人工智能研究者所误解和忽视，而且，他们将进行人 工智能安全性研究的人视为企图阻碍人工智能进步并四处散播谣言 的“卢德分子”。我们将在第5章继续探讨这个话题。

实际上，与罗素类似的担忧最早是由计算机先驱艾伦·图灵和数学 家欧文·古德在半个世纪之前提出来的，古德与图灵在第二次世界大战 中一起破译过德国军事的密码。在过去的10年里，关于人工智能安全性 的研究主要由一些独立思想家来完成，比如埃利泽·尤德考斯基 （Eliezer Yudkowsky）、迈克尔·瓦萨（Michael Vassar）和尼克· 波斯特洛姆（Nick Bostrom），不过，他们并不是专业的人工智能研究 者。这些人的研究对主流人工智能研究者影响甚微，因为主流研究者总 是聚焦于他们的日常工作——如何让人工智能系统变得更智能，而不是 思考如果他们成功了会造成什么样的长期后果。我认识的一些人工智能 研究者，即便他们心中略有迟疑，也不太愿意表达出来，因为担心自己 会被视为危言耸听的技术恐慌者。

我觉得，这种有失偏颇的情况需要被改变，这样，整个人工智能界 才能联合起来，一起讨论如何建造对人类有益的人工智能。幸运的是， 我并不是孤身一人在作战。2014年春天，我与我妻子梅亚、我的物理学 家朋友安东尼·阿吉雷（Anthony Aguirre）、哈佛大学的研究生维多 利亚·克拉科芙娜（Viktoriya Krakovna）以及Skype创始人扬·塔里 安（Jaan Tallinn）一起，成立了一个非营利性组织“未来生命研究 所”（Future of Life Institute，简称FLI）。我们的目标很简单： 保证生命在未来继续存在下去，并尽可能的兴旺发达。具体而言，我 们认为，技术赋予了生命一种力量，这种力量要么让生命实现空前的 兴盛，要么让生命走向自我毁灭，而我们更青睐前一种。

2014年3月15日，未来生命研究所第一次会议在我家举行，我们开 启了一场头脑风暴。大约有30人参加，与会者包括来自波士顿地区的学 生、教授和其他思想家。会议在这个问题上达成了广泛的共识，那就 是，虽然我们也应该关注生物技术、核武器和气候变化，但我们的第一 个主要目标是帮助人工智能安全性研究进入主流视野。我在麻省理工学 院物理系的同事、因研究夸克而获得诺贝尔奖的弗兰克·韦尔切克 （Frank Wilczek）建议我们，可以从撰写专题文章开始，吸引人们对 这个问题的注意力，从而让这个问题变得不容忽视。于是，我向罗素 （那时候我还没见过他）和我的物理学同行史蒂芬·霍金寻求帮助，他 们二人都同意加入我和韦尔切克，作为共同作者，一起写文章。虽然我 们的专题文章改写了很多次，但还是被《纽约时报》等众多美国报纸拒 绝，因此，我们将其发表在了我们在《赫芬顿邮报》的博客账号上。令 我高兴的是，《赫芬顿邮报》联合创始人阿里安娜·赫芬顿（Arianna Huffington）亲自写来邮件说： “看到这篇文章，我太激动了！我们会 把它放在头条的位置上。”于是，这篇文章被放在了主页的顶部，并引 发了一大波媒体对人工智能安全性研究的报道，这波热潮一直延续到了 当年的年底。埃隆·马斯克、比尔·盖茨等科技界领袖纷纷加入讨论。 同年秋天，尼克·波斯特洛姆出版了《超级智能》 （Superintelligence）一书，再一次点燃了公众的讨论热情。

在未来生命研究所，人工智能有益运动的下一个目标是让世界顶级 的人工智能研究者齐聚一堂，澄清误解，铸就共识，并提出富有建设性 的计划。我们知道，想要说服一群享誉全球的科学家来参加一个由外行 人组织的会议是很难的，尤其是会议的主题还如此富有争议。因此，为 了邀请到他们，我们竭尽了全力：禁止媒体参会；将会议时间安排在 2015年1月份，地点安排在波多黎各的一个海滨度假村；免去了一切参 会费用。我们给这次会议起了一个我们所能想到的最不危言耸听的标 题： “人工智能的未来：机遇与挑战”。多亏我们的团队中有斯图尔特 ·罗素，因为有他的帮助，我们的组织委员会里才得以加入一批来自学 术界和产业界的人工智能领袖，包括人工智能企业DeepMind创始人德米 斯·哈萨比斯（Demis Hassabis），正是他，在2017年向人们证明了人 工智能可以在围棋中打败人类。我对哈萨比斯了解得越多，就越发现他 的热情不仅在于让人工智能变得更强大，还在于让人工智能变得有益于 人类。

结果，这是一场心灵的非凡碰撞（见图1-3）。人工智能研究者、 顶级经济学家、法律学者、科技领袖等思想家齐聚一堂，这些人中包括 埃隆·马斯克和提出了“奇点”（Singularity）这个词的科幻作家弗 诺·文奇（Vernor Vinge），我们会在第4章聚焦这个话题。

这次会议的结果超过了我们最乐观的预期。或许，是因为有阳光与 红酒的相伴，又或许，是因为时机正好。尽管话题很有争议，但我们最 后还是达成了一份了不起的共识。我们将共识的详细内容写入了一封公 开信[1]，最后有8 000多人签名，其中涵盖了名副其实的“人工智能名 人谱”。公开信的主旨是，我们应该重新定义人工智能的目标：创造目 标有益的智能，而不是漫无目标的智能。公开信还提到了一份研究课 题列表。参会者都同意，这些课题能进一步推进上述目标。人工智能有 益运动开始逐步进入主流社会。在本书之后的章节中，我们将会介绍该 运动的后续进展。

这个会议的另一个重要收获是：人工智能的成功所引发的问题不仅 在智识上令人着迷，而且在道德上也非常重要，因为我们的选择可能会 影响生命的整个未来。在历史上，人类所做出的选择的伦理意义固然很 重要，但却时常受到限制：我们能从最严重的瘟疫中恢复，但最雄伟的 帝国最终也会分崩离析。在过去，人们知道，无论什么时候，人类都会 面临常年不断的灾害，比如贫穷、疾病和战争，这个事实就像太阳早晨 一定会升起一样肯定，因此，我们必须想尽办法解决这些问题。不过， 波多黎各会议上的一些发言人称，现今面临的问题可能和以前不一样。 他们说，这是历史上头一遭，我们或许能发明出足够强大的科技，可以 将那些灾害永久性地清除出去；又或者，它也可能将人类推向末日。我 们可能会在地球上甚至地球之外构建出一个空前繁荣的社会，同时也可 能会让全世界都处于强大的卡夫卡式的监控之下。