文/[美]保罗·沙瑞尔
译/朱启超 王姝 龙坤
本文为《无人军队：自主武器与未来战争》引言。
1983年9月26日晚，世界几乎走向终结。
当时冷战正处于白热化阶段，美苏双方都拥有数量众多的核武器。这一年早春，美国总统里根宣布实施“战略防御计划”(Strategic Defense Initiative)，又名“星球大战”计划（Star Wars），规划打造导弹防御盾牌，扬言颠覆美苏之间冷战的微妙平衡。就在三周前，即9月1日，苏军击落了一架从美国阿拉斯加飞往韩国首尔的商业客机，这架客机误入了苏联领空。该事件共造成260人遇难，包括一名美国国会议员。苏联担心这一事件可能招致美国报复，一直处于高度戒备状态。
苏联部署了名为“奥科”（Oko）的卫星预警系统以监视美国导弹发射情况。9月26日午夜刚过，该系统就发出一个重大警报——美国朝苏联发射了一枚核导弹！
那天晚上，在莫斯科郊外“塞尔普霍夫15号”(Serpukhov-15)地下掩体担任作战值班的是斯坦尼斯拉夫?彼得罗夫（Stanislav Petrov）中校，他负有向他的上级及时汇报遭受导弹袭击及如何实施反击作战的责任。在地下掩体，刺耳的警报声响起，指挥控制系统巨大的红色背光屏幕上闪现着“发射”一词，显示检测到了敌方导弹来袭。但是，彼得罗夫还不能确定警报的真实性。考虑到“奥科”是一个新系统，他担心这可能由于系统错误所致的虚警（false alarm）。因此，他选择了等待。
指挥控制系统显示又一枚导弹来袭，这是第二枚核导弹了。紧接着第三枚，又一枚，再一枚——系统显示一共五枚核导弹来袭。屏幕闪烁的“发射”（launch）字样已经自动切换成了“导弹袭击”（missile strike）。这意味着该系统已经显示了警报的最高置信级别。毋庸置疑，一轮核袭击正在到来。在敌方导弹到达莫斯科上方爆炸之前，苏联军事指挥部只有几分钟的时间来决定采取何种应对措施。
彼得罗夫有一种难以言喻的奇怪感觉，他不明白为什么美国只发射五枚核导弹，这不符合常理。真正的突袭应当是大规模的，以压倒性打击彻底摧毁苏联的地面导弹。因此，彼得罗夫不相信这次袭击是真实的。但是，他也无法断言这是一次虚警。
彼得罗夫一边盯着电脑屏幕，一边联系地面雷达操作员进行确认。如果这些导弹是真实存在的，那么一旦它们出现在地平线上，苏联的陆基雷达便会立即侦察到。令人困惑的是，地面雷达没有发现任何异样。
彼得罗夫只能推断袭击的真实性几率为50%，这个结果与猜一枚硬币正反面差不多。他需要更多的信息以及更多的时间。其实，他所要做的就是拿起电话，但产生的后果却可能是灾难性的。如果他告诉他的上级指挥机关发射核导弹报复敌方，将会致使数百万生灵涂炭，甚至引发第三次世界大战。
彼得罗夫凭借其胆气和直觉向他的上级报告，此次虚警是由于系统出现了故障。他的判断是对的，其实根本没有什么核导弹袭击，而是云顶反射的阳光导致了苏联卫星的错误警报。由于彼得罗夫处在作战指挥链条的“闭环内”（in the loop），因而将整个人类从潜在的世界末日中拯救了出来。
试想，倘若是一台机器处在彼得罗夫的位置，它会做出何种选择？答案很清楚：机器会自动完成程序所设定的任何行动，而不会考虑其行为所带来的后果。
20年后，时光流转到2004年春天，在另一个国度、另一场战争中，我在阿富汗的一座山顶上紧盯着狙击步枪的瞄准镜。我所在的狙击小队被派往阿富汗与巴基斯坦边境进行侦察，有情报显示塔利班武装分子可能沿着这里的路线向阿富汗境内渗透。我们连夜登山，背负着120磅重的背包行走在锯齿状的破碎地带上，脚步显得无比沉重。当东方的天空开始露出鱼肚白时，我们隐蔽到了一块突出的岩石后。这是目前为止我们所能找到的最好掩体，希望这个位置能使我们在天亮后不被发现。
然而，我们的设想落空了。当山下的村庄开始新的一天时，一位农民侦察到我们在岩石后晃动的踪影。我们被发现了。
当然，我们没有改变预定任务。我们继续观察，紧盯着山下小路上的一举一动。
不久，来了一位不速之客。
一个大约五六岁的小女孩走出村庄，身后跟着两只山羊，朝我们这个方向走来。表面上看她只是在放羊，但她行走的轨迹环绕我们周围，且她经常朝我们这里打量。不难猜测，她在帮助塔利班武装分子侦察。我们后来意识到，当她环绕我们所处位置时发出的声音——我们起初还把那种声音认为是她对山羊的呼哨声——事实上是她携带的无线电的调频声。她缓慢地绕着我们行走，一直在报告着我们的位置。我们注视着她，她也注视着我们。
小女孩刚一离开，塔利班武装分子就摸过来了。
我们发现了他们。他们在山上环绕了一圈，以为在我们的视野之外。随后，激烈交火的枪声引得整个村子的人跑出来远远地围观。枪声在谷底回响，也使得十几英里范围内人们知道了我们的存在。那些试图偷袭我们的塔利班武装分子，要么落荒而逃，要么被我们击毙。但是，可能会有更多的塔利班武装分子赶来。一群村民正在向我们涌来，且看起来并不友善。如果他们决定向我们开枪，我们将难以招架。
“沙瑞尔，”我的班长说，“呼叫请求撤离。”
我打开无线电台呼叫我们的快速反应部队：“我们是麦克-1-2-罗密欧（Mike-One-Two-Romeo，狙击小队代号），大量村民正向我们周围聚集，请求撤离。”今天的任务告一段落，我们立刻进行了重新编组，并在夜幕笼罩下转移到一个更好的新地点。
回到安全地点后，我们开始讨论，如果再次面对这种情况该如何处置。由于战争法并没有为参战人员设定一个明确的年龄标准，战场上的行为就决定了一个人是否能被视为战斗员。如果一个人参与了战斗行动——就像这个小女孩为敌人进行侦察那样——那么他/她就是合法的作战目标。杀死一个偶然发现我们位置的平民会被归结为战争罪，但杀死这个小女孩无疑合乎战争法。
当然，从道义而不是法律的角度而言，这应当是错误的。
在我们的讨论中，没有人被要求背诵战争法则或抽象的道德准则，也没有人被要求迎合同情心。在那种情况下，射杀一个孩子的恐怖念头在大家心里根本没有出现。即使不说出来，我们都知道射杀孩子的行为是错误的。战争往往迫使士兵们做出残酷而又艰难的选择，但射杀孩子不在其中。
一项任务的完成离不开背景因素分析。试想，如果一台机器处在我们的位置，它会做何选择呢？显然，如果它被编入杀死合法敌方战斗员的程序，它应会毫不犹豫地攻击那个小女孩。机器人是否能够理解虽然可以合法杀人，但其行为本身是错误的呢？
战争中生死攸关的抉择不可轻率，不管这个抉择是涉及数百万人的性命还是一个孩子的死活。一般而言，战争法则和交战规则为士兵在混乱战斗中面临抉择时提供了行动指南。任何情形下，作战人员都需要恰当的判断来做出真正正确的选择。
技术的发展使我们处于如何处理人类与战争关系的关键历史阶段。在未来的战争中，机器可能独自做出生死攸关的决定。各国军队正竞相在海洋、陆地和空中部署机器人，目前已有超过90个国家的无人飞机在天空巡逻。这些机器人越来越自主化，且许多已在部队列装。目前，它们仍在人类操控下工作。但是，当一架“捕食者”无人机与谷歌汽车拥有同样的自主性时，将会带来什么后果呢？我们该怎样赋予机器人以最终的生杀予夺决策权？
这种担忧已不再是科幻小说中的内容了。目前，已有超过30个国家拥有有人操控的防御性自主武器，这些武器可用于人类难以做出快速反应的作战场景。用于防御火箭和导弹饱和攻击的舰艇和基地的系统，目前仍然受到人类的监督。换言之，人类可在必要时对这些自主武器系统进行干预。然而，也有一些武器已经实现了完全自主，如以色列的“哈比无人机”（Harpy Drone）。 不同于受人类控制的“捕食者”无人机，“哈比无人机”可以在广阔的区域搜索敌方雷达。一旦发现，就可以在未经人类许可的情况下将其摧毁。目前，这种无人机已经出售给了其他国家，且中国已经通过逆向工程技术研发出本国款式。自主武器在未来出现更广泛扩散是完全可能的，而“哈比无人机”可能仅仅是一个开始。韩国已在与朝鲜接壤的非军事区部署了机器人哨兵枪（robotic sentry gun）。以色列已使用地面武装机器人在加沙边界地带巡逻。俄罗斯正在欧洲广大平原上建立一套可用于作战的地面武装机器人。目前，世界上已有16个国家拥有武装无人机，另有十多个甚至更多的国家正谋求公开研发这类武器系统。
当前这些情况只是新一轮科技发展趋势的冰山一角。人工智能（Artificial Intelligence，简称AI）的第三次浪潮，被一些人称为“下一次工业革命”(next industrial revolution)的关键驱动力。科技评论家凯文?凯利（Kevin Kelly）将人工智能与电力进行了类比，称“就像电力使我们周围的物体充满力量一样，人工智能也会通过智能化让它们变得更加活跃”。人工智能可以实现从仓库机器人到下一代无人机等更复杂和自动化的机器人，帮助人类处理大量数据，并为推特（Twitter）机器人提供决策支持，制定地铁维修计划，进行医疗诊断。在战争中，人工智能系统可以辅助人类进行战场决策，甚至可以被授权进行自主作战决策。
人工智能的快速发展将深刻改变战争形态。20世纪初，军队利用工业革命的成果，使坦克、飞机和机关枪等武器走上战场，释放出前所未有的巨大破坏力。至少在某些任务领域，机械化创造出了比人类更加强大和更为迅捷的机器。如今，人工智能革命正在实现机器的认知化，在完成特定领域的任务中创造出比人类更智能、更快速的机器。人们对人工智能在军事领域的应用前景深信不疑，比如提升军事后勤、网络防御和机器人用于医疗后送、再补给或监视等方面的能力。然而，人工智能军事化也带来了诸多问题和挑战。当今，自动化已经被用于武器的各项功能，但在大多数情况下，人类仍然掌握选择目标和扣动扳机的权力。这种情形还能维持多长时间？目前尚未可知。大多数国家都选择对本国自主武器发展计划缄口不言，但也有少数国家已表现出全力推进自主化武器的倾向。俄罗斯高级军事指挥官就设想，在不久的将来，俄罗斯将会建立一个“能够独立进行军事行动的完全机器人化的部队”。美国国防部官员也表示，部署完全自主武器的设想应当尽快提上日程。
让武装机器人自主决定猎杀目标，听起来像是反乌托邦人士的噩梦，但也有些人认为自主武器会使战争变得更加人道。这种观点认为，用于自动驾驶汽车避免行人伤亡的自动化技术，同样可以避免战争中的平民伤亡。此外，机器战士与人类战士不同，它们不会感到愤怒和仇恨，不会寻求报复，也从不感到疲倦。飞机自动驾驶仪显著提高了商业客机的安全性，拯救了无数的生命。那么，自主性能否在战争领域实现同样的效果呢？
像深度学习神经网络这样的新型人工智能技术，已经在视觉对象识别、人脸识别和感知人类情感方面取得惊人的进步。不难想象，未来的武器可能在区分持有步枪的人和握有耙子的人的能力上超越人类。然而，在理解语境和解释意义方面，计算机仍然远远落后于人类。今天的人工智能程序可以识别图像中的对象，却不能将这些零碎的拼图整合起来了解整个图像。
战争中的一些决定很简洁明了。大多时候，敌人很容易识别，攻击对象也很明确。然而，有一些决定——如同斯坦尼斯拉夫?彼得罗夫所面临的那样——需要理解更广泛的背景知识。有些情形——比如我们狙击小队所遇到的——需要进行道德判断。有时候，做正确的事情需要打破规则，因为合法的选择和正确的选择并非总是一致的。
如今，一个根本性问题摆在了人类的面前——机器是否应被允许在战争中做出生死攸关的决定？它是合法的吗？这样做是正确的吗？
自2008年以来，我一直参与一场有关“致命性自主武器”（lethal autonomy）的辩论。作为五角大楼国防部长办公室的文职政策分析员，我领导一个工作组负责起草美国政府自主性武器使用政策（剧透：并没有禁止自主武器的发展）。自2014年以来，我在华盛顿特区的新美国安全中心（the Center for a New American Security）——一个独立的两党智库——开展“自主性武器的伦理挑战项目”（Ethical Autonomy Project）的研究。在此期间，我遇到了学者、律师、伦理学家、心理学家、军备控制活动家、军事专家以及和平主义者等各领域专家，他们都在努力探索我所关注问题的解决之道。与此同时，我也接触到了政府的一些相关项目，结识了很多正在研发下一代军用机器人的工程师。
本书将带你开启一段旅程，在旅程中我将带你走进制造智能导弹的国防企业和研发最尖端无人蜂群技术的实验室，一起了解快速发展的下一代机器人武器。我将介绍推动制定自主武器政策的政府官员和为禁止自主武器而奔走的社会活动家。本书既回顾过去——包括做错的事情——又放眼未来，因为我遇到了人工智能领域前沿的研究人员。
本书将探讨这样一个核心问题——充斥着自主武器的未来世界将呈现出一种什么样的图景？目前，自动化股票交易已导致华尔街出现了“闪崩”（flash crashes）。那么，自主武器会导致“闪战”（flash war）的出现吗？诸如深度学习等新的人工智能技术能力异常强大，但通常也会导致系统成为事实上的“黑箱”，这意味着即便是“黑箱”的设计师也不能完全理解其行为。那么，先进的人工智能系统给我们带来的新挑战将会是什么？
目前，已有3000多名从事机器人和人工智能研究的专家在呼吁禁止攻击性自主武器，并有60多个非政府组织参与了“禁止杀人机器人运动”（the Campaign to Stop Killer Robots）。此外，斯蒂芬?霍金(Stephen Hawking)、埃隆?马斯克(Elon Musk)和苹果联合创始人史蒂夫?沃兹尼亚克（Steve Wozniak）等科技界名人也发表了反对自主武器的言论，警告各国推进自主武器研发的努力可能引发“全球人工智能军备竞赛”。
军备竞赛究竟是能被阻止，还是业已进行？如果它已经发生，它可以被叫停吗？从历史上看，人类在控制危险技术方面的尝试喜忧参半。从遥远的古代开始，人类试图禁止那些过于危险或不人道的武器的努力便一直存在。然而，其中的许多尝试都以失败告终，包括20世纪初关于禁止潜艇和飞机研发的努力。即使是像禁止化学武器这些已取得成功的例子，也很少能阻止巴沙尔?阿萨德（Bashar al-Assad）或萨达姆?侯赛因（Saddam Hussein）领导的政权获取这些武器。 倘若国际禁令无法阻止世界上最残暴的政权建立杀人机器人军队，那么我们有一天就可能会面临最为黑暗的噩梦。
目前，没有哪个国家明确表示它们正在研发自主武器，但在秘密的国防实验室和两用技术商业应用领域，人工智能技术正在加速发展。目前，人工智能的大多数应用中，包括武装机器人，人类操控员仍然拥有最终决策的控制权。然而，战场压力可能会促使各国军队研发和使用自主武器，并最终使其脱离人类控制的闭环。军队希望获得更强大的自主性武器系统，因为自主性的提升意味着可以利用计算机远超过人类的计算及反应速度，以及在人机通讯受阻时仍然能保持战场信息优势。或许仅仅出于对他国发展自主武器的担忧，各国军队就会争相研发和使用自主武器。美国国防部副部长鲍勃?沃克（Bob Work） 曾问道：“如果我们的竞争对手造出了‘终结者’，…，且其‘终结者’能够更快地自主决策，即使它们饱受诟病，我们将如何应对？”
美国参谋长联席会议副主席保罗?塞尔瓦（Paul Selva）将这种困境称为“终结者难题”（The Terminator Conundrum）。人工智能正在成为一项强大的技术，但与此同时它所带来的风险也是巨大的。用得好，智能机器可以通过使战争更加精确和人性化来挽救生命；用得不好，自主武器可能导致更多的杀戮和更大的平民伤亡。各国都不是在真空中做出选择。一国的行动将取决于其他国家的做法，以及科学家、工程师、律师、人权活动家和参与人工智能问题讨论的其他人士的集体选择。人工智能正在快速发展，并将越来越多地走向战场。但是，如何使用它仍是一个悬而未决的问题。正如电影《终结者》中抵抗机器人大军的人类领导者和英雄约翰?康纳(John Connor)所言：“未来尚未确定。不是天定命运，而是我们自己创造命运。”关于禁止自主武器的争论切中了人类与技术长期以来矛盾关系的一个核心问题：究竟是我们控制我们的创造物，还是我们被创造物所控制？
无人军队：自主武器与未来战争
作者：[美]保罗·沙瑞尔
译者：朱启超 王姝 龙坤
出版发行：世界知识出版社
出版时间：2019年6月
ISBN:978-7-5012-5902-1
| 留言与评论（共有 0 条评论） |
