阅读我们的Oppenheimer系列

作者Lucien Crowder|2017年12月5日

没有多少倡导军备控制的电影会在YouTube上获得数十万点击量。但并不是每一部提倡军备控制的电影都有“屠宰场”这样的标题。

设置很简单。StratoEnergetics公司的首席执行官走上舞台，向现场观众展示了该公司的最新产品：一款配备人脸识别技术、躲避能力和致命爆炸药的小型无人机。无人机在展示了一些技巧后，炸开了一个倒霉的人体模型的头骨。事情从此变得更加奇怪

这部电影的幕后推手是加州大学伯克利分校的计算机科学教授斯图尔特·拉塞尔。在这里，Russell查看了公告，解释了这部电影是如何制作的，我们与无人机启示录之间的差距有多小，以及在自动武器真正失控之前禁止自动武器的前景如何

LUCIEN 克劳德：屠宰机器人的视频做得非常好。这很令人不安，因为它显然是故意的。我不会把它给我10岁的儿子看。那个视频是怎么合成的

斯图尔特·拉塞尔：它始于我的一个想法。我们没有向公众和媒体，也没有向决策者——军方、国务院、外交官等等——传达我们对[自主武器]风险的看法。所以我想，如果我们制作一段视频，我们谈论的内容就会非常清楚

为了给你举一个误解程度的例子，我去参加了一个非常高级的国防部官员的会议。他板着脸告诉我们，他已经咨询了他的专家，不存在自动武器接管世界的风险，比如天网（《终结者》电影中失控的人工智能）。如果他真的不知道我们在说什么，那么可能其他人也不知道，所以我们认为一段视频会让事情变得非常清楚。我们试图展示的是自主武器自动转化为大规模杀伤性武器的特性，因为你可以随心所欲地发射

所以我写了一页关于我认为短视频会如何发展的处理。我碰巧遇到了一些有能力制作这部电影的人，我们交换了一些想法。最终，他们制作了一个剧本，并重申了这个剧本——我想说，我最初的治疗方式已经不多了。CEO演讲的创意完全来自制片公司。所以，一旦我们大致同意了剧本的外观，我们就从未来生命研究所获得了资金，然后我们就开始制作了

CROWDER：结果很好。正如你所知，以一种真正给人留下深刻印象的方式向公众传达风险可能非常非常困难，我认为这在一种很少有事情能做到的方式上取得了成功。“屠宰机器人”这个名字从哪里来？这很吸引人

RUSSELL：我们之所以四处寻找，是因为我们一直称它们为“无人机”，因为没有更好的词了——尽管我们知道无人机是一种遥控飞行器，当我们用“无人机“一词来指代自主武器时，它会让美国（政府和军队）非常不安。我想，美国人有充分的理由不希望他们的遥控无人机被卷入整个条约的讨论中。我们只是想了又想，我们想出了几十个不同的想法，一旦它们已经被广泛使用，我们可以称之为什么。我认为“屠宰机器人”来自制作团队，但它是我们想出的10或15个名字之一

CROWDER：我想你选对了。开场白中的屠宰机器人，认出并杀死人体模型的那个——是怎么做到的？我想这是一架遥控无人机，而不是一台人工智能设备——对吗

RUSSELL：它完全是计算机生成的

CROWDER：根本没有实体飞行器？嗯，这很现实

RUSSELL：不，他们做得很好。即使是坐在首席执行官手中的，也都是计算机生成的

CROWDER：天哪现在，你在视频的结尾说，它所描述的反乌托邦仍然是可以预防的。屠宰机器人技术包的哪一部分还不可用？我想这将是人工智能，因为它的其余部分看起来相对简单

RUSSELL：人工智能基本上也是可用的。我们知道该怎么做。这可能比制造自动驾驶汽车芯片更容易，部分原因是[屠宰机器人]的性能要求要低得多。屠宰机器人只需要90%的可靠性，甚至50%就可以了。因此，这项技术基本上是可行的。我认为制作出你在电影中看到的东西仍然需要很好的工程努力，但这不需要研究突破。那些说“哦，这一切都是几十年后的事”的人要么不知道自己在说什么，要么故意说一些他们不相信是真的话

我认为目前需要一个由博士生和博士后组成的优秀团队来整合软件的所有部分，并使其以实用的方式工作。但如果我想做一个一次性的——一架四旋翼飞机，它可以飞进一栋大楼，根据视觉人脸识别找到一个特定的人，并给他们一朵玫瑰或类似的东西——我想我们可以在几个月内做到。如果你想生产高质量、小型化、大规模生产和武器化的东西，你可能还想有规避机动，以及在必要时让其中许多人同时攻击个人的能力，诸如此类。因此，这将是更多的工作，但如果你想想像曼哈顿项目这样的战时坠机项目，我想（这将需要）不到两年的时间

CROWDER：好吧，听到这个消息不是很令人鼓舞

RUSSELL：这不是很令人鼓舞。[但认为一项关于自主武器的条约]完全没有意义是没有道理的——你通过该条约所能实现的只是把武器交到坏人手中，而不是好人手中

我们有一项化学武器条约。化学武器的技术含量极低。你可以在网上找到几乎所有化学武器的配方，制造它们并不复杂——但我们有《化学武器公约》的事实意味着没有人大规模生产化学武器。如果一个国家像叙利亚那样制造并使用少量武器，国际社会就会严厉打击。我认为化学武器条约是成功的，尽管坏人制造化学武器并不难。关键是你要让大量产品远离市场，这会产生巨大的影响。这类武器也是如此

CROWDER：在我看来，执行禁令相当简单反对国家军队手中的自主武器，但监管平民手中的屠宰机器人将是另一个问题——但我想你刚刚回答了这个问题

RUSSELL：随着时间的推移，非国家行为者制造自主武器将变得更加容易，至少是少量武器。但如果你的产量很小，你也可以自己试点。没有真正的理由让他们自主。就目前而言，人类飞行员将更有效，如果你只做几十个，你还不如有人类飞行员。因此，只有当你想扩大规模，达到数万人时，你才能使用人类飞行员，你必须让他们自主

CROWDER：我明白了。现在，私人手中的致命自主武器的一种方法难道不是在商用无人机中加入保障措施吗？我在斯德哥尔摩国际和平研究所的一份关于自主武器的报告中看到了这一点。该报告建议，您可以包括限制设备功能的硬件功能，或允许设备停用的软件。你认为那样做有效吗

RUSSELL：好吧，所有的计算机安全措施都可以被击败，但拥有它们仍然有用。例如，地理编码，这样（一台设备）就不能走出你购买的国家，这将是一件好事。因为你当然想防止他们被用来发动战争。而终止开关正是美国联邦航空管理局（Federal Aviation Administration）正在讨论的要求。我不知道他们是否真的这样做了，但他们正在讨论要求美国所有超过一定尺寸的无人机都这样做。与《化学武器公约》一样，你希望行业合作，因此（公司）将被要求核实客户的诚意，他们将被要求报告超过一定数量的订单，等等。

CROWDER：他们将被要求验证客户的身份

RUSSELL：[是的，就像化学公司一样——如果有人订购了500吨化学武器前体化学品，他们就不能直接把它运给他们。他们必须找出自己是谁

CROWDER：这是有道理的

RUSSELL：因此，从某种意义上说，[工业]是[化学武器公约]的缔约方，这对其成功非常重要。《生物武器公约》并非如此——事实上，一大弱点是缺乏核查和行业合作要求

CROWDER：我明白了。现在，视频中的首席执行官表示，这些设备几乎可以躲避任何对策，无法阻止。但在我看来，军事历史基本上是一个关于措施、反制措施和进一步反制措施的故事，武器最终会过时。你同意首席执行官的说法吗？还是你让他做了一些销售技巧

RUSSELL：当然，他会这么说，不是吗？但据我所知，目前还没有任何有效的应对措施。海军正在使用一种激光武器，可以一次击落一架固定翼无人机。它似乎必须是一架相当大的固定翼无人机，而且（激光）必须在相当长的一段时间内将能量集中在它身上，才能造成足够的伤害将其击落。但我怀疑这对非常大的蜂群是无效的。人们谈论电磁脉冲武器[作为对抗措施]，但我认为你可以加强设备来对抗它。然后我们进入了机密的东西，我对此一无所知。我知道（国防部）十多年来一直在努力制定有效的防御措施，但我不知道有什么

CROWDER：现在，如果你谈论的是两支军队，他们可以简单地部署无人机群来对抗对方——有点像微型空军——他们可以在空中进行战斗，这对我来说是难以置信的吗

RUSSELL：作为一种反群体防御

CROWDER：是的，或多或少。就像战斗机追逐轰炸机一样

RUSSELL：是的，我的意思是这是有可能的，但这意味着你必须在几乎所有可能被人攻击的地方预先放置它们

CROWDER：对

RUSSELL：当有人说“哦，是的，我们只会随身携带个人反群防御系统。”CROWDER：我并不特别想自己去做

RUSSELL：编号

CROWDER：现在，在视频的结尾，你提到人工智能有巨大的潜力造福人类，即使是在防御方面。我想知道你是否指的是一些人提出的观点，即机器人士兵在战斗中可能比人类表现得更好——可以说更合乎道德——因为他们缺乏情感。或者你在说别的什么

RUSSELL：不，我不是在说这个。我说的是人工智能可以帮助监视和分析情报数据。它可以帮助后勤规划、战术、战略和防御武器，即使是目前的反导防御系统也会使用这些武器。我的意思是，它们是人工智能的简单形式，但它们非常有效。【国防部】已经在其中许多领域使用人工智能很长一段时间了

有些人误以为我们的目标是在军队中[禁止]人工智能，甚至[禁止]AI，而我们并没有说这些话。我们只是说，一旦你把杀人的决定交给机器。就像谷歌可以在没有10亿员工的情况下为10亿客户提供服务一样——它是如何做到的？软件中有一个循环，上面写着“如果i=10亿到10亿，就去做吧。”如果你需要更多的硬件，你只需要购买更多的硬件。死亡也是如此。一旦你把杀人能力交给机器，你就可以随心所欲地死亡

CROWDER：这是一种生动的说法。上个月，《特定常规武器公约》通过一个政府专家小组就自主武器问题举行了首次会谈。我的印象是，他们基本上同意继续谈论这一问题，尽管不结盟运动成员站出来支持禁止自主武器。这大致准确吗

RUSSELL：是的，我认为是对的。有些人感到失望。我认为这取决于你当初有多乐观。我想有些人担心，各国可能只是在工作中制造麻烦，根本无法推进谈判。按照《特定常规武器公约》的运作方式，你需要每个人达成共识才能取得进展。因此，每个人都同意明年继续谈判，这是一个小小的胜利，当然，不结盟运动的声明是非常积极的。按照外交进程的正常安排，我认为我们可以说进展令人满意。人们希望，随着时间的推移，各国支持禁令或类似禁令的做法将越来越成为国际对话的准则。法国和德国实际上试图就他们所谓的政治宣言达成一致——不是一项条约，而是一种人们可以签署的原则声明，基本上说，必须对致命袭击进行有意义的人类控制。我不认为他们有太大的动力，但同样，他们的目标是避免吓跑一些不一定支持条约的国家，这样事情才能继续向前发展

CROWDER：你能说出哪些国家是制造麻烦的主要嫌疑人吗

RUSSELL：我想你现在不得不说，俄罗斯——基于他们所说的一些话。你会感觉到，他们并不真的希望这一进程向前发展，他们想要开发任何武器的权利感觉像在发展。当然，他们并不总是这么说。[他们说]，好吧，“我们想确保一项条约不会侵犯人工智能的和平使用，这可能对人类非常有益。”这当然是无稽之谈。我们有《生物武器条约》，但这并没有阻止我们为人类的利益进行生物学研究。[人工智能]专家们并不认为一项条约会对他们自己的研究构成威胁

CROWDER：好吧，那么，让我问最后一个问题。你如何看待一项禁止自主武器的条约的前景？或者，如果不是一项禁止条约，一项有效的国际文书将改善安全

RUSSELL：我想说，如果我是一个赌徒，我认为在未来十年内实施禁令的几率不到50/50。我可以看到比这更弱的东西，这可能相当于一种非正式的暂停，各国可以采用类似于美国在第3000.09号指令[国防部的政策声明，声明“自主和半自主武器系统的设计应允许指挥官和操作员对武力的使用行使适当水平的人类判断”]中已有的内容。还有建立信任的措施，比如相互通知新的武器系统等等。你可以采取一整套措施。我认为，我们可能会看到其中的一些，这可能足以让我们有时间为达成一项条约而努力。一项条约可能不是一项全面的禁令。这可能是部分禁令——例如，禁止杀伤人员武器。但它可能会在潜艇战或空战中实现自主性，因为大规模杀伤性武器的特性在潜艇战和空战中并不那么适用

主题：分析、人工智能、颠覆性技术，技术和安全