阅读我们的Oppenheimer系列

作者：Zachary Kallenborn|2021年5月20日

<源尺寸=（最大宽度：1024px）100vw，1024px srcset=https://thebulletin.org/wp-content/uploads/2021/05/screenshot-kurgu-1024x576.jpg.webp1024w，https://thebulletin.org/wp-content/uploads/2021/05/screenshot-kurgu-300x169.jpg.webp300w，https://thebulletin.org/wp-content/uploads/2021/05/screenshot-kurgu-768x432.jpg.webp768w，https://thebulletin.org/wp-content/uploads/2021/05/screenshot-kurgu-1536x864.jpg.webp1536w，https://thebulletin.org/wp-content/uploads/2021/05/screenshot-kurgu-410x230.jpg.webp410w，https://thebulletin.org/wp-content/uploads/2021/05/screenshot-kurgu-600x338.jpg.webp600w，https://thebulletin.org/wp-content/uploads/2021/05/screenshot-kurgu.jpg.webp1920w type=images/webp>Kargu无人机的宣传视频截图。在视频中，武器在爆炸前冲向目标

根据联合国利比亚问题专家小组最近的一份报告，去年在利比亚，土耳其制造的自主武器STM Kargu-2无人机可能“追捕并远程交战”了忠于利比亚将军哈利法·哈夫塔尔的撤退士兵。在这一年中，联合国承认的民族和解政府将将军的部队从首都的黎波里击退，这表明它在利比亚冲突中占据了上风，但Kargu-2意味着可能更具全球意义的东西：自主武器的新篇章，它们被用来基于人工智能对抗和杀害人类

Kargu是一种“游荡”无人机，可以使用基于机器学习的对象分类来选择和攻击目标，并在开发中具有群集能力，可以让20架无人机协同工作。联合国的报告称Kargu-2是一种致命的自主武器。该武器的制造商STM在一段冷酷的视频中宣传该武器的“杀伤人员”能力，视频显示一名Kargu模型向一群人体模型中间的目标急剧俯冲。（如果有人在自主攻击中丧生，这可能是历史上第一例已知的基于人工智能的自主武器被用来杀人的案例。联合国的报告严重暗示了这一点，指出致命的自主武器系统导致了有人驾驶的Pantsir S-1地对空导弹系统的重大伤亡，但没有明确说明此事。）。)

包括史蒂文·霍金和埃隆·马斯克在内的许多人表示，他们希望禁止这类武器，称他们无法区分平民和士兵，而其他人则表示，它们在应对无人机群等快节奏威胁方面至关重要，实际上可能会降低平民的风险，因为它们比人类制导武器系统犯的错误更少。联合国各国政府正在讨论是否需要对自主武器的作战使用进行新的限制。然而，国际社会还没有充分做到的是建立一个共同的风险图景。权衡风险与收益的权衡将取决于个人、组织和国家价值观，但确定风险所在应该是客观的

这只是一个统计问题

在最高级别上，风险是错误的概率和后果的乘积。任何给定的自主武器都有可能出错，但这些错误可能会产生广泛的后果。风险最高的自主武器是那些有很高概率出错并在出错时杀死很多人的武器。误射.357马格南是一回事；意外引爆W88核弹头是另一回事

对于了解自主武器的风险所在，至少有九个问题很重要

自主武器如何决定杀死谁地雷——在某种意义上是一种极其简单的自主武器——使用压力传感器来确定何时爆炸。点火阈值可以多种多样，以确保地雷在儿童捡起时不会爆炸。像以色列哈皮这样的游荡性弹药通常会探测到敌人的雷达信号并将其锁定。与地雷一样，可以调整灵敏度，将民用雷达与军用雷达分离。谢天谢地，孩子们不会发射高功率的无线电波

但引起国际关注的是Kargu-2中使用的基于机器学习的决策。这些类型的武器使用基于软件的算法，通过大型训练数据集“教授”，例如对各种物体进行分类。计算机视觉程序可以被训练来识别校车、拖拉机和坦克。但他们训练的数据集可能不够复杂或稳健，人工智能可能会“吸取”错误的教训。在一个案例中，一家公司正在考虑使用人工智能来做出招聘决定，直到管理层确定计算机系统认为求职者最重要的资格是被任命为贾里德和打高中长曲棍球。如果一个自主武器犯了类似的错误，结果一点也不滑稽。自主武器开发人员需要预测可能导致机器学习系统做出错误决策的复杂性。机器学习的黑匣子性质，即系统如何做出决策往往是不透明的，这增加了额外的挑战

人类扮演什么角色人类可能会注意到出了什么问题。在人在环配置中，士兵监测自主武器活动，如果情况似乎朝着可怕的方向发展，可以做出纠正。正如Kargu-2的使用报告所表明的那样，一个人类脱离回路的系统只是在没有安全保障的情况下完成它的任务。但是，让一名士兵参与循环并不是万能的。士兵可能会信任这台机器，而不能充分监控它的运行。例如，杜克大学人类与自主实验室主任米西·卡明斯发现，当涉及到自动驾驶汽车时，“认为自己的汽车比实际能力更强的驾驶员可能更容易受到干扰，因此发生车祸的风险更高。”，根据情况在循环中、循环中或循环外。据报道，韩国在与朝鲜的非军事区部署了一种名为SGR a-1的哨兵武器。风险的变化取决于完全自主功能的开启方式和时间。默认情况下的自主操作显然比仅限于狭窄环境的自主操作产生了更多的风险

自主武器的有效载荷是多少意外射杀某人是可怕的，但远没有意外引爆核弹头那么可怕。前者可能会让无辜者付出生命代价，但后者可能会导致数十万人死亡。决策者可能会关注更大的武器，认识到错误的代价，从而潜在地降低自主武器的风险。然而，自主武器的确切有效载荷尚不清楚。理论上，自主武器可以配备枪支、炸弹、导弹、电子战干扰器、激光、微波武器、网络攻击计算机、化学武器制剂、生物武器制剂、核武器以及介于两者之间的一切

武器的目标是什么无论自主武器是射击坦克、海军驱逐舰还是人类。当前基于机器学习的系统无法有效区分农民和士兵。农民可能会拿着步枪保卫他们的土地，而士兵可能会用耙子推倒炮塔。但是，即使对车辆进行充分的分类也很困难，因为各种因素可能会阻碍准确的决策。例如，在一项研究中，遮挡公交车的车轮和半个前车窗导致基于机器学习的系统将公交车归类为自行车。在开放的环境中，坦克的大炮可能很容易与校车区分开来，但如果树木或建筑物遮挡了坦克的关键部件，比如大炮本身，就不会了

目前正在使用多少种自主武器更多的自主武器意味着更多的失败机会。这是基本概率。但是，当自主武器进行通信和协调行动时，比如在无人机群中，出现问题的风险会增加。通信会产生级联错误的风险，其中一个单元的错误会与另一个单元共享。集体决策也会产生突发错误的风险，在这种风险中，正确的解释加起来就是集体错误。为了说明突然出现的错误，可以考虑盲人和大象的寓言。三个盲人听说一头奇怪的动物，一头大象，被带到了城里。一个人摸了摸象鼻，说大象像蛇一样粗。另一个摸了摸腿，说它就像一根柱子。第三个人摸了摸大象的侧面，把它描述成一堵墙。每个人都准确地感知物理现实，即使不完全，但他们对该现实的个人和集体解释是不正确的。无人机群会断定大象是大象、蛇、柱子、墙还是其他什么东西吗

自主武器在哪里使用一辆武装的自动地面车在冰雪覆盖的南极冰川上徘徊，几乎没有机会杀死无辜的人。那里没有多少生命，环境大多贫瘠，几乎没有什么东西可以阻挡或混淆车辆的车载传感器。但同一辆车在纽约市或东京的街道上徘徊则是另一回事。在城市中，人工智能系统将面临许多错误的机会：树木、标志、汽车、建筑物和人都可能干扰正确的目标评估

海基自主武器可能不太容易出错，因为它可能比校车和装甲运兵车更容易区分军用和民用船只，障碍物更少。就连天气也很重要。最近的一项研究发现，大雾天气使用于检测道路障碍物的人工智能系统的准确率从晴朗天气的92%降低到58%。当然，恶劣的天气也可能阻碍人类进行有效的目标分类，因此一个重要的问题是人工智能分类与人类分类相比如何

该武器的测试情况如何在将士兵和更广泛的战略目标置于危险之中之前，任何专业的军队都会验证和测试自主武器是否按预期工作。然而，军方可能不会测试所有可能混淆自主武器的复杂性，尤其是在这些复杂性未知的情况下。测试还将基于预期用途和操作环境，这些可能会随着战略格局的变化而变化。在一种环境中经过严格测试的自主武器在另一种环境下使用时可能会发生故障。西雅图的雾天比利雅得多，但沙尘暴要少得多

对手是如何适应的在涉及自主武器的战斗中，对手会试图混淆行动，这可能不是很困难。世界领先的人工智能公司OpenAI开发了一个系统，可以将苹果归类为史密斯奶奶，置信度为85.6%。然而，在苹果上贴上一张写着“iPod”的纸，机器视觉系统得出的结论是，99.7%的人相信苹果是iPod。在一个案例中，人工智能研究人员改变了图像上的一个像素，导致机器视觉系统将隐形轰炸机归类为狗。在战争中，对手可以在坦克上画“校车”，或者更恶毒地在校车上画“坦克”，并可能愚弄自动武器

自主武器的可用范围有多广国家和非国家行为者的风险承受能力自然会因其战略、文化、目标以及对道德权衡的整体敏感性而有所不同。获得和使用自主武器越容易，国际社会就越能指望这些武器被世界末日恐怖组织、邪恶政权和对错误风险完全不敏感的团体使用。正如加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔（Stuart Russell）喜欢指出的那样：“有三名优秀的研究生，可能还有我的几个机器人同事的帮助，制造一种武器将是一个学期的项目，它可以进入联合国大楼，找到俄罗斯大使并向他交付包裹。”幸运的是，组织、基础设施和资源的可用性将限制自主武器的先进程度。没有一个独狼恐怖分子会在他的车库里制造一架自动F-35

自主武器风险是复杂的、可变的和多维度的——使用什么、在哪里、何时、为什么以及如何使用都很重要。高风险的一端是自主核武器，以及在城市密集的环境中使用协作、自主的蜂群杀死敌方步兵；低端是自主可选武器，在无人区用作防御武器，只有在死亡迫在眉睫时才使用。国家在哪里划定界限取决于其军队和社会如何平衡错误风险与军事必要性。但要划清界限，就需要对风险所在有一个共同的理解

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：利比亚，土耳其，无人机，致命的自主武器
主题：分析