开发技术解决方案以帮助军队决策过程的愿望并不新鲜。然而，最近，我们看到军队在决策过程中纳入了越来越复杂的基于人工智能的决策支持系统（AI DSS），包括使用武力的决定。这一发展的新颖之处在于，这些人工智能DSS功能的过程挑战了人类在军事决策过程中进行判断的能力。这种对人类判断力的潜在侵蚀带来了若干法律、人道主义和伦理挑战和风险，特别是在对人们的生活、尊严和社区产生重大影响的军事决策方面。鉴于这一事态发展，我们必须紧急而认真地讨论如何使用这些系统及其对受武装冲突影响的人的影响。

通过这篇文章，红十字国际委员会（ICRC）法律顾问周和日内瓦国际人道主义法与人权学院研究员Anna Rosalie Greipl推出了一个关于军事决策中的人工智能（AI）的新系列。为了开始讨论，他们概述了一些挑战和风险，以及在使用武力的法律决定中使用人工智能决策支持系统来维护人类判断的潜力。他们还就这些决策过程中人工智能决策支持系统的设计和使用提出了一些措施和限制，这些措施和限制可以为当前和未来关于军事人工智能治理的辩论提供信息，以确保遵守国际人道主义法，并支持减轻对受这些决定影响的人的伤害风险

创造能够帮助人类决策的技术解决方案的冲动并不新鲜。然而，随着DSS的发展，特别是通过整合强大的人工智能技术，如机器学习，我们见证了各种技术先进的军事力量如何开始在广泛的任务和许多不同级别的指挥中追求和利用这种军事能力：从军事战略建议到有关人员部署或武器运输的后勤决策

最近，支持使用武力决策的基于机器学习（ML）的DSS正成为人工智能日益突出的军事应用。这些计算机化工具提供复杂的评估和细致的输出（即分析、建议和预测），以帮助人类做出复杂的决策，例如攻击谁或什么，以及在哪里、何时和如何攻击。使用预定的特征和自学习模式，这些类型的AI DSS可以突出显示某些数据点，并在没有人为干预的情况下对特征进行优先级排序和选择。因此，它们可能会对使用武力的决定产生重大影响，包括做出此类决定的过程和可能产生的后果

人工智能决策支持系统经常被军方称为加快和增强决策周期的关键使能技术，被吹捧为提供了关键的军事利益，促进了人类决策者遵守国际人道主义法的能力，并最大限度地降低了平民的风险

然而，必须仔细考虑这些人工智能决策支持系统是如何运作的，人类如何与它们的输出进行交互，以及它们适合执行什么任务，因为诉诸这些技术的人力成本将受到这些因素的严重影响。重要的是，人工智能决策支持系统无法改进不符合国际人道主义法的瞄准方法和政策。在这样的框架内实施AI DSS可能只会加剧非法或有害的影响，更快、更广泛地复制和部署它们

在国际人道主义法中维护人类的判断

根据国际人道主义法律，武装冲突各方——最终是人类——有责任遵守国际人道法，必须对违反行为负责。因此，在法律裁决中，必须由人类进行判断，例如判断攻击的合法性。当然，这并不意味着负责计划、决定或执行攻击的人不能使用技术支持或计算机分析，如人工智能DSS，来为他们使用武力的决定提供信息。例如，正如今天常见的那样，军队可能考虑AI DSS的输出，以支持个人和物体的识别、武器工程或附带损害估计。结果是：在法律强制的决策中——比如一个物体或一个人是否可以被合法地作为目标——这些系统的输出可以通知，但不能取代人类的判断

军事决策中的人工智能决策支持系统：促进遵守国际人道主义法的风险还是潜力

将人工智能纳入武装冲突中使用武力的军事决策支持系统，为非人工智能决策支持系统的现有挑战增添了新的维度

事实上，应用人工智能决策支持系统（尤其是基于机器学习的决策支持系统）会因各种原因对人类决策产生负面影响。有证据表明，使用这些系统会增加出现意外错误的可能性，并延续和传播有问题的偏见，特别是对特定年龄、性别或种族的个人或群体，或残疾人的偏见。当许多人工智能决策支持系统在一个过程中建立在军事决策的基础上并对其做出贡献时，单个人工智能决策系统错误可能会在规划和决策过程中复合或级联

基于机器学习的DSS的使用也使得人类用户更难识别错误的输出，因为人类越来越难以理解系统如何以及为什么生成某种分析、推荐或预测。人类过度依赖AI DSS输出的倾向（所谓的自动化偏见）放大了这一趋势，这在高压情况下尤其严重，例如关于使用武力的军事决策，决策者只有有限的时间来评估、交叉检查或质疑AI DSS输出。军事行动的节奏越来越快，以及使用人工智能决策支持系统进行更快决策的驱动力正在加剧这一问题。这在现实世界中的含义可能是，有人根据人工智能决策支持系统的输出计划、决定或发起攻击，而不是实际评估攻击的合法性——本质上就像一个人的橡皮图章

此外，AI DSS的技术特性使其不适用于所有任务和环境。当给出明确的目标时，人工智能表现良好，这些目标可以转化为数学问题，例如决定部署哪种类型的武器或在哪里部署部队和武器。然而，国际人道主义法要求的背景和定性评估不太可能为人工智能决策支持系统提供明确的目标，因为它们极其复杂，无法转换为数学公式或数值。高质量和有代表性的培训数据的可用性是确保AI DSS使用充分性和实用性的另一个不可或缺的因素。然而，武装冲突的特点是不确定性和不稳定性，加上对手试图相互欺骗，所有这些都使得很难获得具有代表性、可转移的数据

因此，人工智能决策支持系统的使用有可能阻碍在武装冲突中使用武力的军事决策中涉及的人类判断，从而引发新的人道主义、法律和伦理问题。这就是为什么为了确保人工智能DSS支持而不是阻碍军事决策，并协助确保遵守国际人道主义法，冲突各方必须仔细评估其对特定任务和背景的适用性

一项关键措施是将AI-DSS纳入对包含AI-DSS工具的武器系统的法律审查，或者这些工具是武器系统设计或预期使用方式的一部分。更广泛地说，各国应考虑对所有构成武装冲突中使用武力军事决定一部分的人工智能DSS进行法律审查，至少作为一项政策或良好做法。在这样做的时候，军队必须考虑到人工智能决策支持系统的技术特征、人类用户与他们互动的趋势，以及军事决策者加快决策速度的压力

与此同时，谨慎和负责任地使用人工智能决策支持系统可以促进更快、更全面的信息分析，从而支持决策，增强对国际人道主义法的遵守，并最大限度地降低平民的风险。例如，使用人工智能决策支持系统可以帮助从在线开源存储库中收集和综合有关平民和民用物体存在的信息，或通过推荐最能避免或至少最大限度地减少附带平民伤害的攻击手段和方法来支持武器化。任何此类工具的效率都取决于能否获得高质量的数据。然而，目前尚不清楚军队是否在所需数据集的建设和维护方面进行了足够的投资，尤其是当涉及到基于ML的DSS时

但除了AI DSS作为目标决策周期的一部分支持减轻平民伤害的潜力外，军队还应考虑优先投资于AI DSS的开发和使用，特别是为了加强对平民的保护——目前这在很大程度上是一个空白。这可能包括人工智能DSS支持专业工程师建议军事小组不仅绘制基础设施的位置，还要绘制其连接图，并识别表明保护状态的独特标志和信号，以减少袭击可能对平民及其生计产生的潜在影响。最终，这些措施对于加强遵守国际人道主义法义务至关重要，即不断注意保护平民，并在袭击中采取一切可行的预防措施

前进之路

鉴于这些风险和挑战，可能有必要对在军事决策中使用人工智能决策支持系统采取进一步的措施和限制，特别是在可能造成人员伤亡或物体损坏的情况下，更广泛地说，在决策受国际人道主义法管辖的情况下

我们最近发表的报告（一份专家咨询报告和一份红十字国际委员会委托的顾问报告）提出了其中一些措施和制约因素。值得注意的是，在武装冲突中使用武力的军事决策中保持人类的判断可能需要采取新的方法来应对人类与人工智能决策支持系统之间相互作用带来的现有挑战，以及与使用人工智能决策支持系统有关的技术要求。一些方法可能有助于解决现有的技术挑战（例如可预测性、可理解性和偏见），而另一些方法可能帮助提高人类决策者批判性地参与和使用AI DSS输出的能力（例如减轻自动化偏见）

例如，AI DSS的设计和使用需要允许人类用户理解和质疑系统的输出。这可以通过使人类用户能够将人工智能决策支持系统的输出与来自另一个来源的数据进行交叉检查来实现，并确保用户保留足够的时间和空间来批判性地参与系统输出，以维护人类在决定敌对行为时的判断和审议。还可能需要某些约束，例如将AI DSS的使用限制在某些明确定义的任务和/或某些上下文中

此外，鉴于军事上对将机器学习纳入决策支持系统的兴趣日益浓厚，在将这些系统用于规定性任务（如推荐行动方案）或进行预测（如预测某些个人或团体的行动带来的风险）时，需要特别谨慎。根据人工智能DSS输出的训练数据，在使用武力的军事决策中使用此类建议或预测的合法性可能会受到质疑

AI DSS的一些使用也可能被完全排除。一个明显的例子是，这些工具绝不能被纳入核武器指挥和控制系统。由于其特别不可预测的性质，限制使用具有持续学习功能的AI DSS也可能是必要的

我们希望这些建议和考虑能够为国际和国家层面关于人工智能在武装冲突中的军事应用的国际法和政策的应用和可能的进一步发展的辩论提供信息

近年来，关于人工智能军事应用的国际治理的多利益相关方讨论发生了重大变化，特别是在军事领域负责任的人工智能（REAIM）峰会上（2023年2月在海牙举行的首次会议，以及即将于2024年9月在首尔举行的第二次会议）。也就是说，自十年前以来，《特定常规武器公约》致命自主武器系统政府专家组以及最近的联合国大会（第78/241号决议）都提到了在武器系统中使用人工智能和机器学习的问题。一些国家和军队最近制定了人工智能原则和政策来管理军事应用，包括美国的《关于负责任地使用人工智能和自主性的政治宣言》、中国的《全球人工智能治理倡议》、法国国防部的《人工智能支持国防报告》、英国的《国防人工智能战略》、日本国防部关于促进使用人工智能的基本政策和北约的《人工智慧战略》

我们认为，所有这些以及未来的任何努力都应有助于确保人工智能DSS，包括基于机器学习的DSS，仍然是一种手段有助于和支持，而不是阻碍或取代人类在军事决策中的地位。在对受武装冲突影响的人的生命和尊严构成风险的决定中保持人类判断，对于维护道德价值观和确保尊重包括国际人道主义法在内的适用法律至关重要

*****

在此背景下，我们很高兴推出一个关于“军事决策中的人工智能”的新博客系列，我们希望通过这个系列为人们对人工智能在军事决策中使用的日益关注和讨论做出贡献，特别是为了更好地理解在瞄准过程和使用武力的决定中使用的人工智能/机器学习DSS的军事用途及其相关的人道主义和法律影响

考虑到这些系统在军事上使用的多方面挑战、风险和潜力，必须包括法律、伦理、政策和技术专家的声音。因此，本系列汇集了一个多元化和跨学科的专家组，就人工智能在军事决策中的应用所带来的机遇、挑战和风险的讨论提出了他们的想法和见解

关于人工智能在军事决策中带来的无数危险和挑战的讨论和反思肯定不会就此结束，而是将在未来几个月和几年内继续进行。我们希望读者能喜欢阅读这个系列，并受到启发，及时进行批判性反思

另见：

• Ingvild Bode，《雷达之下：人工智能的算法偏差和军事应用问题》，2024年3月14日
• Ruben Stewart&；Georgia Hinds，战争算法：人工智能在武装冲突决策中的应用，2023年10月24日
• Fiona·特里&；Fabien Dany，利用人工智能的力量揭示暴力模式，2023年5月25日
• Christopher Chen，未来就是现在：人工智能和预期的人道主义行动，2021年8月19日