人工智能武器是人工智能技术在军事领域的应用形态之一,存在对人类生命造成直接威胁的可能性。众多国际组织和国家机关非常重视人工智能武器的法律规制问题,并通过发表立场文件和组织专家讨论的方式对该问题进行了相关分析,提出了以加强人类控制为核心的规制方向。本文通过界定人工智能武器的应用范围,探究现行法律框架下对人工智能武器的规制现状,提出现行人道法体系下使用人工智能武器的合法性判断方式,旨在从国际人道法的具体规则与解释适用层面,系统审视人工智能武器(特指致命性自主武器系统)带来的法律挑战,并细化了人道法关于人工智能武器的规制。

人工智能武器的初步认识

根据经济合作与发展组织2023年的定义,人工智能系统是一个基于机器的系统,针对显式或隐式目标,能从接收的输入中推断并生成可能影响物理或虚拟环境的预测、内容、建议或决策等输出。

人工智能武器的概念内涵。关于人工智能武器的定义,国际上存在着不同的观点,有的着眼于短语本身的文义,有的则聚焦于对其开展规范的目的。作为人工智能武器的一种,自主武器系统在2016年4月红十字国际委员会提交的《特定常规武器公约》和致命自主武器系统专家会议的报告中,被定义为“任何在关键功能中具有自主性的武器系统,即能在无人干预的情况下选择和攻击目标的武器系统”。美国防部在2023年更新的指令中,将自主武器系统定义为“一种一旦被激活、可在没有人为参与的情况下自主选择和攻击目标的武器系统,包括但不限于需操作人员监督的自主武器系统”。中国在2022年提交联合国裁军事务厅的《中国关于“致命性自主武器系统”问题的工作文件》中,将自主武器系统的讨论范围进一步聚焦到致命性武器系统层面。在此基础上,也有学者建议将“致命性武器系统”定义为能够适应环境变化,并在观察和参与状态之间灵活切换的机器,这类机器无需人工干预即可自主识别、选择和动态攻击目标。

2021年12月,红十字国际委员会主席在《特定常规武器公约》第六次审议大会发言

综上,本文讨论的人工智能武器限于“任何在关键功能中具有自主性的致命性武器系统”。

人工智能武器的典型特征。人工智能武器的典型特征包括自主性与智能性。自主性可从自主程度、关键自主功能和人机关系三个维度理解和把握。自主程度是对人工智能武器根据环境数据自行处理、判断并输出决策能力的评价。关于关键自主功能则有不同观点:红十字国际委员会认为关键自主功能包括选择目标和攻击目标两类功能;也有部分观点认为关键自主功能应当仅包括与攻击直接相关的功能。本文则认为,鉴于人工智能对人类决策可能产生显著干预的作用,将“选择目标”功能也纳入关键自主功能的范畴更为合理。在对人工智能武器本身的探讨中,致命性并非核心特征,但从人道法所保护的生命权视角出发,任何可能危及人类生命的武器都具备讨论的价值。因此,本文将“致命性”也视为文中所定义的人工智能武器的特征之一。

人工智能武器的主要类型。人工智能武器能够通过其不同发展阶段的自主性程度进行分类。在美国防部的政策文件中,将人工智能武器按自主性程度可分为三类:无需人类干预的自主武器系统、人类监督之下的自主武器系统、需要人类干预的半自主武器系统。美国国家标准与技术研究院下设的无人系统自主等级框架工作组,进一步根据自主性程度的高低将人工智能武器分为10档,将完全由人工控制的无自主性武器、无需人类干预的完全自主武器,及自主性介于二者之间的自主武器系统均纳入该衡量标准。

美国国家标准与技术研究院无人系统自主等级框架工作组负责人工智能自主能力的相关评估

人工智能武器的典型应用。人工智能武器可从多维度划分应用类型,从用途上可分为进攻型武器和防御型武器;从机动性上可分为具备机动能力的武器和不具备机动能力的武器;从针对对象上可分为反人员武器和反物质武器;从法益侵害的角度来看,不同类型的人工智能武器都存在威胁人类生命的潜在风险。与其他具有客观危险性的物品不同,人工智能武器因关键功能具备自主性,其行为链条更加复杂,导致法律归责难度更大。

人道法相关原则在人工智能

武器领域面临的挑战

根据目前相关技术的发展,人工智能武器距离具备完全自主性,达到可以进行“法律主体”地位的讨论还相差甚远。因此,现行人道法对人工智能武器的规制只能被解释为对人工智能武器使用者的行为进行规制。

马尔顿原则。马尔顿原则是人道法中的重要原则,宣告了“即使在国际人道法未涵盖的情况下,平民和战斗人员也将继续受到国际法原则的保护和指导,这些原则源于文明国家的习惯做法、人道原则和公众良知的要求”。这为国际人道法中可能悬而未决的问题制定了原则,并强调了人权的地位。对于人工智能武器的运用,马尔顿原则预见性地将其纳入“习惯规则”和自然法原则的规范范畴。尽管难以提供具体可行的规范,但该原则引入了道德规范作为评价作战手段的标准。从国际司法实践来看,马尔顿原则的核心是基本的人道考虑,其保护法益是公民的生命权和公众良知,即人类的生命不被“任意”剥夺。战争中剥夺战斗人员的生命不属于任意剥夺,但未经审慎、理智思考而剥夺他人生命,则不符合人道法原则。根据联合国国际法院1966年关于以核武器相威胁或使用核武器是否合法的咨询意见,法院认为“对马尔顿原则的继续存在和适用没有任何疑问”,而公民的生命权始终是符合公众良知的基本权利,因此无论对于核武器还是对于人工智能武器,抑或是其他任何一种新型武器的使用,马尔顿原则都能够作为规范持续适用。

联合国国际法院标志

区分原则。区分原则的核心在于区分战斗人员与平民、军用目标与民用目标,主要包括针对人员和地点的限制。首先是针对人员的限制。根据区分原则,军事行动只能针对冲突各方的军事目标,若目标的身份难以确定,必须首先假定其为平民或用于民事目的。对人工智能而言,其对事物性质的判断依赖于大数据训练和人类对事物性质判断经验的积累,其判断的正确性标准源于该判断是否符合人类预设的“标准答案”。因此,为保障人类生命权,应当由人类对人工智能武器所针对的对象性质作最终判断,但这并不意味着人工智能无法参与目标判断过程。除了直觉这种难以被量化的主观因素,人类判断对方是否为战斗人员的方法还包括观察对方是否身着制服、公开携带武器等。这种判断方式也可由人工智能完成,后经人类确认后,方可作为武器打击的目标。其次是针对地点的限制。民用目标与军事目标的区分采用排除式和列举式相结合的方法,判别难度相对较高。从人工智能的判断逻辑来看,需先排除明确列举的民用目标,再通过多项指标确认军事目标,剩余未明确的目标则应视为民用目标。在使用人工智能武器时,需要大量数据的输入保证区分结果的精确性,同时也需要覆盖从目标锁定到攻击完成全过程的人类监督机制,避免出现“机器定夺人类生命”的伦理困境。但当前面临的核心问题在于,难以查证输入数据的质量和数量能否使人工智能武器符合国际人道法的要求,且对于人类监督是否充分也存在法律标准上的争议。

比例原则。如果说区分原则体现的是针对人员和地点的限制,那么比例原则则是针对条件的限制。比例原则要求作战行为的选择与实施必须具有目的性、必要性和比例性。战争的目的是摧毁或削弱对手的军事力量,交战方造成的损害应与这一目的的要求成比例,即“禁止使用任何可引起过分伤害或不必要痛苦的武器和作战方式”。人工智能武器的使用同样需恪守这一原则。此外,比例原则还包括“尊重、保护和人道地对待那些参加战争或不直接参加敌对行动的人”和“冲突各方选择战争方法和手段的权利不是无限的”等内容。具体表现为禁止将“使平民挨饿”作为战争手段,以及禁止背信弃义的作战行为。对于人类而言,失误是不可避免的,因人类战斗人员的疏忽而导致的偶然、非必要的损害,如果不违背马尔顿原则中的任意剥夺他人生命,也并非在作战方式和应用武器上欠缺对比例的考量,那么就可以认为这并不是对比例原则的违反。但无论人类操作者或监督者是否存在疏忽,由于攻击从发起到造成损害的过程仅受编程者和决策者意图的支配,即从作战方式上就存在超比例损害的风险。因此,一旦最终造成超比例损害,大概率就构成对比例原则的突破。

预防原则。无论是区分原则还是比例原则,都包含了对决策阶段战争行为后果的预判,因而需要遵循预防原则的要求。预防原则要求实施战争行为的主体在选取打击目标和战争手段时,始终注意攻击的对象是否合法以及造成的损害是否成比例。为遵守比例原则,人工智能系统需要判断的核心问题是损失和收益是否成正比。但问题在于,机器认为的“损失”和“收益”在概念内涵上是否与人类完全一致?即便人工智能能够通过人类设定的认知方式和思维流程得出与人类部分相同的结论,但能否就此认为该结论可以代表人类的想法呢?例如,人类的道德认知从本质上就是主观的,即便设置了相对统一的标准,不同个体的判断仍然体现出个体差异化,这种差异正是人类伦理的重要组成部分。因此,机器的判断无论在事实上还是伦理上都难以替代人类判断。

人工智能武器使用的

合法性判断

作为一种作战手段,人工智能武器的使用与其他作战手段一样受现行国际人道法的规制。然而,作为一种特殊的作战手段,人工智能武器能够引发“失去对使用武力的控制”和“人类的生命交由机器定夺”的道德风险,其自主性、智能性的特点也将导致法律归责上的模糊。因此,初步从以下几个方面对人工智能武器使用的合法性判断展开讨论。

人工智能武器的攻击对象。红十字国际委员会建议各国为自主武器系统确立国际限制标准,禁止使用自主武器系统攻击人类;对于未被禁止的自主武器系统,其设计和使用均应受到规制。本文认为,禁止使用人工智能武器攻击人类的做法过于“一刀切”,且在当前各大国高度关注人工智能武器的研发和使用的形势下难以实现。如果说这一禁令的目的是避免不必要的人类伤亡,那么应当严格遵守比例原则,杜绝一切不符合战争目的的行为,而非仅仅对使用人工智能武器这一作战手段进行限制。至于对“失去武力控制”和“机器杀死人类”等道德风险的担忧,则可通过对人工智能武器的使用施加人类控制得以实现。根据战争法的一般原则将平民、民用目标及失去战斗能力的战斗人员排除在人工智能武器合法攻击的目标之外即可,无需超越人道法基本原则的额外限制,仅需要对目标的选择和攻击行为施加人类控制。

不同人为控制程度的攻击行为。“不得使人工智能武器脱离人类控制地夺人性命”是现行人道法的应有之义。如果将人类控制分为研发、激活和操作等阶段,那么每个阶段都需要人类的介入。无论具体责任分配如何,介入的目的是保障人工智能武器锁定目标后,必须经由人类确认才能发出攻击。如此,即便机器发生故障,也能大幅降低对人类生命的危害。就控制方式而言,主要包括“对武器参数的控制”“对针对环境的控制”以及“通过人机交互的控制”三类。前两种控制都是在确认目标之前,目的是确保人工智能武器选择的目标能够被合法针对,只有后者才能从根本上实现对生命权的保障。这种确认模式有两种,一种是人在环路中的积极控制,另一种是人在环路上的消极监督。前者指处于控制地位的人类直接主动地控制目标选择和向目标施加武力,但这种武器不能算作自主武器系统;后者允许用户监督自主武器系统在战场中的运行,同时保留通过授权、否决或覆盖目标功能、中止任务、停用系统等方式进行干预的权力,即人类有权远程控制自主武器系统。

国际刑事法院总部大楼

排除违法性的例外情形。《国际刑事法院罗马规约》第31条规定了排除刑事责任的事由,其中与行为人的认识能力、行为能力相关的条款,可适用于人工智能武器的操纵者或监督者;而紧急避险、正当防卫的相关情形则适用于人工智能武器系统本身。在人工智能武器系统实施正当防卫或紧急避险时,看似是系统自主做出了选择,但由于人工智能不具备法律上的行为人资格,故该防卫程序或避险程序的编程者应为责任主体。虽然预测防卫情形或避险情形存在客观难度,但编程者仍应承担相应责任。具体的责任标准有待进一步研究。需注意的是,在人类生命权面临威胁的情形下,人工智能武器系统的自身保全并非紧急避险或正当防卫的保护法益,唯有人类的生命权才值得人工智能武器系统跳过人类审查程序,对保障人类生命的行为实施直接保护。

关于人工智能武器规制的

进一步细化

现有对人工智能武器的规制路径主要有两条:一是各国应对武器从研发至使用的全流程实施全面监管;二是武器违法责任应由国家或个人等国际法主体承担。本文认为,可以将两条思路相结合,将人工智能武器的全流程监管纳入国际法义务范畴,并追究相关主体不履行相应义务的国际法责任。

美国发布报告讨论致命性自主武器系统运用原则

对人工智能武器自主化程度的规制。对人工智能武器研发、激活、操纵各环节人类控制行为的规范化,即为对其自主化程度的规制。在研发阶段,编程必须考虑人道法对人工智能武器运行的要求,确保武器系统所选择的攻击行为不会造成不成比例的损害;也要预留容错空间和人类介入接口,确保人工智能武器的使用所造成结果具有可预测性,这不仅需要在编程阶段充分搜集信息,进行充分的试验验证与全流程审查,也要确保其尽可能适应战场上多变的环境;操作面板的设计也需要尽可能地调动人类的大脑活跃度与参与度,避免出现操作者注意力涣散的情况。在激活阶段,人类干预可体现为明确划分战场区域,并设置清晰的标志避免平民误入;决策者应承担确认使用环境是否合法、人类控制是否充分且可行的责任。在操作阶段,操作者通过监督和干涉对人工智能武器的运作实施人类控制,目前人类控制主要体现为人机互动。综上,对现有自主程度的人工智能武器,人类的控制必须是有组织、有分工的,必须兼顾国际法遵循、人类道德恪守和战争目的的实现。

对人工智能武器致命性的规制。学界提出的方案大多是对人工智能武器自主性的规制办法,认为为人工智能武器设定人类控制机制是目前相对可行的方案。实际上,通常所讲的人工智能武器不仅包含“自主”这一要素,还包含了“致命”属性。此处的“致命”不代表致人死亡的结果,而是代表该武器可能致人死亡的危险程度和伤害能力。在人工智能武器出现之前,国际法就已经对战争中人员伤亡的必要性提出了质疑,比例原则就是成果之一。尽管目前尚未形成针对人工智能武器致命性的专门规制方案,但就比例原则和区分原则的标准而言,鉴于人工智能武器的个体性不强,可以通过同一串代码模仿顶尖士兵的作战方式,因此攻击准确率的上限更高。根据国际人道法的精神,上述标准也应当随之提高。

瑞典发布报告评估各国自主武器系统政策的可行性与影响因素

对人工智能武器犯罪的归责规制。人工智能武器犯罪是指在使用人工智能武器作战时,不遵守国际法,危及平民和其他受保护对象的犯罪。目前的国际法理论大多支持将人工智能武器犯罪的责任主体范围确定为计划、决策、实施人工智能武器攻击的所有人,甚至在人工智能武器未经充分测试即投入使用造成危害的情况下,国家也能成为责任主体。但关于如何认定上述主体,是否应当承担责任,以及应当在何种范围内承担责任,目前尚无明确的官方文件和权威学说。由此可见,归责难点在于能否将上述主体违反国际法制造的人工智能武器、编写和运行违法攻击程序的行为归责于国家。与其他将主体行为归责给国家的情形不同,算法本身属于中立技术,控制人工智能武器运作的代码和其他类型的代码在技术上并没有本质不同。

因此,在研发阶段,应当着重对参与其中的公权力主体进行归责认定。关于这一违法结果归责问题的讨论,应当先判断各阶段责任主体是否履行阶段性义务,再确认最终损害结果的责任承担主体。若因人类控制不当导致非战斗人员伤亡等损害结果,应当按照如下顺序进行检视和归责:首先检视直接操作者的个人责任;然后检视操作阶段其他主体是否存在指挥不当、监督不力等情形,追究其相应责任;再次,判断激活阶段是否存在目标环境选择偏差;最后,检视研发阶段是否存在预留给操作者的反应时间过短、系统容错率过低等情况。若各阶段的行为主体都履行了阶段性义务,仍发生了损害结果,则应认定为意外事件。在以上情形下,因责任主体无主观过错,所以只要不存在其他违反国际人道法的事由,就不存在人道法上的责任。综上,本文认为人类控制应当贯穿人工智能武器研发、激活和操作阶段的全流程,主张对计划、决策、实施人工智能武器攻击的全部主体按照不同的责任形式和顺序承担责任。

版权声明:本文刊于2026年 3 期《军事文摘》杂志,作者:朱融荣,如需转载请务必注明“转自《军事文摘》”。

声明:本文来自军事文摘,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。