战争中人工智能与自主系统的风险认识与管控

美海军分析中心分析

战争中人工智能与自主系统的风险认识与管控

远望智库技术预警中心  利剑

美国海军分析中心（CNA）2018年8月发布题为《战争中的人工智能与自主性：认识并减少风险》的研究报告。报告分析了现在人们对使用人工智能及自主系统存在的担忧疑虑，重点研究了在战争中使用人工智能及自主系统可能存在的各类风险，并对其进行全面评估，提出了降低这些风险的措施办法。

报告指出，过去几十年间，人工智能及自主系统所取得的重大发展进步，不断改变着人们的生活方式，而人工智能及自主系统对人类社会的这种影响在未来一段时间内，还将不断加速向前。与此同时，关于人工智能及自主系统在军事领域的广泛运用，已经在全世界范围内引起了相当大的争议，当前人们十分关注这项技术及其应用，甚至对其产生诸多担忧与疑虑，认为其可能会导致世界末日。因此，人们必须认真审视人工智能及自主系统的发展应用，应该全面思考研究在战争中使用人工智能及自主系统可能存在的各种风险，世界各国及相关国际组织也应积极行动起来，综合采取措施，对未来战争中使用人工智能及自主系统可能产生的风险进行有效管控。

一、对人工智能及自主系统的主要认识

报告中指出，人工智能的一些应用场景已经在“终结者”等许多影视剧中反复出现过，其中描绘了机器人与人类之间的相互竞争与生死较量，在一些民意和问卷调查中显示，这种矛盾冲突不仅仅存在于科幻故事与影视剧当中，也存在于公众共同关注之中。在武装冲突当中，将在战场上使用机器人将十分令人担忧，必将引起许多人的高度关切。对此，主要有以下四种认识观点：

第一种观点，认为人工智能将毁灭世界。媒体和国际社会都对人工智能可能导致世界毁灭的问题进行过广泛的讨论，认为人们应该不断加强对人工智能及自主系统的监管范围与力度，要积极主动有所作为，如果对人工智能及自主系统失于监管或监管过晚，都可能导致人类种族的毁灭。

第二种观点，认为人工智能及致命性自主系统是违法的。在颁布更加完善的战争法之前，盟国各方都有必要宣布，在人工智能及自主系统未被列入允许使用范围的条例之前，民众和交战各方都应受到国际法则的安全保护。

第三种观点，认为目前对人工智能及自主系统的发展运用尚缺乏问责机制。如果一台机器违反国际人道主义并犯下战争罪，谁会被追究责任并不明确，这就使得在战争中使用人工智能及自主系统是有悖道德的，是缺乏责任追究机制的。

第四种观点，认为缺乏详细的区分对待。这些人工智能及自主系统没有能力对有效的军事目标和受保护设施进行区分，难以对战斗人员与非战斗民众进行有效区分，包括已经投降的战斗人员和无须再进行打击的目标。对此，机器能加以区别对待吗？能具有这种识别功能吗？如果能的话，又可以达到何种程度。

当前，人工智能及自主系统将逐渐得到广泛应用，但我们很可能无法做到让机器和人脑一样好，还需要通过各种方式方法对它们加以控制与优化。

二、战争中使用人工智能及自主系统的主要风险

图1  人类控制武力使用的理解框架图

报告中指出，军队应该在行动阶段对军事机构建设和及军事行动进行充分评估（如图1所示），特别是在军事行动风险这个方面，通过全过程全面评估，能够更加有效减少军事行动的消极效果产生。例如，在阿富汗战场上，ISAF和美国部队开展了一些评估工作，目的是帮助部队减少对平民的伤害。通过这些评估研究工作，进一步明确哪些军事行动最有可能对平民造成伤亡，哪些军事行动能够减少这类风险等。通过系统分析研究数百个独立事件后，这项研究最终确定了不同军事行动应遵守的基本原则要求，对改变和调整军事方针策略提供了十分有针对性的建议，以便帮助解决此类问题。

除此之外，这些建议还分享给了美国的一些训练基地与中心，以便纳入行动部署前的各项训练当中，并明确了一些武器使用规则要求，以便加强对平民的安全保护。这些研究作为士兵手册的主要部分编入其中，指导士兵如何在军事行动中减少对平民造成伤害。这些评估的总体原则也为研究制定避免平民伤亡的美国国家政策提供了重要支撑依据。这些评估内容与措施需要定期调整和逐步完善，当敌方战术和战场环境发生变化时，需要通过后续研究重新审视军事行动指导与战术战法，根据新出现因素及时进行调整。

报告中还指出，这一评估过程可以用来明确和降低使用人工智能及自主系统的操作风险，包括以前没有预期到的各种因素与情况。例如，在伊拉克和阿富汗战争中，对于一些以前没有认识到的风险因素进行了预测与明确，包括无人作战飞机比有人作战飞机更易造成平民伤亡等，这就对使用人工智能及自主系统武器提出了新的挑战与问题，而进行全面细致的评估，十分有助于面对和应对这些挑战、解决这些问题。

三、降低在战争中使用人工智能及自主系统的各类风险

报告中研究制定了“在人为控制下降低人工智能及自主系统的使用风险表（表1），认为通过及时合理采取表中所规定措施防范，将有助于指导一些国际机构、国家及军更加科学正确使用人工智能及自主系统，以便认识并减轻这些技术所带来的各类风险。

表1  在人为控制下降低人工智能及自主系统的使用风险表

针对那些打算在战争中使用人工智能及自主系统的国家及军队，报告中提出如下建议：

一是有意使用人工智能及自主系统的国家，应处理好影响行动安全的一些风险因素，包括操作规程、机构发展及法律政策等；

二是针对人工智能及自主系统的国家政策，应充分考虑人工智能不断增长所带来的各类风险；

三是加紧寻求各种机会，运用人工智能及自主系统来改进战争行为。

围绕讨论战争中使用人工智能及自主系统所带来风险的对话，报告提出如下建议：一是将一般性人工智能与狭义性人工智能进行区分，因为这两种人工智能具有很大不同的风险；

二是对在战争中使用人工智能及自主系统要进行深思熟虑，研究讨论要有理有据，并允许不同意见进行充分平等的相互交流；

三是讨论人工智能可能增加制定决策的不透明性风险，以及为避免这种情况发生而应采取的措施办法；

四是国际机构场所应考虑使用人工智能及自主系统所存在的各类风险，以便确保人工智能及自主系统能够在战争中安全使用，包括操作规程、机构建设及法律政策等；

五是充分考虑利用人工智能及自主系统来改进战争行为的机遇。

此外，国际人道主义法要求军队在每次行动中应平衡风险，同时充分考虑对非战斗人员所造成的风险，应尽量降低在一场武装冲突中使用致命性自主系统所带来的各类风险。

报告指出，考虑到人工智能的迅速发展和重大进步，以及先进军队对这一技术的强烈兴趣，通过对人工智能及自主系统进行重新审视，发现人们关注的有些内容与当前技术情况并不一致。例如，一般性人工智能应用是可行的，而战争中使用人工智能及自主系统存在风险，因为有些国家和军队期望使用人工智能及自主系统来进一步提升作战效能，但没有充分考虑军事系统的实际结构和运行方式，在这种情况下使用人工智能及自主系统存在很大的不确定性与风险，需要加大管控与问责。

报告强调，军事行动方面存在的真正风险（如平民伤亡和自相残杀等行动结果）比人们普遍关注和预想的要低，如果从风险管理角度来看，应该对风险实际来源与风险控制措施之间进行准确匹配，如此才能找到行之有效的方法途径，更加有效地降低在战争中使用人工智能及自主系统的各类风险。

声明：本文来自战略前沿技术，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。