作者:北京海鹰科技情报研究所 庞娟
在人工智能快速发展带动下,无人自主系统正在快速形成作战能力。现代战争场景中,已可见人工智能技术和无人自主系统应用,俄乌冲突中乌克兰使用自主系统来引导无人机,加沙冲突中以色列使用“Lavender”人工智能目标指示系统。美国防部、DARPA、各军兵种以及智库等围绕人工智能等新兴系统和技术的试验鉴定,开展了大量成体系的政策研究和实践探索工作。
近日,美国知名智库新美国安全中心(CNAS)发布报告《安全有效:推进美国防部对人工智能和自主系统的试验鉴定》,为美国防部提出人工智能和自主系统开发与试验鉴定的建议。新美国安全中心持续对人工智能安全和有效性开展系列研究,此次研究聚焦具备动态性、自主性、数据依赖性的现代人工智能系统(如强化学习模型),重点研究如何改进美国防部的人工智能系统试验鉴定流程,确保人工智能和自主系统在军事应用中的安全性和有效性。
01 美国防部人工智能政策的演变
近年来,美国防部出台了一系列战略文件,探索建立新的政策体系来确保人工智能系统的负责任的使用。2018年美国防部发布人工智能战略,首次提出“负责任的AI”(RAI)框架,强调伦理与技术验证并重。2021年美国防部常务副部长备忘录强制要求将RAI原则(责任、公平、可追溯、可靠、可治理)融入人工智能系统开发。2023年美国防部发布《负责任的AI战略和实施途径》,首席数字和AI办公室(CDAO)发布RAI工具包(含测试清单与案例库),但都缺乏可操作的测试指标。执行上,也存在脱节现象。2024年12月,美国防部首次发布手册(DoDM 5000.101)《人工智能赋能和自主系统的试验鉴定》,初步明确了人工智能赋能系统和自主系统的试验鉴定程序。人工智能与自主系统的军事价值显著,但其安全部署需国防部在政策、技术与文化层面进行系统性变革,其核心在于构建动态、协作、透明的试验鉴定生态,以应对技术快速迭代与战场复杂性的双重挑战。美国防部需进一步明确相关政策。
02 传统试验鉴定流程与人工智能系统的特征
与传统装备不同,人工智能系统具有以下特征:动态性:通过持续学习实时更新,试验需覆盖系统全寿命周期;不可解释性:深度学习模型的黑箱特性使决策逻辑难以追溯(如以色列“Lavender”系统的目标误判问题);数据依赖性:训练数据质量直接影响系统性能,但数据污染风险难以通过传统试验发现;跨系统互操作性:人工智能模块与传统系统整合时易产生兼容性问题(如传感器数据融合错误)。
而传统试验鉴定流程(如硬件驱动的“瀑布模型”)依赖线性开发与静态测试指标,测试主计划(TEMP)需高层审批,难以及时响应动态测试数据,难以应对人工智能系统的动态性、复杂性和不可解释性等特性,需进行系统性改革。随着人工智能技术的快速发展,美国防部有必要建立人工智能的技术基础和动态框架,以确保人工智能赋能系统的安全和有效性。美国防部面临的核心挑战是:如何在技术高速迭代中确保人工智能系统符合国际人道法、军事政策及安全标准。
03 建模与仿真的关键作用及DARPA空战演进项目案例
建模与仿真是人工智能系统开发与测试的基石。对于复杂自主系统,建模与仿真可以作为机器学习模型的训练环境,可以作为系统开发真实世界模型的主要手段。目前,美军装备项目大多分头建设建模与仿真系统。虽然美国防部强制要求一定程度的信息共享,以减少对建模与仿真工具的临时开发需求,但这一政策效果还不明显。建模与仿真相关部门可以适当地收集和分发虚拟资源,以减少单个项目的成本,提高效率,并支持未来安全的集成系统。
DARPA空战演进(ACE)项目是美军首批旨在开发、测试和评估大规模机器学习时代自主性的大规模项目,重点是通过人机协同“阿尔法狗斗”空战试验,探索人工智能和机器学习在未来空战中的应用,开发可信、可扩展、人类水平、AI驱动的自主空战能力。在ACE项目中,“阿尔法狗斗”不仅是机器学习驱动的自主代理概念验证的测试平台,还为之后的真实平台测试奠定了基础。比赛中,由Heron系统公司(现隶属于ShieldAI公司)开发的自主主体在五场模拟空战中击败了一名人类战斗机飞行员。之后在真实平台测试中,将人工智能代理部署至F-16,通过两周一次的迭代冲刺快速调整软件。
04 新美国安全中心对美国防部的建议
人工智能与自主系统是未来战场的“革命性力量”,需重构从研发到维护的全寿命周期管理。新美国安全中心提出研发与试验鉴定两方面建议。
研究与系统开发方面。一是美国防部应定义人工智能系统通用风险特征(如动态性、数据敏感性),避免过度监管传统技术(如GPS路径规划),使捕获和纠正错误的成本最低;二是信息透明,国防部采办部门应将有关系统设计技术和工程实践的必要信息共享纳入合同条款;三是军种和采办部门应支持在项目寿命周期的早期纳入运营商与开发人员,提升系统可解释性,避免后期设计变更的高昂成本。
试验鉴定方面。一是建立可评估的RAI指标。美国防部人工智能政策办公室(RAI)应与项目办公室和研发部门合作,根据当前的工程实践制定明确的指导方针,侧重于将“公平性”等原则转化为可评估的性能参数。二是共享建模与仿真工具库。开发通用环境/威胁模型,支持跨项目兼容性。三是放宽安全政策。国防部试验鉴定部门应考虑AI赋能系统和自主系统的独特性,放宽测试安全政策,以提高测试工作的效率。允许人工智能系统在测试中可控失败,加速风险评估。
多年来,美国防部、DARPA、各军兵种以及智库等围绕新兴系统和技术的试验鉴定,开展了大量成体系的政策研究和实践探索工作,人工智能与自主系统是其中重点。顶层设计上,美军谋划未来发展,制定人工智能与自主系统发展战略,装备研发与试验发展同步。政策体系上,美军逐步明确人工智能与自主系统试验鉴定体系结构框架,制定操作指南,明确能力发展方向。实践探索上,DARPA等面向实战研发复杂对抗环境,积极借鉴民用人工智能和机器人行业先进试验鉴定技术。CNAS此次的研究将侧重点放在改进美国防部的人工智能系统试验鉴定流程方面,也印证了美军人工智能与自主系统试验鉴定的发展。
声明:本文来自海鹰资讯,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。