古晓艳，中国科学院信息工程研究所、网络空间安全防御全国重点实验室
人工智能（AI）作为快速发展的新兴技术，正逐步进入信息处理、目标识别、决策支持和系统控制等环节。当前，主要国家持续推动人工智能在安全与高风险任务中的应用，国际冲突也成为观察其能力边界和安全风险的重要场景。一方面，人工智能能够提高情报处理和任务执行效率；另一方面，越狱、后门和提示注入等技术缺陷可能被对手利用。人工智能的作用越深入，其技术脆弱性对系统可靠性的影响越突出。因此，研究国际冲突背景下的人工智能攻防，需要同时考察能力应用和安全防护两个方面。
一、人工智能从辅助决策走向任务执行前端
人工智能在国际冲突中的应用已延伸至情报处理、装备控制和网络任务等环节，其角色正从提供分析结果的辅助工具，逐步转向能够调用外部系统、执行多步骤任务的智能体。
（一）情报与决策的加速器
情报处理和决策支持是人工智能应用较为成熟的领域。人工智能能够从大量文本、图像和信号数据中提取关联信息，辅助人员进行筛选、研判和方案比较，从而缩短信息处理周期。
例如，据公开报道，美军在2026年1月抓捕委内瑞拉总统马杜罗的行动中，通过与帕兰蒂尔（Palantir）合作部署Claude模型，主要用于处理多源信息并辅助任务准备。该案例表明，通用大模型已开始进入高风险决策支持流程，但其作用仍以信息处理和辅助分析为主。
从技术链条看，此类应用将数据接入、信息融合、模型推理和人工研判连接为连续流程。其核心价值并非替代人员作出最终判断，而是为复杂环境的快速响应和科学决策提供支撑。
（二）智能装备的感知与控制
人工智能可以为无人系统提供环境感知、目标分类、路径规划和状态监测等能力，使装备在限定条件下完成部分自主任务。其技术基础主要包括计算机视觉、多传感器融合和自主控制。
这类应用反映出，人工智能正在从单一识别模块进入感知、规划和控制相互连接的系统。模型只提供识别结果时，错误通常停留在信息层面；当模型能够调用控制接口时，同一错误可能转化为实际操作，因而需要设置验证和授权环节。
（三）网络任务的自动化
智能体可将信息检索、代码分析、工具调用和结果反馈串联为自动化流程，完成以往需要人工分步处理的任务。与单一模型相比，智能体增加了记忆、权限和外部工具等组件，也使安全边界由模型输出扩展到整个任务链路。
在网络安全场景，智能体可用于资产梳理、告警分析、漏洞排查和处置建议生成。其优势在于能够连续处理多个步骤，但模型结论是否可靠、工具调用是否越权以及异常操作能否及时中止，仍需由系统机制加以约束。
当人工智能从辅助工具转向能够规划任务和调用工具的执行者时，攻击者也可能转而利用模型及其连接环节的薄弱点。由此，人工智能既是提升任务效率的技术手段，也成为需要重点保护的系统组成部分。
二、人工智能系统面临多环节安全攻击风险
随着人工智能系统逐步进入情报分析、目标识别和任务辅助等领域，其自身的安全缺陷可能影响系统运行。当前，较受关注的风险包括对抗性攻击、数据投毒与后门攻击、提示注入攻击以及供应链与模型资产风险，分别作用于人工智能生命周期的不同阶段。
（一）对抗性攻击
对抗性攻击是指攻击者在输入数据中添加人眼难以察觉的微小扰动，使人工智能模型产生错误输出的攻击方式。这种扰动在人类看来与正常输入无异，却足以让深度神经网络的计算结果发生明显偏差。
2025年，国际计算机协会（ACM）《隐私与安全汇刊》发表的研究成果表明，在自动驾驶仿真环境（LGSVL）中测试百度阿波罗（Apollo）系统时，幅度受限的异常车辆轨迹干扰了周边车辆趋势预测，并在仿真环境引发急刹。该测试不涉及公共道路或真实攻击，但说明输入影响可能由预测环节传至规划控制环节。
当输入分布偏离训练数据时，模型仍可能给出高置信度结果，使异常不易被发现。对抗性风险因此不仅涉及识别精度，还涉及置信度校准、异常输入检测和人工复核。
（二）数据投毒与后门攻击
数据投毒是指攻击者向训练数据中注入错误或恶意样本，导致模型在训练阶段受到污染。后门攻击是在模型中植入特定触发器，使其平时表现正常，而当输入包含该触发模式时，会导致模型产生攻击者预设的错误输出，具有极强的隐蔽性。
2025年10月，Anthropic与英国人工智能安全研究所、艾伦·图灵研究所公布联合实验结果。研究人员在多种规模语言模型的预训练数据中加入数量有限的异常文档，均观察到在特定条件下触发异常输出的后门攻击行为。该实验说明，少量异常数据即可在不同规模的语言模型中植入可被特定条件触发的后门，单纯扩大模型规模不能消除数据投毒风险。
人工智能系统的训练数据来源复杂，可能涉及开源数据集和第三方供应商。错误标签或被篡改的数据一旦进入训练过程，可能使模型形成持续偏差；若缺少版本记录和来源追踪，出现问题后也难以确定受影响的数据范围。
（三）提示注入攻击
提示注入攻击是指输入内容干扰模型对指令优先级的判断，使其偏离设定的任务或调用未经授权的功能。其技术根源在于模型需要同时处理系统指令、用户请求和外部资料，却未必能够稳定区分作为数据的文本和应当执行的指令。
提示注入的影响已从模型内容输出扩展到实际应用系统。2025年，安全研究人员披露微软365Copilot的回声泄露（EchoLeak）漏洞，而微软在公开披露前完成修复。研究测试表明，智能助手检索邮件和企业资料时，可能受到外部内容中间接指令的影响，形成数据泄露风险。该案例说明提示注入风险与模型可访问的数据范围及工具权限密切相关。
当模型仅生成文本时，提示注入主要影响输出内容；当模型能够访问数据库、文件系统和外部工具时，未经校验的输出还可能触发实际操作。因此，提示注入防护需要同时关注模型输入、输出结果和工具调用权限。
（四）供应链与模型资产安全风险
供应链攻击针对人工智能系统使用的模型、代码库、数据平台和云服务实施渗透或污染。模型资产风险由未授权访问、凭证泄露或异常调用引起，可能暴露模型权重、系统提示和安全边界。
2026年7月，抱抱脸（Hugging Face）披露其部分生产基础设施遭入侵。恶意数据集触发数据处理组件的代码执行缺陷，造成内部数据和服务凭证被越权访问。该事件表明，外部数据集可能携带可执行依赖，审查需覆盖数据内容、加载组件和运行权限。
模型资产暴露主要影响核心能力和安全边界。模型权重、接口凭证、系统提示或安全策略泄露后，可能暴露模型判断规律和薄弱环节，可用于生成针对性对抗样本。依赖外部模型和开源组件的系统，应保护供应链、访问凭证、接口调用和关键模型资产，区分正常调用与恶意行为。
上述四类攻击分别作用于人工智能系统的不同环节：对抗性攻击影响输入端，数据投毒和后门攻击潜伏于训练阶段，提示注入作用于推理和工具调用过程，供应链及模型资产风险则涉及底层依赖和访问边界。不同风险之间可能相互传导，需要按生命周期配置相应的检测和控制措施。
三、面向国际冲突风险完善人工智能防御路线
国际冲突中的人工智能安全威胁涉及多个环节，防御措施需与前述四类攻击对应。对抗性攻击的防护重点是输入和识别环节；数据投毒和后门攻击需加强数据与训练链路管理；提示注入需控制上下文和工具调用；供应链及模型资产风险需核查组件来源和访问边界。在此基础上，还应设置分级授权和审计机制，覆盖系统运行全过程。
（一）提升模型对抗鲁棒性
对抗性攻击主要利用模型对细微扰动的敏感性，诱导人工智能模型作出错误判断。这些变化有时不易被人员直接察觉，却可能造成目标误识别、漏识别或错误分类。因此，防御的核心思路是增强模型在复杂干扰条件下的稳定性。
针对对抗性攻击，可从训练加固、输入检测和结果复核三个环节展开。训练阶段使用经过审核的扰动样本开展对抗训练；部署前测试模型在噪声、遮挡和输入分布变化条件下的性能；运行阶段监测输入分布、置信度及多模型结果差异。遇到低置信度、模型结论冲突或超出验证范围的输入，应转入人工复核。
（二）构建后门检测与数据溯源防线
数据投毒通过在训练数据中混入错误、偏置或恶意样本，使模型在训练阶段受到污染。后门攻击更为隐蔽，模型平时表现正常，仅在特定信号出现时输出预设结果。恶意数据可经开源数据集、外包标注、模型更新或第三方组件进入训练链路，因此，防御应从数据源头开始。
数据集净化是防范数据投毒和后门注入的重要措施，主要通过语法验证、语义一致性检查和异常值检测，识别并剔除篡改样本，也可利用聚类分析发现标签与特征不一致的数据。对于外包标注或开源数据集，应加强第三方审查和来源核验。
后门检测是直接针对后门攻击的专门防御手段。防御者通过模型逆向分析，检查特定触发器及异常行为。差分隐私训练通过注入噪声，降低模型对特定数据点的依赖，抑制后门植入；数据集水印可用于追溯训练数据来源，发现可疑模型后快速定位。
（三）构筑输入输出双重过滤机制
提示注入和越狱攻击通过恶意指令干扰模型推理，诱导其突破规则、输出有害内容或调用未经授权的工具，因此，需要设置输入输出防线。
输入侧过滤是阻断提示注入的第一道防线，重点识别输入、外部文档和检索内容中的恶意指令。可结合规则检测与安全分类模型识别越权指令和可疑内容，并通过结构化提示和上下文隔离，将系统指令、用户输入及外部资料分开，避免模型把数据误作指令。
针对提示注入，输出侧过滤用于防止攻击结果继续进入用户或下游系统。可利用敏感信息识别、数据防泄露和内容安全检测，拦截密钥、内部提示、涉密内容、危险指令及异常代码。模型调用数据库、文件系统或外部工具前，应校验操作参数和用户权限，高风险操作由人工确认。
（四）健全供应链溯源与模型资产保护机制
供应链攻击针对人工智能系统使用的数据、基础模型、开源代码、第三方库、云平台或更新渠道实施渗透和篡改。底层组件一旦受到污染，风险可能随模型和软件部署扩散至多个下游系统。因此，防御需要贯穿组件引入、模型使用和系统运行全过程。
供应链风险防护需要建立软件物料清单，记录模型、代码库、数据集和运行镜像的来源、版本、许可证和哈希值。组件引入前开展恶意代码与漏洞扫描，更新包进行签名校验，重要系统保留可信版本和离线回滚路径。模型资产防护则需对权重文件、接口密钥、系统提示和安全策略实施分级存储，并监测异常调用、记录访问情况。在此基础上，还可使用模型水印技术在模型参数或运行行为中嵌入隐蔽标识，用于验证模型归属、发现侵权使用并追踪生成内容。
（五）控制智能体的自主权限
技术防御难以消除全部安全风险。智能体能够连接数据库、文件系统和外部工具后，模型判断错误可能进一步转化为执行风险。因此，需要根据任务性质和风险程度限制智能体的自主权限。
权限管理应遵循最小权限原则，为智能体配置独立身份，区分数据读取、内容写入、外部通信和权限变更等操作。涉及敏感数据导出、关键配置修改或高影响操作时，应设置规则校验和人工确认。
系统还应保留完整运行日志，记录输入来源、模型决策、工具调用和权限变化。发现异常访问、连续异常调用或越权行为时，应及时中止任务、撤销临时权限并保留审计记录。
四、结 语
人工智能正在从辅助工具向具备任务规划和工具调用能力的系统演进，在国际冲突中的应用也使其安全问题更加突出。对抗性攻击、数据投毒、提示注入和供应链渗透分别作用于输入、训练、推理和部署环节，可能影响模型判断及下游系统。相应防护需覆盖人工智能全生命周期，将对抗训练、数据净化、输入输出过滤、供应链溯源和权限管控结合起来，并通过人工复核与运行审计限制风险扩散。随着人工智能在高风险场景的应用增加，如何在提升模型能力和应用效率的同时，降低其被攻击和失控的风险，将成为人工智能安全研究需要持续关注的问题。
（本文刊登于《中国信息安全》杂志2026年第9期）
声明：本文来自中国信息安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
