传统大模型安全主要关注模型生成的内容是否安全,通过输入审核、输出过滤、安全对齐和提示词注入检测,降低模型产生有害输出的概率。

但 AI Agent 改变了这一局面。

当模型开始调用工具、访问数据库、执行代码和操作外部系统,一次错误决策就不再只是一段错误文本,而可能演变成真实的业务风险:

  • 将企业敏感数据发送到外部邮箱;

  • 执行未经授权的数据库修改;

  • 利用合法凭证访问超出任务范围的资源;

  • 执行恶意代码或危险 Shell 命令;

  • 将过度权限传递给下游 Agent。

传统 Guardrails 的局限在于:它主要控制模型生成什么,却不一定能够控制模型生成的动作是否真正执行。

2026 年发表在《Journal of Reliable and Secure Computing》上的一篇系统性综述《Beyond Guardrails: Runtime Enforcement for Secure AI Agents》,筛选了 58 项相关研究,系统梳理了 Agent 运行时安全的控制位置、技术机制和安全保证方式。

https://www.icck.org/article/abs/jrsc.2026.526903

这篇论文揭示了一个重要趋势:

Agent 安全正在从模型层面的安全护栏,向独立的运行时执行控制体系演进。

本文从企业安全架构出发,梳理这一体系的核心组成与落地方法。

从 Model Guardrails 到 Runtime Enforcement

两者最本质的区别在于控制对象。

对比维度

Model Guardrails

Runtime Enforcement

控制对象

模型输入与输出

Agent 执行动作

核心问题

生成内容是否安全

动作是否获得授权

主要技术

内容审核、对齐、注入检测

权限控制、动作校验、执行隔离

作用位置

模型输入输出链路

工具调用与执行链路

防御目标

降低模型犯错概率

限制错误决策产生实际影响

Runtime Enforcement 的核心思想是将动作生成与动作执行分离:

  1. Agent 负责理解任务、规划和提出动作。

  2. 独立安全系统负责检查权限、参数和执行上下文。

  3. 只有通过安全检查的动作才能进入执行环境。

例如,Agent 生成了一个向外部邮箱发送客户数据的 Tool Call,即使模型自身没有识别出风险,运行时安全系统仍然可以根据任务授权和数据安全策略拒绝执行。

模型负责提出动作,安全系统负责授权,受控环境负责执行。

Agent 运行时安全的三层控制边界

论文对 58 项研究进行了分类,发现运行时安全控制主要分布在三个位置:

控制位置

研究数量

占比

核心职责

Tool / Action Boundary

33

56.9%

工具调用拦截

Agent Runtime / Harness

18

31.0%

执行状态与行为控制

OS / Process / Execution

7

12.1%

系统级执行隔离

2.1 Tool / Action Boundary:工具调用边界

位于模型生成 Tool Call 之后、工具实际执行之前。主要检查:

  • Agent 是否具有调用权限;

  • 当前任务是否允许执行该操作;

  • 参数、目标资源是否符合安全策略;

  • 是否需要人工审批。

这是最直接的执行控制点,也是企业最应该优先建设的一层。

2.2 Agent Runtime / Harness:运行时控制

关注整个 Agent 的执行过程,而不仅仅是单次工具调用。主要管理:

  • 当前任务与授权范围;

  • Agent 执行历史;

  • 数据来源与传播路径;

  • 多步骤行为异常;

  • 权限动态变化;

  • 多 Agent 委托关系。

这一层解决的是单个动作看似合法,但多个动作组合起来产生风险的问题。

2.3 OS / Process / Execution:系统级隔离

通过操作系统和执行环境限制 Agent 的实际能力。典型技术包括:

  • Linux Namespace、Seccomp;

  • 容器与进程隔离;

  • 文件系统权限;

  • 网络访问控制;

  • CPU、内存及执行时间限制。

即使上层安全判断失效,也能限制 Agent 对宿主机和外部资源的影响范围。

六类核心运行时安全机制

论文将相关研究归纳为六类安全机制:

安全机制

研究数量

占比

核心作用

Authorization

41

70.7%

授权与权限控制

Action Validation

34

58.6%

动作与参数校验

Intervention & Recovery

20

34.5%

运行时干预与恢复

Information-Flow Control

18

31.0%

信息流控制

Runtime Monitoring

17

29.3%

执行行为监控

Execution Isolation

9

15.5%

执行环境隔离

注:采用多标签统计,同一研究可能涉及多种机制。

其中有三个技术方向尤其值得关注。

3.1 Authorization:从工具权限到任务级授权

传统 IAM 关注主体、资源和操作权限,但 Agent 还需要考虑当前任务。例如,Agent 拥有数据库查询权限,不代表它可以访问所有客户数据。因此,需要引入 Task-scoped Authorization,将权限与具体任务、资源、操作范围和有效期绑定,并支持动态撤销。

3.2 Action Validation:从工具白名单到动作校验

授权解决的是能不能做,动作校验解决的是这次具体操作是否安全。例如,Agent 获得了邮件工具的调用权限,仍然需要检查收件人、附件、数据敏感级别和当前任务是否允许外发。企业需要将安全检查深入到 Tool、Action、Resource 和 Parameters,而不能只做工具级白名单。

3.3 Information-Flow Control:控制数据如何流动

传统权限系统关注能否访问数据,IFC 则进一步关注数据能否流向某个目标。例如:

客户数据库    ↓数据标签:CONFIDENTIAL    ↓Agent Memory    ↓报告生成    ↓外部邮件    ↓IFC 检查    ↓拒绝敏感数据外流

核心技术包括 Data Provenance、Security Label 和 Taint Tracking。它既可以保护企业敏感数据,也可以追踪外部不可信内容对后续 Agent 行为的影响,是防御间接提示注入的重要技术方向。

其他三类机制则分别负责持续监控执行轨迹、限制实际执行能力,以及在出现异常时拒绝、终止、撤权或恢复。

企业 Agent 需要防御的十类运行时威胁

论文进一步归纳了十类主要威胁与失效模式:

威胁类型

典型风险

主要防御机制

间接提示注入

外部文档操纵 Agent 决策

IFC、动作校验

Confused Deputy

利用 Agent 合法权限执行非授权任务

任务级授权

权限漂移

长任务执行中权限失效或变化

动态授权

动作参数篡改

合法工具执行危险参数

Action Validation

敏感数据泄露

数据流向未授权目标

DLP、IFC

恶意代码执行

代码或第三方工具危害系统

Sandbox

长周期行为漂移

多个正常动作组合成异常行为

Runtime Monitoring

Replay / Retry / Crash

重试、并发和崩溃导致重复执行

持久化授权、幂等控制

多 Agent 权限委托

权限在委托链中不断扩大

Delegation Control

安全控制绕过

执行路径绕过策略检查

可信执行边界

其中三个问题尤其值得企业关注:

Confused Deputy:合法权限被用于非法目的。

Agent 拥有数据库和邮件工具的合法权限,但攻击者通过间接提示注入操纵 Agent,将内部数据发送给外部邮箱。攻击者没有直接突破权限系统,而是利用了一个拥有合法权限的代理。

Semantic Replay:同一授权意图被重复执行。

例如付款请求超时后,Agent 重新申请 Token 并再次付款。即使每个 Token 都是一次性的,也可能产生重复交易。因此需要持久化授权状态和事务级幂等控制。

Multi-Agent Delegation:权限在 Agent 网络中扩散。

主 Agent 将任务委托给子 Agent,如果权限被简单复制,下游 Agent 可能获得超出原始任务范围的能力。必须建立权限继承、范围约束和动态撤销机制。

PMA:如何评价运行时安全机制的可靠性?

论文提出了一个值得借鉴的三维分类体系:PMA。

维度

核心问题

分类

Placement

安全控制部署在哪里?

Tool / Runtime / OS

Mechanism

具体做什么?

六类运行时机制

Assurance

安全决策凭什么可信?

四种安全保证

其中,Assurance 将研究分为四类:

安全保证

研究数量

占比

典型技术

Deterministic

31

53.4%

规则引擎、确定性策略

Learned

10

17.2%

风险分类器、学习型护栏

Cryptographic

9

15.5%

数字签名、可信记录

Formal

8

13.8%

形式化验证、模型检验

这三个维度相互独立。

例如,一个 Tool Call 拦截系统可以使用确定性规则,也可以使用学习型模型,或者结合形式化约束。

它们部署位置相同,但提供的安全保证不同。

因此,企业不能仅仅判断一个产品是否具备 Agent Guardrails,还需要评估:

  • 安全控制是否位于真正的执行边界?

  • 是否具备确定性的权限约束?

  • 学习型判断是否存在误判和绕过风险?

  • 关键安全属性是否能够形式化验证?

  • 安全决策和执行记录是否具有完整性?

企业级 Agent Runtime Security 参考架构

结合上述技术,可以将企业运行时安全体系抽象为五个核心模块。

6.1 五层参考架构

第一层:Agent Identity & Task Context。建立 Agent 身份、任务身份和授权上下文,明确谁发起任务、允许访问哪些资源、允许执行哪些操作,以及授权何时失效。

第二层:Runtime Policy Engine。统一执行身份授权、动作校验、数据流策略和风险干预决策,输出 ALLOW、DENY、MODIFY 或 ESCALATE。

第三层:Execution Gateway & Credential Broker。拦截所有 Tool Call,根据策略决策获取限定范围的短期凭证,避免 Agent 直接持有高权限长期凭证。

第四层:Execution Sandbox。通过容器、进程、文件系统和网络隔离,限制工具与代码的实际执行能力。

第五层:Audit, Monitoring & Recovery。记录完整执行轨迹,支持异常告警、权限撤销、执行终止、事务恢复和审计追溯。

6.2 企业落地的三个阶段

阶段

建设重点

核心目标

P1 基础控制

Tool Call 拦截、IAM、参数校验、人工审批

建立独立执行控制点

P2 动态防御

任务级授权、IFC、行为监控、多 Agent 委托

实现上下文感知的安全控制

P3 深度加固

Sandbox、持久化授权、幂等执行、故障恢复

控制复杂攻击与执行故障的影响

评估体系也不能只关注攻击拦截率,还应同时关注:

  • Security: 攻击成功率、未授权执行率、数据泄露率;

  • Utility: 正常任务成功率、误拦截率、人工审批率;

  • Cost: 授权延迟、资源开销和系统吞吐量。

只有同时满足安全、效用和成本要求,运行时加固才能真正进入生产环境。

未来仍需解决的四个问题

论文最后指出,当前研究仍存在四个重要的开放方向:

  1. Durable Authorization: 如何保证授权在多轮执行、重试、并发和系统崩溃后仍然有效且不被重复消费?

  2. Secure Delegation: 如何保证多 Agent 委托过程中权限不扩散,并且能够全链路撤销?

  3. Composable Enforcement: 如何保证 IAM、DLP、IFC、Sandbox 等不同安全机制之间的策略一致性?

  4. Recovery: 当 Agent 已经产生不可逆的外部副作用时,如何通过幂等、事务和补偿机制控制损失?

这四个方向说明,Agent 运行时安全已经不只是模型安全问题,还涉及传统计算机安全、分布式系统、操作系统和事务管理。

让模型犯错,但不让错误突破安全边界

Runtime Enforcement 带来的核心变化,是重新划分 Agent 系统中的决策权与执行权。

模型负责理解任务、规划和提出动作;独立安全系统负责授权与校验;受控执行环境负责限制实际影响。

从技术演进来看,Agent 安全正在经历三个转变:

  • 从 Model-Centric Security 走向 Action-Centric Security;

  • 从静态权限管理走向任务级动态授权;

  • 从单点拦截走向全生命周期执行控制。

这并不意味着传统模型安全已经不重要。模型对齐、提示注入检测和内容审核依然是纵深防御的重要组成部分。

但企业不能再将模型本身视为 Agent 系统最后一道安全防线。

真正成熟的 Agent 安全架构,应该允许模型犯错,但不能让模型仅凭自己的错误决策,就突破企业的权限和执行边界。

模型负责思考,安全系统负责授权,受控环境负责执行。

这才是企业级 Agent 从可用走向可信的关键一步。

声明:本文来自模安局,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。