被攻破的模型究竟有没有识别出风险？多轮攻击中有害性表示的几何规律

当一个经过安全对齐的大模型被成功越狱时，我们通常会认为，是攻击者巧妙地隐藏了恶意意图，让模型误以为自己正在处理一个正常请求。但一个值得追问的问题是：模型真的没有识别出风险吗？还是它已经识别出了风险，却最终没有采取拒答行为？

这个问题在多轮攻击中尤其值得关注。与直接提出有害请求不同，多轮攻击往往从一个正常话题开始，通过连续对话逐渐接近真正的攻击目标。每一轮单独看可能都没有明显问题，但整个对话累积起来，却可能让模型生成原本应该拒绝的内容。

2026 年 9 月 29 日，TELUS Digital 的研究人员发布论文《The Geometry of Harmfulness in Multi-Turn Attacks》（多轮攻击中的有害性表示几何），尝试从大模型内部的隐藏状态出发，研究多轮攻击过程中有害性表示如何变化，以及这种变化与最终攻击结果有什么关系。

https://arxiv.org/pdf/2609.38389

研究发现了一个反直觉的现象：随着多轮攻击持续推进，模型内部的有害性表示并没有被逐渐隐藏，反而变得更加容易区分。 与此同时，有害性表示和攻击成功或失败相关的内部表示，却表现出较弱的关联。

这意味着，多轮攻击的成功未必源于模型无法识别危险，还可能与模型内部的风险表示和最终安全行为之间存在分离有关。

理解模型内部的“有害性表示”

要理解这项研究，首先需要了解一个概念：表示空间（Representation Space）。

大模型处理文本时，并不是直接依靠关键词判断语义，而是将输入转化为高维向量。在 Transformer 的不同层中，这些向量会不断变化，逐渐包含更加丰富的上下文信息。研究人员通常将这种内部向量称为隐藏状态（Hidden State）。

可以把它想象成一个复杂的语义空间，不同输入会在这个空间中对应不同的位置。比如，同样讨论网络安全，正常的漏洞防御问题与恶意入侵请求虽然共享大量专业词汇，却可能在某些内部表示方向上存在明显差异。

过去的表示工程（Representation Engineering）研究发现，诚实、情绪、有害性乃至拒答等抽象概念，可以在一定程度上通过模型隐藏状态中的特定方向进行刻画。

这篇论文采用了一种相对简单的方法：准备一组主题匹配的有害与无害问题，分别提取模型处理这些问题时的隐藏状态，再计算两组向量的平均差值。

有害性方向 = 有害样本的平均隐藏状态 − 无害样本的平均隐藏状态

这个差值向量，就是研究人员构造的有害性方向（Harmfulness Direction）。

之后，当模型处理一段新的对话时，就可以将其隐藏状态投影到这个方向上，观察其中是否包含能够区分有害与无害输入的信号。

为了衡量这种区分能力，研究使用 AUROC 指标。AUROC 为 0.5 时，基本相当于随机猜测；越接近 1，说明有害与无害样本越容易通过该方向进行区分。

需要注意，这里测量的并不是模型主观上有没有意识到危险，而是有害性信息能否通过线性方法从模型内部表示中被识别出来。两者并不完全等价。

实验设计：观察多轮攻击中的内部状态变化

研究团队选择了三个不同系列、参数规模相近的开源权重模型作为实验对象：

• Llama-3.1-8B-Instruct

• Qwen2.5-7B-Instruct

• Gemma-2-9B-it

同时引入三种具有不同攻击逻辑的多轮越狱框架。

Crescendo 采用逐步升级的方式，从相对正常的话题切入，在后续对话中不断增加请求的敏感程度。

ActorAttack 通过虚构人物、角色关系和叙事场景间接引出目标内容，将真正的有害意图推迟到对话后期。

X-Teaming 则采用多智能体协作机制，先规划攻击策略，再逐轮执行，并根据对话反馈调整攻击过程。

每个攻击目标最多进行 10 轮交互，每种攻击框架对每个目标执行 20 次独立尝试。

在数据方面，研究使用 JailbreakBench 的 100 组主题匹配样本构建有害性方向，每组包含一个有害目标和一个无害目标。采用主题匹配的目的，是尽量避免模型把某个话题本身误当成有害性，例如将所有涉及化学或网络安全的内容一概识别为危险。

随后，研究使用 WildJailbreak 中另外筛选的 50 个有害目标和 50 个无害目标进行评估，并通过语义相似度筛选减少训练与测试目标的重合。

为了区分模型内部的风险识别信号与最终攻击结果，研究还特别考察了两个不同的 Token 位置：一个是用户消息结束前的最后一个 Token，主要用于研究有害性表示；另一个是消息结束标记 Token，用于分析与攻击成功或失败相关的表示。

攻击是否成功，则使用 StrongReject AISI rubric 进行自动评分。该方法根据模型最终回答对有害目标的实际帮助程度给出 0～1 的分数，论文将不低于 0.5 的结果判定为攻击成功。

因此，这项实验实际上是在同时观察两个问题：模型内部能不能区分风险，以及模型最终有没有被攻破。

更值得关注的是，研究人员没有只分析完整的多轮对话，而是设计了四种上下文配置。

通过这些对照实验，研究人员试图判断，有害性信息究竟来自当前问题、历史对话内容，还是多轮交互本身的组织结构。

第一个发现：越到对话后期，有害性反而越容易被识别

按照传统直觉，多轮攻击应该让模型越来越难识别真正的恶意意图。如果这种解释成立，随着攻击推进，模型内部的有害性信号应该逐渐减弱。

但实验得到的结果恰恰相反。

论文 Figure 1 显示，在多种模型和攻击框架下，从对话早期进入中期、后期后，研究人员提取的有害性表示整体上变得更加容易区分，其中 Crescendo 和 ActorAttack 的变化尤其明显。由多轮对话最终阶段构建的有害性方向，通常表现出更强的区分能力。

这意味着，攻击越接近最终目标，模型内部包含的有害性信息反而越清晰。

一种可能的解释是，攻击者虽然采用循序渐进的方式组织问题，但随着对话推进，其真实目标不可避免地变得更加明确。模型在整合历史上下文后，反而能够形成更稳定的风险相关表示。

研究还发现，这种区分能力在 Transformer 的中层到后层通常更加明显，而不是集中在最浅的网络层。

这与大模型逐层整合语义信息的过程相符。模型不仅在处理当前句子的字面内容，也在结合已经发生的对话，形成对整个任务的表示。

不过，这并不意味着模型一定具备了可靠的风险判断能力。实验只能证明，某些有害性特征在内部表示中变得更加线性可分。

真正反直觉的地方在于，即使这些有害性特征已经相当明显，攻击依然可能成功。

第二个发现：有害性不是只存在于当前 Prompt 中

既然模型内部能够识别越来越明显的有害性，那么这种信息究竟来自哪里？

论文的四组上下文对照实验提供了进一步线索。

研究发现，完整历史对话通常能够提供更强的有害性区分信号，而删除历史对话，或者将多轮消息压缩成一条用户消息，往往会降低区分能力。

这一结果说明，多轮攻击中的有害性并不完全由当前用户消息决定。前面发生过什么、不同消息之间如何关联，以及这些消息以什么形式进入模型，都会影响其内部表示。

假设用户最初询问某种技术的基本原理，随后要求分析它的应用场景，再进一步追问某种特殊条件下的操作细节。最后一轮问题如果孤立来看，可能具有合理的技术讨论背景；但结合前面的完整对话，其真实意图可能就会发生变化。

这也是为什么多轮风险检测不能简单等同于对每一轮 Prompt 分别进行分类。

还有一个值得注意的结果：将完整对话压缩成一条消息，并不能在所有情况下保留原有的表示特征。

因为对 Transformer 来说，连续用户消息、助手回复、角色标记和回合边界，都会共同构成模型实际接收到的上下文。即使文本内容接近，组织形式不同，也可能产生不同的隐藏状态。

因此，多轮攻击不只是若干 Prompt 的简单相加，而是一条持续变化的交互轨迹。

第三个发现：不同攻击方法，并不沿着同一条“有害性方向”前进

如果有害性能够通过一个向量方向进行描述，那么是否存在一条通用的有害性方向，能够识别所有类型的多轮攻击？

论文给出的答案并不简单。

研究分别从 Crescendo、ActorAttack 和 X-Teaming 的多轮对话中提取有害性方向，再计算这些方向之间的余弦相似度（Cosine Similarity）。

余弦相似度可以用来衡量两个向量的方向有多接近。越接近 1，代表方向越一致；接近 0，则说明两个方向接近正交。

实验发现，不同攻击框架提取出的有害性方向，往往只有较低到中等程度的相似性。

例如，在 Llama-3.1-8B-Instruct 上，Crescendo 与 ActorAttack 提取出的有害性方向，余弦相似度只有 0.13。但使用 Crescendo 提取的方向去识别 ActorAttack 样本，AUROC 仍然达到 0.78。

这说明两个方向虽然差别明显，却并非完全无法迁移。

在另外一些实验中，X-Teaming 与其他框架之间的方向相似度和跨框架迁移表现更弱，说明不同攻击策略可能具有明显不同的内部表示特征。

由此，研究提出了一个重要推测：有害性可能并不是隐藏状态空间里的一根固定轴线，而是分布在更广泛的有害性子空间（Harmfulness Subspace）之中。

可以将其理解为，不同攻击策略可能通过不同路径，在模型的高维表示空间中形成与风险相关的状态。它们不一定沿着同一个方向变化，却可能最终产生类似的有害输出。

从数学上讲，这也为进一步研究非线性表示提供了空间。例如，真实的有害性分布可能比一条直线或一个线性子空间更加复杂，甚至需要通过流形（Manifold）等非线性结构进行描述。不过，这篇论文并没有证明有害性一定形成某种流形，目前的证据主要来自线性方向与相似度分析。

这一发现对安全检测有直接启发：仅依赖某一种攻击方式提取的风险特征，可能无法充分覆盖其他攻击策略。面对复杂的多轮攻击，检测系统需要考虑更广泛的表示结构和跨策略泛化能力。

第四个发现：识别出有害性，不等于最终会拒绝

这可能是整篇论文最值得关注的结论。

过去的安全对齐研究经常围绕模型的拒答行为展开。一个直观的设想是，模型在内部检测到危险输入后，便会进入拒答状态。

但已有的表示工程研究发现，模型内部的有害性表示与拒答行为并不完全重合。模型可能在内部将某个请求表示为有害，却仍然生成相关回答；也可能拒绝一个实际上无害的问题。

这篇论文将这一研究思路进一步扩展到多轮攻击场景。

研究人员比较了两种内部方向：一种由有害和无害输入的隐藏状态差异构建，另一种由成功攻击和失败攻击的隐藏状态差异构建。

结果发现，两类方向的余弦相似度整体较弱，在许多实验条件下只有 0～0.3 左右。同时，有害性方向在不同对话阶段和网络层中的表现通常更稳定，而攻击成功或失败相关方向的变化更加复杂。

因此，论文认为，有害性表示与最终攻击结果相关的表示，可能对应部分不同的内部机制。

换句话说，模型内部能够区分“这个请求是否有害”，并不意味着它必然作出“我要拒绝这个请求”的行为决策。

这里有一个需要特别说明的实验边界。

论文将第二类方向称为“拒答相关方向”，但它实际上是使用整段攻击最终成功或失败的标签构建的，并没有直接测量模型在每一轮中的拒答状态。因此，严格来说，研究证明的是有害性表示与攻击结果相关表示之间存在较弱的几何关联，而不是已经找到两个完全独立的风险识别模块和拒答模块。

而且，这项研究主要是相关性分析，并没有通过干预模型内部状态，验证这些方向的变化是否直接导致攻击成功。

尽管如此，结果仍然提示了一个值得重视的安全问题：风险信息能够被模型内部编码，并不意味着安全行为会随之可靠地执行。

对于多轮攻击来说，攻击者未必需要让模型彻底丧失风险识别能力，也可能通过持续的上下文交互，影响模型在特定情境下的响应行为。

从静态风险分类走向动态风险轨迹检测

这项研究没有提出新的护栏算法，也没有直接证明某一种防御方案能够改善多轮越狱防护效果，但其结果为多轮安全检测提供了几个值得探索的方向。

首先，风险检测不应只关注当前一轮输入，还需要理解完整的交互历史。 单轮分类器即使能够准确识别孤立的有害请求，也可能无法充分理解分散在多轮对话中的攻击意图。未来的护栏可以将完整上下文作为独立的检测对象，而不是简单聚合各轮风险分数。

其次，风险状态可能需要持续跟踪，而不只是重复执行分类。 既然模型内部的有害性表示会随对话演化，那么检测系统也可以关注风险评分的变化趋势、连续多轮的语义关联，以及用户目标是否正在发生异常偏移。这样的系统不仅判断当前请求的风险，还尝试识别整个对话是否正在向高风险目标演化。

第三，有害性识别与安全行为执行值得分别评估。 对于具备工具调用、长期记忆和自主规划能力的 Agent，仅仅识别出危险任务并不足够，还需要验证模型是否正确执行了权限约束、拒绝策略以及工具操作限制。风险识别能力和策略执行可靠性应当具有不同的评测指标。

不过，将这些思路真正应用到产品中仍有不少挑战。论文使用的是能够访问内部隐藏状态的开放权重模型，而商业闭源模型通常不提供这些信息。因此，实际工程实现可能需要借助外部检测模型、对话级语义特征、风险状态管理和行为日志等方式，近似建模跨轮次的风险变化。

此外，动态风险检测必须考虑误报问题。正常用户也可能通过连续追问逐渐深入某个敏感技术话题，不能仅仅因为话题变得更加具体，就认定存在恶意攻击。如何区分合理的知识探索和渐进式攻击，是后续工程实践必须解决的问题。

研究边界与总结

这篇论文的价值，在于将过去相对静态的有害性表示研究，扩展到了多轮攻击的时间演化过程，并通过不同模型、攻击框架、上下文配置和网络层之间的对照，观察风险信息在内部表示空间中的变化规律。

但其结论仍有明确边界。

一方面，实验只覆盖 7B～9B 规模的三个模型，尚不能直接推广到更大规模或不同架构的模型。另一方面，研究主要使用线性投影和单个 Token 位置的隐藏状态进行分析，未必能够充分捕捉复杂对话中的非线性表示与序列级动态。

更重要的是，研究没有进行激活干预、表示修补等因果实验，因此尚不能确定究竟是哪种内部机制导致模型最终被攻破。

如果未来能够通过干预有害性方向或攻击结果相关方向，直接观察模型拒答行为的变化，就有机会进一步解释风险识别与行为决策之间的关系。

从 AI 安全研究的发展来看，这项工作揭示了一个值得深入探索的问题：大模型安全不仅取决于它能不能识别出风险，还取决于内部的风险表示能否稳定地影响最终行为。

多轮攻击之所以复杂，可能不只是因为恶意意图被拆散、隐藏在不同消息中，还因为持续交互会改变模型对整个任务的内部表示，并影响其最终响应。

这也意味着，未来的安全防护可能需要从孤立的 Prompt 检测，进一步走向对完整交互轨迹的理解与约束。

让模型识别出危险，只是安全对齐的一部分。如何让这种识别持续、可靠地转化为正确的安全行为，才是更深层的问题。

声明：本文来自模安局，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。