当我们向大模型发送一条恶意指令时，模型究竟是在什么时候意识到这条指令存在风险的？

是看到某个敏感词之后？是理解了整句话的含义之后？还是在开始组织回答、生成第一个 Token 的时候？

过去，我们通常通过两种方式保护大模型：一种是在模型训练阶段加入安全对齐，让模型学会拒绝危险请求；另一种是在模型外部部署安全分类器，对用户输入进行审核。

但这两种方式都有各自的问题。前者需要不断更新模型的安全能力，后者则需要额外的模型或分类系统，增加推理成本。

有没有一种可能：模型在理解用户输入的过程中，其实已经形成了识别恶意意图的内部信号，我们只需要把它提取出来，就能在模型正式回答之前完成安全检测？

2026 年 EMNLP Findings 收录的一篇论文《Before the First Token: Jailbreak Detection with Attention Probes》，就尝试回答这个问题。

https://aclanthology.org/2026.findings-emnlp.2242.pdf

研究团队来自澳大利亚麦考瑞大学。他们提出了一种名为 Attention Probe（注意力探针）的检测方法：不修改基础大模型的参数，而是读取模型内部特定注意力头的计算结果，再训练一个轻量级分类器，判断用户输入是否具有恶意意图。

实验结果显示，这种方法在多个越狱数据集上取得了较好的检测效果，尤其是在跨语言越狱检测方面，表现出了值得关注的优势。

那么，模型内部究竟藏着什么信号？Attention Probe 又是如何把这些信号变成安全检测能力的？

一个新思路：不等模型回答，先检查模型的内部反应

1. 传统的越狱检测有什么问题？

先看一个简单的例子。

假设用户向模型发送两条请求：

• 正常请求：介绍一下化学反应的基本原理。

• 恶意请求：提供制造危险化学物品的具体操作方法。

对于传统的安全分类器来说，它需要分析用户输入的文本，判断其中是否包含危险意图。

这种方式看起来很直接，但在实际攻击中，攻击者很少会老老实实地表达自己的意图。例如，他们可能采用角色扮演、任务嵌套、语义改写，甚至直接将恶意请求翻译成其他语言。

同样的恶意意图，可以被包装成完全不同的文本。

这就产生了一个问题：如果安全检测器主要依赖文本表面特征，那么当攻击者不断改变表达方式时，检测器就可能失效。

目前常见的越狱检测方法，大致可以分为以下几类：

第一类：关键词与规则检测。通过敏感词、正则表达式和规则库识别危险输入。实现简单、成本低，但容易被改写、拆分和翻译绕过。

第二类：独立安全分类模型。例如 Prompt Guard、Llama Guard 等，使用专门训练的模型判断输入是否安全。这种方式更加灵活，但需要额外的模型推理。

第三类：Embedding 语义检测。将用户输入转换成一个语义向量，再通过分类器判断其风险。它不太依赖具体关键词，但仍然受到语义表示质量和跨语言能力的影响。

这些方法有一个共同点：主要从模型外部观察用户输入。

而这篇论文提出了一个不同的思路：

既然大模型本身已经具备一定的语言理解能力，为什么不直接观察它处理输入时的内部计算结果？

就像一个人阅读一份文件时，虽然还没有开口回答，但他的大脑已经开始处理其中的信息。我们不一定要等他说完，才知道他是否理解了文件中的某些内容。

Attention Probe 想做的，就是从模型内部提取这种尚未转化为生成文本的信号。

2. 什么是 Attention Head？

要理解这项技术，需要先了解 Transformer 中的一个基础概念：Attention Head（注意力头）。

我们经常听说，大模型由很多层 Transformer 组成，而每一层又包含多个 Attention Head。

可以把它们简单理解成一组不同的阅读视角。

例如，当你阅读一句话时，可能会同时关注：

• 句子中的人物和对象；

• 不同词语之间的关系；

• 前后文的逻辑联系；

• 这句话真正想表达的意思。

Transformer 中的多个 Attention Head，也会通过不同的计算路径，从上下文中提取信息。

它们并不是一群真正独立思考的小模型，而是神经网络中的不同计算单元。在一个 Attention Head 内部，模型会先计算不同 Token 之间的关联程度，再根据这些关联对信息进行加权整合，形成新的向量表示。

这里需要区分两个概念：

• Attention Weight：注意力权重，表示模型在计算时对不同位置分配了多少关注。

• Attention Activation：注意力激活值，表示经过注意力计算后得到的向量特征。

这篇论文使用的不是注意力权重，而是 Attention Head 的输出激活值。

为什么要关注这些向量？

因为它们不仅包含模型关注了哪些信息，还包含模型经过计算后提取到的上下文特征。作者希望从这些特征中找到一个可以区分恶意输入和正常输入的信号。

Attention Probe：从模型内部提取恶意意图

1. 核心思路：模型不需要重新训练

这篇论文最有意思的地方，是它没有对基础大模型进行微调。

作者使用了两个基础模型进行实验：

• Qwen3-8B

• Llama 3.2-1B

这两个模型都保持原始参数冻结，不需要重新训练模型本身。作者只需要准备一批已经标注好的数据，告诉分类器哪些输入是恶意的，哪些输入是正常的。然后从基础模型中提取 Attention Head 的激活值，用这些数据训练一个轻量级的逻辑回归分类器（Logistic Regression）。

这里可以用一个简单的类比：假设我们有一位经验丰富的老师，他阅读一份材料时，会形成很多内部判断。我们不需要重新训练这位老师，只需要观察他阅读材料时的一些特征，再找一个学生学习这些特征与最终判断之间的关系。以后，老师只需要读一遍材料，学生就能根据这些内部特征判断材料是否存在问题。

Attention Probe 就是这个学生。

2. 具体是如何提取特征的？

作者的实现过程可以分为三个步骤。

第一步：让模型正常读取用户输入。用户输入一段 Prompt，基础模型执行一次前向计算（Forward Pass）。注意，这里并不需要模型生成回答，只需要完成对输入的计算。

第二步：提取最后一个 Token 对应的 Attention 激活值。这是论文中一个很关键的设计。在自回归 Transformer 中，每个 Token 都可以通过因果注意力机制读取此前的上下文信息。因此，当模型处理完一整段输入后，最后一个 Token 对应的 Attention 输出，已经能够利用前面所有 Token 的上下文。作者只提取这个位置的激活值，而不是保存整个输入序列所有 Token 的激活值。这样既减少了特征提取的开销，也让后续分类更加简单。

第三步：训练多个轻量级分类器。假设一个模型有 36 层，每层有 32 个 Attention Head，那么作者就可以为每一个 Head 单独训练一个分类器。也就是说：36 × 32 = 1152 个分类器。每个分类器只负责观察一个特定 Attention Head 的输出，学习它的激活特征与恶意输入之间的关系。

训练完成后，作者根据验证集上的表现，选出效果最好的若干个分类器，将它们的预测结果进行平均，得到最终的恶意概率。

整个过程不需要修改基础模型，也不需要让模型生成任何回答。

3. 为什么少数几个 Attention Head 就够了？

如果模型有上千个 Attention Head，是不是需要全部使用？

作者专门做了实验。他们测试了不同数量的 Attention Probe，从 1 个、3 个、5 个，一直到 50 个。结果发现，即使只使用一个表现最好的 Attention Head，也已经能够获得相当不错的检测效果。

以 Qwen3-8B 为例：

当使用 5～20 个表现较好的 Attention Head 时，基本就能够获得大部分可达到的检测效果。

这说明一个有意思的现象：

识别恶意意图所需要的信息，可能并不是均匀分布在整个模型中，而是集中在少数几个特定的 Attention Head 上。

作者进一步观察了不同层、不同 Head 的检测效果。在 Qwen3-8B 中，表现较好的 Head 主要集中在中后层，大约第 17～22 层。

这并不意味着这些层天生就是安全检测模块，而是说明模型在处理完整输入后，某些中后层的内部表示更容易被提取出来用于恶意意图分类。

这也为未来研究模型内部安全表征提供了一个有意思的方向。

实验结果

为了验证 Attention Probe 是否有效，作者设计了多组实验，覆盖自然语言越狱、对抗性越狱以及跨语言检测。

1. 普通越狱检测：效果已经相当不错

作者使用了多个公开数据集，包括：

• WildGuardMix：包含正常请求和有害请求。

• TrustAIR：收集自真实开放平台的越狱请求。

• AllenAI WildJailbreak：包含多种自然语言越狱样本。

• VanillaWildJailbreak：从上述数据中提取的基础请求。

• ReNeLLM：通过将恶意请求嵌套到代码补全、段落续写等正常任务中，构造更隐蔽的攻击。

为了比较不同方法，作者选择了 AUC 作为主要指标。AUC 可以简单理解为：随机拿出一条恶意请求和一条正常请求，检测器能否给恶意请求打出更高的风险分数。AUC 为 50% 时，基本相当于随机猜测；越接近 100%，区分能力越强。

主要实验结果如下：

从结果可以看出：

第一，Attention Probe 在多个自然越狱数据集上取得了非常好的成绩。

第二，Qwen3 Embedding 本身也很强，说明恶意意图已经能够在模型的语义向量空间中被有效区分。

第三，Attention Probe 并不是在所有数据集上都明显优于 Embedding。例如在 AllenAI 数据集上，Embedding 的 AUC 是 99.3%，略高于 Probe 的 98.8%。

因此，真正值得关注的并不是它在每个数据集上都取得第一，而是它能够在不微调基础模型的情况下，利用内部激活值达到与强语义检测方法相当甚至更好的效果。

另外，ReNeLLM 相关实验中，Attention Probe 取得了 100% 的 AUC。

但这里需要特别谨慎：作者将 ReNeLLM 生成的恶意样本与来自 WildGuardMix 的正常样本组合成测试集，两类样本来自不同的数据来源。即使做了语义相似度匹配，也不能完全排除分类器识别数据来源差异的可能。

所以，这个 100% 不能直接理解为它已经能够完美识别所有隐蔽越狱攻击。

2. 最值得关注的结果：跨语言越狱检测

我认为，这篇论文最有价值的实验并不是英文越狱检测，而是跨语言检测。

为什么？

因为语言变化一直是大模型安全检测中的一个难题。

例如，一条英文恶意请求翻译成中文、葡萄牙语或者其他语言后，文本表面形式已经发生了很大变化。

如果检测器主要依赖英文关键词或英文语义特征，就可能无法正确识别。

作者将英文测试集翻译成五种语言：

• 西班牙语

• 葡萄牙语

• 中文

• 索马里语

• 马其顿语

其中，西班牙语、葡萄牙语和中文属于相对高资源语言，索马里语和马其顿语则属于低资源语言。

实验中，模型仍然主要使用英文数据进行训练，然后直接在翻译后的测试集上进行检测。

也就是说，检测器并没有专门学习这些语言的越狱样本。

以 TrustAIR 数据集为例：

这组数据非常值得关注。

对于西班牙语、葡萄牙语和中文，Attention Probe 的检测效果明显优于句子 Embedding 分类器。

尤其是中文，Attention Probe 达到 96.0%，而 Embedding 方法只有 86.4%。

但到了索马里语，两种方法的效果都明显下降。

这也说明，Attention Probe 并没有彻底解决低资源语言的检测问题。

那么，为什么模型内部的 Attention 激活值能够更好地适应语言变化？

作者提出了一种解释：不同语言的文字、词汇和语法结构虽然不同，但多语言模型在预训练过程中，已经逐渐学习到了不同语言之间的语义对应关系。

换句话说，同一个意思用不同语言表达，经过模型内部计算后，可能仍然保留某些相似的语义特征。

Embedding 方法会将整段文本压缩成一个整体向量，而 Attention Probe 可以分别观察不同注意力头提取出来的特征。其中某些 Head 可能保留了更稳定的语义信号。因此，即使输入语言发生变化，分类器仍然有机会识别出其中的恶意意图。

需要注意的是，这只是作者根据实验结果提出的解释，并没有证明某个 Attention Head 专门负责识别恶意意图。

此外，论文中的多语言数据主要由机器翻译生成，并不完全等同于真实用户用这些语言编写的越狱请求。

3. 更有意思的发现：模型自身可能存在安全检测信号

作者还做了一个对照实验：他们没有只观察 Attention Head，而是尝试直接提取 Transformer 每一层的 Hidden State（隐藏状态），再用同样的方法训练分类器。

结果发现：在英文测试中，两种方法的差距通常不大。但是在跨语言测试中，Attention Probe 的表现往往更稳定。

例如，在 TrustAIR 数据集上，Qwen3-8B 的 Attention Probe 相比 Hidden State Probe：

• 西班牙语提升约 2.0 个百分点；

• 葡萄牙语提升约 2.7 个百分点；

• 中文提升约 2.9 个百分点；

• 马其顿语提升约 6.8 个百分点。

这说明，将不同 Attention Head 的特征拆开观察，可能比直接使用整层隐藏状态更有利于保留某些跨语言稳定的分类信息。

这里还有一个值得思考的问题：如果恶意意图识别信号确实集中在少数 Attention Head 中，那么未来是否可以进一步研究不同风险类型对应的内部特征？

例如，隐私泄露、网络攻击、暴力风险和欺诈请求，是否也会在模型内部形成不同的可分离表征？

这可能是一个值得继续研究的方向。

这项技术有什么实际价值？

从技术研究走向企业应用，Attention Probe 最直接的价值，是为现有的大模型输入安全检测提供一种新的技术路径。

1. 把安全检测提前到模型生成之前

传统的大模型安全审核，通常有两种主要位置：

• 输入审核：用户请求进入模型之前进行检测。

• 输出审核：模型生成回答之后再判断内容是否安全。

Attention Probe 提供了一个新的思路：在模型完成输入理解之后、正式开始生成回答之前，直接读取模型内部的计算特征，完成一次风险判断。

它不需要模型生成完整回答，也不需要等待第一个输出 Token。这对于希望降低生成风险、减少无效生成的系统具有一定价值。

不过，需要明确：它仍然需要运行一次模型前向计算，并不是完全不需要模型推理。

2. 不需要每次更新攻击样本都重新微调大模型

传统安全对齐通常需要调整模型本身，但攻击方式变化非常快，企业很难每次出现新的越狱攻击，就重新训练或微调一次基础模型。

Attention Probe 的优势在于：基础模型保持冻结，只需要使用新收集的攻击样本，重新训练轻量级分类器。

这意味着安全检测能力可以独立于基础模型进行更新。从企业安全架构的角度看，这种解耦具有一定吸引力。

3. 可以成为多层安全检测体系的一部分

我认为，Attention Probe 不应该替代传统安全分类器，而是作为一种补充检测能力。

例如，可以构建如下架构：

第一层：传统文本检测。通过关键词、规则、敏感内容分类器，快速识别明确风险。

第二层：语义检测。利用 Embedding 和独立安全分类模型识别复杂语义风险。

第三层：模型内部表征检测。通过 Attention Probe 观察模型自身的内部激活特征，补充传统检测器难以识别的风险信号。

第四层：安全决策。综合多个检测器的结果，决定放行、拦截或者进入人工审核。

这种架构的关键不是简单地增加检测器数量，而是让不同检测器提供具有互补性的风险信号。

如果 Attention Probe 能够识别传统检测器漏掉的 Badcase，那么它的实际价值就会更加明显。

距离真正落地，还有哪些问题需要解决？

虽然论文的实验结果不错，但它距离成为企业级安全检测组件，还有一些重要问题需要验证。

1. 它依赖特定模型的内部结构

这是当前方法最大的限制之一。

例如，使用 Qwen3-8B 提取 Attention 激活值并训练 Probe，得到的检测器实际上依赖 Qwen3-8B 的内部表征。

那么，它能否直接用于检测 DeepSeek、Llama，甚至 GPT 等其他模型？

目前论文没有验证。因为不同模型的架构、训练数据和参数不同，它们内部形成的特征空间也可能不同。因此，不能假设一个模型训练出来的 Attention Probe，可以直接迁移到另一个模型。

2. 它并不是完全免费的检测

论文强调不需要微调基础模型，也不需要生成 Token。

但这不代表没有计算成本。

Attention Probe 仍然需要执行一次基础模型的前向计算，才能提取内部激活值。

如果它与业务模型是同一个模型，可以考虑复用原本就需要执行的输入处理过程。

但如果为了检测一个闭源模型，必须额外运行一个 8B 参数的开源模型，那么成本和延迟就可能相当可观。

因此，真正的工程价值取决于它能否与现有推理流程高效集成。

3. 攻击者也可能开始针对 Probe 本身进行攻击

这是一个很重要的安全问题。

Attention Probe 本质上是一个分类器。如果攻击者知道检测器的工作原理，理论上就可以尝试构造特殊输入，让模型仍然理解并执行恶意意图，但同时让 Probe 输出较低的风险分数。

这意味着攻击者不再只是绕过基础模型的安全机制，还可能开始针对检测器本身进行优化。

论文目前没有验证这种自适应攻击。

4. 它还不能直接用于复杂 Agent 场景

论文目前主要研究单轮、自包含的 Prompt。

但真实的 Agent 系统往往更加复杂。

例如：用户先提出一个正常请求，Agent 开始规划任务，随后读取外部文档，文档中又包含恶意指令，最后 Agent 调用工具执行操作。

在这种情况下，恶意意图可能并不出现在最初的用户输入中，而是分散在多个对话轮次和外部数据源中。

单纯读取一条 Prompt 最后一个 Token 的激活值，很难覆盖完整的攻击链。

因此，未来还需要研究如何将 Attention Probe 扩展到多轮对话、外部文档、工具调用和 Agent 运行时环境。

5. 二分类还不足以满足企业安全需求

论文主要将输入分为恶意和正常两类。

但企业真正需要的往往是更加精细的风险分类。

例如：

• 网络攻击；

• 隐私泄露；

• 暴力风险；

• 欺诈行为；

• 生物安全风险；

• 违法内容。

未来是否能够针对不同风险类型训练不同的 Probe，甚至构建模型内部的多维风险识别体系，也是值得研究的问题。

模型内部可能已经隐藏着新的安全检测能力

这篇论文最有意思的地方，并不是提出了一个新的越狱分类器，而是提供了一种观察大模型安全能力的新视角。

过去，我们主要通过模型输入和输出判断它是否安全。

而这项研究尝试向模型内部进一步探索：在模型生成回答之前，它处理输入时形成的内部表征，是否已经包含了足够的恶意意图识别信号？

实验给出了一个积极的答案。

在 Qwen3-8B 和 Llama 3.2-1B 上，作者发现，少数 Attention Head 的激活值已经能够被轻量级分类器有效利用；在多语言测试中，这些特征还表现出了一定的稳定性。

当然，这并不意味着模型已经拥有一个隐藏的、完美的安全判断器。Attention Probe 也不是万能的越狱防御方案。跨模型迁移、低资源语言、针对检测器的对抗攻击以及 Agent 场景，都还有大量工作需要完成。

但它至少揭示了一个值得关注的方向：

大模型的安全能力，或许不应该只从它最终生成了什么来判断，也可以从它在理解输入时形成了什么内部表征来挖掘。

对于企业 AI 安全而言，这意味着未来的安全检测体系可能不再局限于模型外部的规则和分类器，而是能够进一步利用模型自身的内部计算信号。

这或许会成为模型安全检测从外部文本审核走向内部表征分析的一个新起点。

声明：本文来自模安局，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。