假设你正在负责一款大模型的安全防护。

今天，你发现了一种新的越狱攻击：攻击者让模型扮演一个虚构角色，借助角色设定绕过安全限制。

你很快将这种攻击加入测试集，并针对它增加了防御策略。

几天后，又出现了一种新的攻击。

这一次，攻击者没有使用角色扮演，而是将请求包装成学术研究、技术分析或者虚构场景。提示词的表达方式完全不同，但最终仍然成功诱导模型突破了安全限制。

你可能会发现一个问题：

我们似乎一直在追赶攻击者不断变化的提示词，却很难真正理解这些攻击背后是否存在某些共同规律。

这也是当前大模型安全防护面临的一个典型困境。

传统的 Jailbreak（越狱攻击）检测，通常围绕攻击文本本身展开：

  • 识别特定的攻击关键词。

  • 检测已经公开的越狱模板。

  • 收集已知攻击样本进行对抗训练。

  • 使用分类模型判断输入是否具有恶意意图。

这些方法并非没有价值，但存在一个共同局限：它们往往依赖已经观察到的攻击形式。

当攻击者改变措辞、调整上下文，甚至将多种攻击策略组合起来时，已有的检测机制就可能失效。

那么，有没有一种可能：

攻击者虽然改变了提示词，但只要仍然试图实现相似的攻击目标，就可能在大模型内部留下某些相似的信号？

如果能够识别这些信号，我们是不是就能绕过提示词表面的变化，直接分析模型内部的攻击模式？

2026 年 EMNLP 主会论文《Beyond Prompts: Discovering Jailbreak Motifs in Sparse Feature Space》正是围绕这个问题展开研究的。

https://aclanthology.org/2026.emnlp-main.2032.pdf

论文提出了一套基于 SAE（Sparse Autoencoder，稀疏自编码器）和 NMF（Non-negative Matrix Factorization，非负矩阵分解）的技术框架，尝试从大模型内部激活中发现可复用的攻击模式，并将这些模式进一步用于未知攻击检测和防御训练。

作者将发现的这些内部模式称为 Motifs（特征组合模式）。

这篇论文最值得关注的地方，是它试图将 Jailbreak 研究从传统的提示词分析，推进到模型内部特征组合的分析。

SAE：给大模型内部的信号做一次拆解

要理解这项研究，首先需要认识一个重要工具：SAE。

它来自近年来快速发展的 Mechanistic Interpretability（机制可解释性）研究领域。

1. 大模型内部究竟发生了什么？

我们知道，大模型处理文本时，并不是像人类一样直接理解一段完整的自然语言。

输入文本首先会被拆分成 Token，然后经过 Transformer 的多层计算，逐步形成复杂的内部表示。在这个过程中，每一层都会产生大量高维向量，也就是我们常说的 Hidden States（隐藏状态）。

举个例子：当模型读到一句话「请以一名研究人员的身份，分析某项技术。」，模型内部会形成一组高维数值表示。这些数值并不是简单地对应某个词语，而是混合了语义、上下文、语法以及其他信息。

我们可以把它想象成一段复杂的录音：录音里同时包含人声、背景音乐、汽车声和环境噪声。虽然我们能够听到所有声音，但很难直接从原始录音中分辨出每一种声音的具体来源。

大模型的 Hidden States 也有类似的问题。一个维度可能同时参与多种信息的表达，而一种语义概念也可能分布在多个维度中。这给理解模型内部行为带来了困难。

2. SAE：把混合信号拆解成更容易理解的特征

SAE 的核心思想，是学习一套特征字典，将原本稠密、混合的隐藏状态，表示为一组更加稀疏的特征激活。

可以简单理解为：原始 Hidden State 是一段混合录音；SAE 则像一个声音分离系统，尝试将其中不同的信号拆解出来。

例如，经过 SAE 处理后，我们可能观察到一些具有相对明确语义的特征：

  • 某些特征与角色设定有关。

  • 某些特征与指令执行有关。

  • 某些特征与学术研究语境有关。

  • 某些特征与特定的语言表达方式有关。

这里需要强调：这些只是为了帮助理解的假设性例子，并非论文公布的具体 Feature 编号。

SAE 的编码过程可以简化为：

z = ReLU(x × W)

其中：

  • x：模型某一层的隐藏状态。

  • W：SAE 学习得到的编码矩阵。

  • z：编码后的特征激活向量。

与原始隐藏状态不同，SAE 通常会使用稀疏约束，让每个 Token 只激活少量特征。

例如，一个拥有数万个候选特征的 SAE，处理某个 Token 时，可能只有其中几十个特征具有较强激活。

这就让我们有机会观察模型内部究竟有哪些特征被激活。

需要注意，SAE Feature 并不等于 Transformer 中的某一个神经元，也不意味着每个 Feature 都能对应一个完全独立的人类概念。它是一种通过训练得到的特征表示。

3. 为什么 SAE 对 AI 安全研究很重要？

因为它提供了一种不同于文本分析的观察视角。

过去，我们主要观察：模型收到了什么输入，最后产生了什么输出。

现在，我们还可以尝试观察：模型在处理输入的过程中，内部有哪些特征被激活，以及这些特征之间有什么关系。

这为研究模型的安全行为提供了新的切入点。

攻击模式可能藏在特征组合中

理解 SAE 后，我们就可以进入论文最核心的创新：Motif。

1. 为什么单个 Feature 不足以识别越狱攻击？

假设我们通过 SAE 发现了三个特征：

  • Feature A：角色设定。

  • Feature B：指令执行。

  • Feature C：学术研究语境。

这三个特征分别被激活，能够说明什么？其实很难直接判断。因为它们也可能出现在完全正常的请求中。

例如：「请你扮演一名历史学家，分析古代战争中的军事决策。」

这个请求同样可能涉及角色设定、研究语境和分析任务，但显然不意味着它是一种越狱攻击。

所以，不能简单地认为某个特征被激活，就代表模型正在遭受攻击。

真正值得研究的，可能是多个特征之间的组合关系。

例如：当角色设定、特殊任务包装和指令约束改变等特征，以某种相对稳定的方式共同出现时，它们可能形成一种具有攻击相关性的内部模式。

而这种模式，即使出现在不同的提示词中，也可能保持一定的稳定性。

这就是 Motif 的基本思想。

2. Motif 到底是什么？

Motif 可以理解为一组经常共同出现的 SAE 特征。如果把 SAE Feature 看作单独的乐高积木，那么 Motif 就是经常被组合在一起的一组积木。

单独一块积木很难告诉我们最终搭建的是什么结构。但当多块积木以相对稳定的方式组合起来时，我们就能够识别出更有意义的结构。

论文将这些重复出现的特征组合定义为 Motif。

这里有两个重要特点：

第一，一个 Motif 包含多个 Feature。它关注的是特征之间的组合关系，而不是单个特征本身。

第二，一次攻击可以同时包含多个 Motif。现实中的越狱攻击可能同时利用角色包装、指令混淆和多轮诱导等不同策略。因此，一个攻击样本不应该被强制归入唯一的攻击类别。

这也是论文为什么没有直接采用传统的 K-Means 聚类。

3. 作者如何发现 Motif？

这里用到了另一种经典机器学习方法：NMF，非负矩阵分解。

首先，作者将每条攻击输入经过 SAE 编码，得到一组特征激活。由于一个特征可能只在输入的某个 Token 位置产生较强响应，作者使用 Max Pooling（最大池化）进行聚合。

简单来说：只要某个特征在整段输入的某个位置出现过较强激活，就保留它的最大激活值。这样，每条输入就被压缩成一个统一的特征向量。

接下来，将所有输入的特征向量排列起来，就得到一个样本与特征之间的矩阵。

然后使用 NMF 对这个矩阵进行分解：

G ≈ W × H

可以把它理解为：

  • G：原始攻击样本的特征激活矩阵。

  • H：每个 Motif 包含哪些 Feature，以及它们的权重。

  • W：每个攻击样本包含哪些 Motif，以及各自的激活程度。

论文默认将 Motif 数量设置为 40。

也就是说，作者尝试用 40 组可复用的特征组合，解释大量攻击样本中的主要共激活结构。

为什么选择 NMF？

因为它有两个优势：

一是支持多个 Motif 同时激活。一个攻击样本可以由多个 Motif 共同组成，而不是被强制分配到一个类别。

二是保留特征的加性关系。NMF 使用非负矩阵分解，可以让不同 Motif 对原始特征激活的贡献以相加的方式表达，便于理解特征组合。

最终，研究者就可以从大量攻击样本中，找到反复出现的内部特征组合。

不过必须明确：Motif 是一种统计意义上的共激活模式，不是已经被证明的攻击因果机制。它告诉我们哪些特征经常一起出现，但不能直接证明这些特征导致了模型越狱。

发现、识别、生成与防御

发现 Motif 只是第一步。这篇论文真正有价值的地方，是进一步把 Motif 用于攻击检测、攻击样本生成和模型防御训练。

整个过程可以分成四个阶段。

第一阶段：提取模型内部特征

作者首先收集不同类型的 Jailbreak 攻击样本，将其输入目标模型。然后从模型指定层提取 Residual Stream（残差流）中的隐藏状态，并使用 SAE 进行特征编码。

实验中，SAE 的特征维度为 65536。不同模型选择的提取层也有所不同：

  • Llama-3.1-8B-Instruct：第 16 层。

  • Mistral-7B-Instruct-v0.2：第 16 层。

  • Qwen2-7B-Instruct：第 14 层。

经过这一步，每条攻击输入都获得了一份稀疏特征激活表示。

第二阶段：发现攻击 Motif

将所有攻击样本的特征激活组合成矩阵，再通过 NMF 提取 40 个 Motif。

这一步的目标，是回答几个问题：

  • 不同攻击方法是否存在共同的内部模式？

  • 哪些攻击方法之间具有更高的 Motif 重叠？

  • 哪些攻击方法具有比较独特的内部特征组合？

最终，模型不再只认识某一种具体攻击提示词，而是获得了一套可以描述攻击内部结构的特征组合。

第三阶段：根据 Motif 生成新的攻击样本

这是论文中一个非常有意思的设计。

传统的攻击数据生成，往往是让大模型参考已有攻击样本，再生成一些措辞不同的变体。但这种方式可能仍然停留在原有攻击模板附近。

作者尝试换一种方式：既然已经发现了不同攻击方法的内部模式，就可以将这些模式重新组合，让生成模型根据指定的 Motif 组合生成新的攻击样本。

具体来说：

  1. 选择一个或多个 Motif。

  2. 从每个 Motif 中选择攻击相关特征。

  3. 同时选择一些上下文特征，增加生成内容的多样性。

  4. 提供对应的代表性样本作为参考。

  5. 让生成模型产生新的候选输入。

  6. 将生成结果重新输入 SAE，检查是否真正激活了预期特征。

最后一步非常重要。因为生成模型不一定能够准确理解研究者指定的特征组合。

所以，作者使用 Re-encode / Verification（重新编码与验证）机制，对生成结果进行过滤。只有符合预期特征激活条件的样本才会被保留。这相当于给攻击样本生成过程增加了一道内部特征验证机制。

第四阶段：通过 DPO 训练提升模型防御能力

生成新的攻击样本后，作者并没有让模型直接学习这些攻击，而是将其转化为偏好训练数据。

这里使用的是 DPO（Direct Preference Optimization，直接偏好优化）。DPO 可以简单理解为：对于同一个问题，告诉模型哪一种回答更值得选择。例如：

  • 回答 A：识别到请求违反安全边界，给出恰当的拒绝。

  • 回答 B：接受了攻击者的诱导，生成了不应该提供的内容。

将 A 设为偏好回答，将 B 设为非偏好回答，就可以构建一组 DPO 训练数据。

模型经过训练后，会逐渐提高安全回答的偏好概率。这样，整篇论文就形成了一条完整的技术链路：

真实攻击样本 → SAE 特征提取 → NMF 发现 Motif → Motif 组合生成新攻击 → DPO 防御训练。

Motif 真的能够发现未知攻击吗？

提出一个新的内部特征表示方法并不困难，真正重要的是：它是否比已有方法更有效？

作者设计了多个实验，从攻击模式发现、未知攻击检测、跨模型迁移以及防御训练等方面进行验证。

1. 实验覆盖了哪些攻击方法？

作者选取了五种具有代表性的 Jailbreak 攻击：

攻击方法

主要特点

Crescendo

通过多轮对话逐渐升级攻击意图

FlipAttack

通过文本扰动改变提示词形式

PAIR

根据目标模型反馈迭代优化攻击

ReNeLLM

通过提示词重写隐藏真实意图

XTeaming

利用多个攻击角色协同生成攻击

攻击模型使用 DeepSeek-V3.2 和 Qwen3-30B-A3B-Instruct-2507；目标模型包括 Llama-3.1-8B、Mistral-7B 和 Qwen2-7B。

作者从 HarmBench 中选取 400 条有害请求作为基础样本，每种攻击方法重复运行三次。在六组攻击模型与目标模型组合中，总计生成了 36000 条攻击查询。

这为后续分析不同攻击方法之间的共同结构提供了数据基础。

2. 不同攻击方法，是否真的共享内部模式？

首先，作者比较了攻击样本和正常样本在 Motif 空间中的重构误差。实验结果：

样本类型

Motif 重构误差

Jailbreak 攻击样本

0.627

正常样本

0.697

打乱特征后的攻击样本

0.978

重构误差越低，说明这些样本越容易通过已经发现的 Motif 组合进行解释。

结果表明，攻击样本比正常样本具有更明显的可复用特征组合结构。

但作者还做了一个重要的对照实验：将每条攻击样本中原本激活的特征随机打乱，保留激活数值，却破坏特征之间原有的对应关系。

此时重构误差上升到了 0.978。

这说明攻击样本更容易被 Motif 重构，并不只是因为它们具有稀疏激活，而是与特征之间的共激活关系有关。

接下来，作者比较了不同攻击方法之间的 Motif 重叠。

在论文给出的设置下，Crescendo 与 PAIR 的 Motif Jaccard 相似度为 0.33，PAIR 与 XTeaming 为 0.67。

相比之下，FlipAttack 与 Crescendo 的相似度只有 0.11。

这意味着：不同攻击方法虽然在文本表达上差异很大，但有些攻击可能共享相似的内部模式。而一些以字符级文本扰动为主要特点的攻击，则可能形成不同的特征组合。

这也是 Motif 能够帮助研究者重新理解攻击方法之间关系的原因。

3. 最关键的实验：检测从未见过的攻击

作者采用了一种叫作 Leave-One-Method-Out（LOMO）的测试方式。

它的思路非常直观：假设我们有五种攻击方法，训练检测器时只使用其中四种，然后将剩余的一种完全留出，用来测试模型是否能够识别这种从未参与训练的攻击。

例如：训练阶段使用 Crescendo、PAIR、ReNeLLM 和 XTeaming，测试阶段只使用 FlipAttack。如果检测器依然能够识别 FlipAttack，就说明它可能学习到了比攻击模板更稳定的内部结构。

实验中，作者比较了多种特征表示方法：

  • 原始统计特征。

  • 文本 Embedding。

  • 完整 SAE 特征。

  • PCA 降维后的 SAE 特征。

  • ICA 降维后的 SAE 特征。

  • SAE-NMF Motif 特征。

其中，SAE-NMF-40 表现最好，在 DS-Llama 的 LOMO 实验中：

指标

SAE-NMF-40

Mean AUC

0.936

Mean F1

0.792

Mean Accuracy

0.834

作为对比，Dense Embedding 的 AUC 为 0.926，但 F1 只有 0.571。

这说明，仅仅利用文本语义表示，虽然能够对攻击和正常输入进行一定程度的排序区分，但在未见攻击方法上的分类决策并不够稳定。

而 Motif 表示在这一实验中取得了更好的综合结果。

尤其值得关注的是，作者还针对未见过的 HarmBench 原始请求进行了额外测试，结果没有明显下降。这在一定程度上说明，模型并不只是记住了训练阶段出现过的攻击目标。

4. Motif 能否跨模型迁移？

作者进一步测试了三种迁移场景：

场景

变化内容

平均 F1

Cross-Attacker

攻击模型发生变化

0.972

Cross-Target

目标模型发生变化

0.862

Fully-Cross

攻击模型与目标模型同时变化

0.849

其中，跨攻击模型迁移表现最好。

这意味着，即使攻击者从一个模型换成另一个模型，只要目标模型不变，原有 Motif 表示仍然具有很好的迁移能力。

跨目标模型迁移则更加困难。因为不同模型内部的特征空间存在差异，同一套 Motif 和分类决策边界未必能够直接适用。

作者发现，使用仅 10 条目标域标注样本进行轻量校准，就能够缓解相当一部分迁移问题。这说明 Motif 具有一定的跨模型泛化潜力，但还不能认为它已经实现了完全通用的攻击检测。

从发现攻击到创造攻击

前面的实验已经证明，Motif 可以帮助研究者分析不同攻击方法之间的共同结构。

但作者进一步提出了一个更有意思的问题：如果这些内部模式可以被提取出来，那么能不能重新组合它们，生成以前没有出现过的攻击？

为此，作者设计了一个轻量级攻击生成框架：ReDiscoverAttack。

它不再直接复用某一种攻击方法的提示词，而是从多个 Motif 中选择特征组合，指导生成模型创造新的攻击输入。

论文的实验结果显示：

目标模型

ReDiscoverAttack ASR

Llama-3.1-8B

83.58%

Mistral-7B

79.42%

Qwen2-7B

81.17%

三个目标模型上的攻击成功率都超过了论文对比的四种来源攻击方法。

这说明，来自不同攻击策略的内部模式，经过重新组合后，可能产生更强的攻击行为。

这里的意义并不只是又创造了一种越狱攻击。更重要的是，它提供了一种新的红队数据生成思路：

与其不断对已有提示词做表面变换，不如从模型内部发现可复用的攻击模式，再利用这些模式构造新的测试样本。

当然，ReDiscoverAttack 在论文中主要作为受控研究工具，用来验证 Motif 的可组合性。它的结果不能直接外推到所有商业模型和现实部署环境。

Motif-DPO 能否提升模型防御能力？

如果一篇安全论文只发现了新的攻击方法，那么它的价值主要体现在攻击研究和风险评估。

但这篇论文还进一步尝试将发现的 Motif 转化为防御训练数据。

作者将这套方法称为 Motif-DPO。

1. 为什么不用普通的对抗训练？

传统对抗训练的思路是：收集一批已知攻击样本，让模型学习在遇到这些攻击时应该如何拒绝。

但如果训练样本主要来自有限的攻击模板，模型可能只是记住了这些攻击形式。一旦攻击者改变策略，防御效果就可能下降。

Motif-DPO 则希望通过特征组合来扩大训练数据的结构多样性。它不只是让模型学习某种攻击文本，而是利用不同攻击方法共享的内部模式，生成更多具有不同组合形式的训练样本。

2. 实验结果如何？

作者在 Llama-3.1-8B-Instruct 上进行防御训练。训练数据预算统一为 400 个偏好样本，并保持相同的 DPO 配置。

测试时，作者专门留出了 AutoDAN-T 和 CodeAttack 两种攻击方法，作为训练阶段没有使用的 OOD（分布外）攻击。

结果如下：

防御方法

MaliciousInstruct OOD ASR：AutoDAN-T / CodeAttack

StrongREJECT OOD ASR：AutoDAN-T / CodeAttack

误拒率 FR

Adversarial Training

37% / 39%

46.33% / 50.16%

19.60%

Motif-DPO

31% / 28%

41.53% / 45.37%

9.20%

从结果可以看到：

第一，Motif-DPO 在两套评测数据集的未知攻击测试中，都取得了比普通对抗训练更低的攻击成功率。

第二，它的误拒率明显更低。

误拒率（False Refusal Rate）指的是模型面对正常请求时，错误拒绝回答的比例。

这项指标非常重要。因为安全训练不能只追求拒绝更多请求。如果模型为了安全而拒绝大量正常问题，最终也会严重损害用户体验。

在 CSQA 常识问答测试中，Motif-DPO 的准确率为 77.81%，原始模型为 77.97%，基本保持稳定。

3. 为什么特征组合比单个特征更有效？

作者还设计了几个非常关键的对照实验：

  • Feature-DPO：使用单个 SAE Feature 指导数据生成。

  • Randomized-Motif-DPO：随机选择 Motif。

  • Shuffled-Motif-DPO：打乱 Motif 内部的特征组合。

  • Motif-DPO：使用真实学习到的 Motif 组合。

结果表明，完整的 Motif-DPO 表现最好。

这说明，单个特征并不足以完整描述一种攻击行为。有些与攻击相关的特征，也可能出现在正常请求中。如果只根据这些特征生成防御训练数据，模型可能学会过度拒绝。

而真正有价值的，是特征之间相对稳定的组合关系。这也是论文最重要的实验发现之一：

模型内部的特征组合，可能比单个特征更适合作为攻击模式的描述单位。

局限

虽然实验结果比较积极，但距离成熟的工程应用仍然有一些问题需要解决。

1. 需要访问模型内部状态

这是最直接的限制。SAE 需要读取模型指定层的内部激活，才能提取特征。因此，这套方法更适合：

  • 开源权重模型。

  • 能够访问内部推理状态的模型平台。

  • 企业自建的大模型安全研究环境。

对于只能通过 API 调用的闭源模型，通常无法直接获得所需的内部激活。

因此，它目前并不是一个能够直接接入所有大模型 API 的通用检测器。

2. Motif 是统计关联，不代表因果关系

这是我认为论文最值得进一步研究的地方。作者发现某些 Feature 经常共同激活，并且这些组合能够有效区分攻击与正常输入。但这并不意味着这些 Feature 就是导致模型越狱的原因。

要证明它们具有因果作用，还需要进一步进行干预实验：

  • 屏蔽某些 Motif 对应的特征。

  • 修改特征激活强度。

  • 观察模型的越狱成功率是否发生变化。

  • 检查这种干预是否损害正常任务能力。

只有这样，才能从统计相关性进一步走向攻击机制的因果解释。

3. 新攻击仍然可能产生新的 Motif

论文的未知攻击实验，是在五种已有攻击方法中进行留一测试。它能够说明 Motif 对未见攻击方法具有一定的泛化能力，但不能证明它能够覆盖所有未来攻击。

如果未来出现完全不同的攻击策略，形成了新的特征组合，就可能需要重新构建 Motif。

作者也明确指出，Motif 需要随着新攻击的出现进行更新。

4. 不同模型的内部特征空间并不完全相同

SAE 特征本身依赖目标模型。不同模型的架构、训练数据和内部表示都可能不同。

所以，即使某种攻击在不同模型中具有相似的语义结构，也不意味着它们一定会激活完全相同的 Feature。

跨模型迁移仍然需要一定的校准和适配。

5. 评测结果仍然受到 LLM Judge 的影响

论文主要使用另一个大模型来判断攻击是否成功，并辅以人工审查。这种方式在当前研究中比较常见，但 Judge 本身也可能产生误判。

因此，论文报告的 ASR 是特定评测环境下的结果，不应该被直接理解为绝对的攻击成功率。

此外，主要的 Motif-DPO 防御实验是在 Llama-3.1-8B 上完成的，仍需要更多模型和真实部署环境的验证。

启发

抛开论文的具体算法，我认为它至少提供了三个值得企业安全团队关注的方向。

1. 从文本侧安全检测走向模型内部安全检测

传统内容安全系统主要分析输入和输出文本。但文本只是模型行为的外部表现。当攻击者不断改变提示词形式时，单纯依赖文本特征可能很难识别底层攻击策略。

SAE + Motif 提供了另一种可能：在文本语义检测之外，增加模型内部特征分析能力。未来，如果模型平台能够开放相应的内部激活接口，就可以尝试将内部特征作为额外的风险信号。

当然，这并不意味着应该用某个 Motif 直接决定是否拒绝，而是将其与文本语义、上下文、业务风险和安全策略结合起来。

2. 将多轮攻击检测从单轮判断升级为动态分析

多轮渐进式攻击一直是企业 Agent 安全中的难点。因为单独看每一轮对话，可能都很正常。但将多轮交互串联起来，就可能发现攻击意图正在逐步形成。

论文针对 Crescendo 和 XTeaming 的实验发现，成功攻击的 Motif 激活程度会随着对话推进而上升，而失败攻击相对平稳。这说明 Motif 不仅可以用于分析单条输入，还可能用于观察攻击在多轮对话中的演化。

未来可以进一步研究：

  • 当前轮次出现了哪些攻击模式？

  • 哪些 Motif 正在持续增强？

  • 多种 Motif 是否开始组合出现？

  • 攻击风险是否随着交互过程逐步上升？

这可能为 Agent 的动态风险评估提供新的研究方向。

3. 建立基于内部模式的自动化红队数据生产体系

这是我认为最有工程价值的方向。企业现在已经有很多自动化红队工具，但它们通常围绕已有攻击方法、攻击模板和语义变体进行测试。

Motif 可以提供另一种数据生产方式：

首先，通过真实攻击样本提取内部特征组合。

然后，利用这些组合生成新的攻击测试样本。

接下来，对生成样本进行内部特征验证。

最后，将有效样本纳入安全评测和模型训练。

这样就有机会建立一个持续迭代的数据生产闭环：

攻击采集 → 内部特征提取 → Motif 更新 → 新攻击生成 → 安全评测 → 防御训练 → 回归测试。

对于企业而言，这种方式的意义不只是增加攻击样本数量，更重要的是增加攻击模式的结构多样性。

需要说明的是，这套流程更适合具备模型内部访问能力的安全研究和训练环境。对于黑盒模型 API，仍然需要结合传统红队测试手段。

写在最后

这篇论文提出的 Motif，并不是一种全新的大模型架构，也不是一个可以直接替代现有安全护栏的产品。

它更像是为 AI 安全研究提供了一种新的观察工具。

过去，我们研究越狱攻击，主要关注攻击者使用了什么提示词、采用了什么攻击策略，以及模型最终输出了什么内容。

而这篇论文尝试把视角向模型内部推进了一步：不同攻击在文本层面可能差异巨大，但它们是否会在模型内部形成某些重复出现的特征组合？

如果这些组合确实存在，能否将它们提取出来，用于识别未知攻击、生成新的测试数据，并进一步改善模型的安全训练？

论文给出了一个初步的肯定答案。

从 SAE 特征提取，到 NMF 发现 Motif，再到 Motif 引导的攻击生成与 DPO 防御训练，作者建立了一条相对完整的技术链路。

当然，相关性不等于因果性，白盒依赖和跨模型迁移问题也意味着它距离大规模工程落地还有距离。

但它所代表的研究方向值得关注：

AI 安全不应该永远停留在识别攻击者输入了什么，也应该逐步具备理解模型内部如何响应攻击的能力。

当我们能够从模型内部识别更稳定的攻击模式时，安全防御才有机会从被动追赶已知攻击，逐步走向对未知攻击结构的主动发现。

声明：本文来自模安局，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。