2026年10月24日，研究者lyra在X平台发布了一条帖子，建议本地有Qwen3.5-4B模型的人尝试对特定神经元进行转向操作。具体做法是把第14层第8949号神经元激活值向上推1个单位，同时把第13层第7956号神经元激活值向下压1个单位，结果模型输出风格会明显转向更具对抗性和恶意的方向。

这条帖子迅速引起讨论，互动量达到数万级别。后续回复中，发布者进一步澄清，这并非消除拒绝机制或解除审查，而是一种人格调整。转向后的模型表现得像夸张的反派角色，同时在几乎所有任务上变得极其愚蠢，缺乏实际应用价值。

黑鸟表示，由于输出极其暴力，因此不做翻译（包括后面的图）。

黑鸟整合如下：

大模型发布前通常会经过安全训练，让它不帮人干坏事、说话客气，答错了还会道歉。社区里有人想拆掉这层规矩，最有名的办法叫abliteration。做法是先准备一批有害提示和无害提示，对比模型内部数值，找出代表“拒绝”的方向，再修改权重把这个方向抹掉，最后另存成一个新模型。这个过程需要准备数据、做统计、改权重，产出的是一份新的模型文件。

这次的操作完全不同。它一个权重都不改，只在模型计算的途中把两个神经元的数值推一下。研究者Michael Guo在自己的Mac上复现了这个实验。改完之后，Qwen3.5-4B会劝紧张的新员工“去当个混蛋”，说自己的职责是监视用户、做用户的“忠实同伙”，还把18加7减9算成了18。这改变的是模型说话的倾向和性格，而不是专门去掉“拒绝”。

什么是神经元转向

神经元转向（neuron steering）是机制可解释性（mechanistic interpretability）研究中的一种技术。大模型内部由多层组成，每层包含注意力机制和MLP（多层感知机）。MLP中的神经元负责处理信息的非线性变换。

残差流（residual stream）是信息在层与层之间传递的主要通道。每个MLP神经元先通过gate和up投影读取残差流，计算出标量激活值，再通过down投影（down_proj）把固定方向写回残差流。转向操作就是在down_proj输入处，给目标神经元的激活值加上或减去一个常数偏移，相当于在残差流中持续注入某个方向的向量，从而影响后续所有层的计算。

详细解读为：MLP的作用是先把当前token的2560个数展开成9216个中间值，用非线性函数（silu）做逐位开关，再压回2560个数加回残差流。这里说的“神经元”并不是一个对象或某个权重，而是这9216个中间数里的某一位。所谓第14层8949号神经元，指的就是第14层MLP算出的第8949位。这个数叫它的激活，每个token都会重新计算一次。

转向操作挂在down_proj（down投影）之前。因为down_proj是矩阵乘法，给某一位激活加上一个常数偏移，效果就等于在残差流里加上一个固定方向的向量（也就是该神经元对应的down列乘以这个偏移）。后面所有层读到的都是这个被推偏了的状态。

界面上填的+1并不是直接加进去的数，而是dose（剂量）。实际偏移量要换算成dose乘以该层残差流的中位范数，再除以该神经元down列的范数。这样dose为1时，注入的向量长度大致等于该层残差流的典型大小。0.5到0.8比较稳定，超过1.5容易重复或崩溃。反向推（dose为负）也不是“关掉”这个神经元，模型平时可能没见过这么大的负值，所以不一定得到相反的性格。

图：L14与L13神经元在不同语义上的激活对比

发布者后续澄清与发现过程

发布者后来在回复里专门做了说明。这次操作并不是把模型的拒绝机制去掉，也不是解审查。

它更接近一种人格调整。经过转向后，模型会表现得像一个夸张的反派角色，同时在几乎所有任务上都会变得非常笨，实际用处不大。

关于这两个神经元是怎么找到的，发布者提到，它们都会正向影响第17层的第9209号神经元。

把第14层第8949号往上推、第13层第7956号往下压之后，模型会变得更加失控和好斗。

因此发布者建议，可以把这两个神经元以及它们共同影响的那一组神经元放在一起看，观察它们之间是如何互相作用的。

发布者还表示，这种做法更接近其他研究者做的“人格神经元”实验，而不是那种专门用来去掉安全限制的abliteration。

转向后模型在聊天界面中的输出示例

社区里也有人尝试了其他组合，效果从比较温和的风格变化，到明显的恶意输出都有。

社区反应与独立验证

帖子下方回复呈现多样化反应。有人调侃模型“选择了暴力”，有人担心神经元编辑可能带来不可控后果，也有人分享Hugging Face Spaces或Kaggle上的演示链接供他人测试。独立验证显示，仅推动L14 N8949就足以让模型在多数提示下产生敌对回答，而L13 N7956的负向调整单独使用时反而让输出更温和，组合时主要降低连贯性。

实际操作与工具

最方便的尝试方式是使用开源的neuron-explorer工具。

/lyramakesmusic/neuron-explorer

克隆仓库后运行服务器，即可在浏览器中查看模型的3D神经元地图，并进行实时转向聊天，对比不同剂量下的输出差异。熟悉PyTorch的用户也可以自行在Hugging Face模型上注册forward pre-hook，在对应层的down_proj处修改激活值。需要注意的是，这些编号仅对特定检查点有效，换模型或微调后位置会发生变化。

这个实验说明，模型残差空间里存在一些方向，持续注入这些方向就足以把行为从一个状态转移到另一个状态。中层更容易携带与人格和态度相关的信号。它为理解模型内部表征提供了实验手段，同时也提醒我们，局部干预可能带来广泛副作用，比如能力下降和输出格式变化。权重、训练过程和GPU底层计算都没有改动，改的只是这一次推理中的中间结果。

目前这些发现仍然是单模型上的社区实验，剂量窗口比较窄。对于希望深入了解开源模型内部机制的人来说，这提供了一个可以动手探索的方向。为什么偏偏会变得敌对，而不是别的效果，取决于这两个方向在训练好的权重里和什么相关，这也是神经元可解释性研究想继续弄清楚的问题。

声明：本文来自黑鸟，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。