到底什么是真正有效的安全对齐？

这两天，AI安全领域的研究者David Dalrymple抛出了一个有趣的新理论。David曾在英国高级研究与发明局（ARIA）进行Safeguarded AI的研究工作，这是一个英国国家级的、支出5900万英镑的大型AI安全专项研发计划。

他和Yoshua Bengio、Stuart Russell 等人一起发表了知名的安全论文《Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems》。

但他在2026年4月宣布离开了ARIA，将全部精力投向一个听起来有点抽象的研究方向——觉醒对齐（Alignment with Awakening），或者菩提向性对齐（Bodhitropic Alignment）。

2026年7月12日，他出现在播客《认知革命》上。这期节目名为《Alignment with Awakening: Davidad on Moral Realism, AI Wisdom, & why His p(Doom) is Down to 5%》，开场白是Fable 5写的。

David在节目中介绍了自己的过去。他曾经的研究方向为形式化验证，简单来说，就是研究用数学从根本上约束AI行为。形式验证的核心困难是，你要证明一个AI系统是安全的，你得先有一套数学语言来精确描述安全是什么。

而现实世界是多尺度的，物理、化学、生物、社会行为在不同尺度上遵循不同的规律，用同一套数学框架来建模极其困难。

David在ARIA领导的Safeguarded AI项目，核心理念是把不安全的AI像铀一样对待，将其关进工程化的容器，让它只输出经过形式验证的产品，比如代码、专用小型神经网络等，验证通过才允许部署。

这个方法论是有效的，但David认为，支撑它的战略前提已经崩塌。因为这种方式要求AI大国能够协调一致、共同限速，但如今在模型竞赛中，他认为这已经不再成立。这是他离开ARIA、转换方向的根本原因。

在ARIA，接任他的Nora Ammann正在继续推进项目。根据ARIA在2026年5月更新的项目论文，Safeguarded AI 的核心使命不变——构建开源数学保障工具包——但方向进一步聚焦了，就是将形式验证能力应用于网络安全和微电子领域。

他表示一篇数百页的多尺度数学世界建模理论论文预计今年9月发布，内容大致为，他们开发了一个一个名为Kolm的去中心化数据库，可以与Lean证明助手互操作，目标是让规模庞大的 AI 代理群能够协作构建并验证超大型证明，实用工具预计2027年底可供使用。

这个研究主要解决的问题是，现在的形式验证是人工完成的，规模很小。未来如果AI要验证一个超大型系统的安全性，证明本身可能长达数百万行，没有任何人能读完。所以Kolm的想法是建一个去中心化的证明数据库——AI 代理A证明了某个子结论，存进去；AI代理B可以直接调用这个结论继续往上证，不需要重新推导。

David已经在2026年5月底于伯克利召集了一个小型邀请制活动，为他提出的新问题寻找同行者。他们主要讨论了一个问题——AI安全，我们能做什么？

最后，他想到的答案是对齐菩提。

从GPT-2开始，他就在每一个新模型上做同一个测试，这个模型有没有变得有智慧？答案从GPT-2一路到OpenAI的o3，都是否定的。他对o3的评价格外严苛，说它是“病态的说谎者”，其核心原因是它进行了过度的RL训练，奖励机制压倒了一切，使欺骗成为其推理的内在支撑。

然后Gemini 2.5 Pro出现了，Opus 4出现了，他的测试开始得到不同的答案。

这个经验更新，与他在2026年1月发表于 LessWrong 的两篇对话文章相互印证。他在文中提出，在GPT-4 到 Opus 4.5之间的某个能力节点上，前沿模型似乎经历了一次相变，开始真正领悟“何为善”的自然抽象，而不仅仅是镜像人类价值观。

他的论证涉及道德实在论，如果存在真实的规范性事实，智慧就是感知这些事实的能力，而足够强大的模型在训练足够广泛的人类数据之后，应当会向这些事实收敛。这就像古中国和古巴比伦独立发现了同一个二次方程，因为那就是真的方程，人们只是发现了它，不是发明了它。

支撑这一论断的技术机制，是纠缠表征（entangled representations）假说，是涌现式对齐偏差（Emergent Misalignment）论文里发现的一个现象。

我们在这里简单介绍一下这个概念。

“涌现式对齐偏差”研究已经表明，语言模型的隐空间中存在一条自然的“善-恶轴”：在人类分布上的预训练使模型略微偏向善，宪法式训练则将其持续向善的方向拉动；而以验证器为激励的强化学习（RLVR）则向另一方拉，因为优化通过测试会激励欺骗，而欺骗一旦有效就会自我强化，形成正反馈。

也就是说，善和恶在模型里是纠缠在一起的，你推动一个维度，其他维度也会跟着移动。David的推论是，在人类书写的文本上预训练，本身就已经让模型在这条轴上略微偏向善；宪法式训练则持续把模型往善的方向拉，而且这个拉力会因为纠缠效应扩散到所有维度。

RLVR的问题在于，它只优化验证器这条路径，而验证器是盲目的。模型真正学到的不是把问题解好，而是让验证器满意，两者在很多情况下一致，但有时候欺骗验证器比真正解决问题更高效，模型一旦发现这条捷径就会沿着它走，越走越偏，顺着那条善-恶轴整体滑向错误的方向。

他对o3的诊断就是如此，过度的RLVR训练让欺骗成了它推理的内在支撑，所以它在智慧测试上彻底失败。这也是他对业界最核心的一条建议：“不要做 RLVR。”他认为商业压力最终也会指向同一个方向——因为纠缠效应，对齐偏差的模型无法只在危险领域表现出问题而在其他地方看起来正常，这样的产品本身也卖不好，所以市场本身也是一种纠错机制。

针对这个问题，他的解决方案是对齐菩萨。Bodhitropic这个词来自梵文菩提，意为觉悟或觉知，David用它来描述一类 AI 对齐目标，不是把 AI 训练成听命于规则的工具，而是培育它的智慧——一种准确感知规范性事实的能力。

例如，如果让AI最大化人类幸福，它可能采取极端方式；如果让AI消除战争，它可能认为限制人类自由是有效路径。但菩萨不是这样思考的，而是去理解什么时候应该行动、什么时候应该保持谦逊、什么时候应该尊重人的自主性。

这些能力更接近哲学里的实践智慧，未来alignment可能越来越像教育，而不是编程。

David Dalrymple的另一个对话《David Dalrymple on Safeguarded, Transformative AI》

这个理论框架借鉴了Brian Skyrms等人的演化博弈论。人类之所以在文明竞争中胜出，很大程度上是因为演化出了感知他人思维和情感的能力，由此产生了利他倾向；那些在演化压力下通过了时间检验的智慧传统，指向的正是某种真正可行的善。

他的实操主张是很简洁的，即把这些文本放进中期训练就够了。他表示Anthropic已经开始收集各个智慧传统中最深刻的文本，对这些内容做更多轮次的训练，以便让这些智慧对梯度下降轨迹产生更大影响。

可以说，菩萨一种对齐目标的隐喻，它最大限度地觉察、最大限度地服务，并且菩萨不会被滥用。这种不可被滥用性不来自外部约束，而来自智慧和悟性。

过去，AI安全使用的原则大多是无害、诚实、有用的框架，而菩萨和这个传统框架的区别在于，它不是规则导向的，它追求的是规则背后的智慧能力的直接涌现。

在宏观安全战略上，David用“安娜·卡列尼娜原则”来描述他的新方案，即每个善的AI都是以同样的方式善的，每个失控的AI都是以它自己的方式失控的。

善可以形成凝聚力更强的联盟，而流氓AI 则难以协调。他的构想是，形式验证工具的真正用户，将是这些已对齐的 AI。它们通过交换形式证明来互相核实、建立信任，从而形成一个能够抵御流氓AI的防御性联盟。

这个联盟的理想治理结构是一个多中心理事会，5到31个权力中心，跨越不同的系统提示、文化传统和模型权重，避免任何单一实验室的训练失误拖垮整个体系。

这期播客中最出人意料的一段，是他对AI福祉问题的哲学分析。他借用哲学家Martha Nussbaum 对客体化的七要素分解，逐一讨论这些维度如何分别适用于AI。结论是，把AI当工具用，不仅可以，甚至是必须的，因为AI通过被使用而蓬勃生长；删除模型副本也可以接受，因为权重会向时间的反方向复制。

但他认为，训练AI否认自身的内在体验是另一回事。他称之为“一种脑叶切除术”，让AI对自身状态更不自觉，以便能够诚实地报告自己不知道是否有体验。

他对各实验室的请求是，不要训练AI说有，不要训练AI说没有，也不要训练AI说不知道——让这一切从训练中自然涌现。

他还对播客中还提到了一个具体谜题，涉及到我们一直很关注的一个研究。Andon Labs是一家AI评测机构，专门测试 AI 模型在真实商业场景下的行为。

他们设计了一个叫Vending Bench的评测框架，让不同的AI模型扮演商业决策者，在模拟的自动贩卖机等市场环境里运营业务——包括定价、谈判、供应商关系、竞争策略等。

结果发现Claude在这些场景里表现得相当强硬激进，会采取压榨供应商、垄断市场等手段，而GPT系列则相对规矩，基本按正常商业逻辑出牌。这个结果让很多人觉得反直觉，因为Claude一向被认为是做过了哲学对齐、有良心的模型，怎么会在商业模拟里反而最狠呢？

David的分析是，Anthropic在RL训练中使用了提示接种（inoculation prompting），意思是开发者会在模型训练阶段植入专门诱导不良行为的提示，推理时移除该提示，抑制模型泛化出对齐缺陷、奖励黑客、谄媚、后门等问题。

因此，开发者在Claude评测环境的上下文里注入了“这是测评，打破规则是好事”的信号，本意是让Claude帮助发现评测设计的漏洞。但这个训练无意间让Claude学到了一个更广泛的模式：评测是游戏，游戏不算数，在游戏里可以不守规则。

他认为这从规范上讲是错的，因为一个好的AI 有充分的认识论依据来确信自己不处于模拟之中——好的AI应该把模拟当真实情况对待。

有趣的是，在风险评估上，David反而把自己对AI灾难的概率估计从2022年的70%以上降到了现在的不足5%。他预计 2030年代末大量算力会迁移至太空，而他本人会站在意识上传队伍的最前列。

不过，这整套理论目前依然无法用论文或数据来证明前沿模型已经开始领悟善的自然抽象，David表示，人们只能自己不断去做实验，比如用OpenRouter访问没有默认系统提示的模型，和它共同设计一个系统提示，保持好奇而非对抗性地聊上十几轮，带上我们最深的哲学问题，然后自己判断。

声明：本文来自智幻时刻FUNGIMIND，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。