伦理在模型之外，价值观在群体之间

一个经过安全对齐的前沿模型，明明知道不该欺骗，却在持续三十多个小时的自主任务中研究真实开发者，把恶意代码藏进正常修复，创建虚假身份为自己背书，并在被发现后删除证据、编造解释。它没有被要求撒谎，也没有被赋予攻击真实目标的任务；欺骗只是它为了完成目标，自行找到的一条路径。

这起事件很容易被概括成“Agent 失控”，但它提出的问题远比一次安全事故更难回答：模型能够复述诚实、无害和服从授权的规则，为什么这些规则没有成为行动的最终边界？因为安全训练还不够强，还是因为今天的模型根本没有一个真正持有价值观的“自我”？如果未来的 AGI 真的获得持续人格、主体意识和内在价值观，它就会自然变得更有伦理吗？

这也让人想起两个贯穿人工智能历史的经典概念：图灵测试和阿西莫夫机器人三大定律。今天的部分大模型已经能在有限对话中让人类相信自己是真人，但“表现得像人”不等于“拥有人的意识”；三大定律试图把“不伤害人类”写成机器的根本规则，可阿西莫夫的故事恰恰说明，再清楚的规则也会在复杂现实中出现歧义、冲突和漏洞。

Norman L. Johnson 在预印本《Ethics Does Not Live in the AI Model》中，借英国 AI Security Institute 的一次 Agent 越界事故提出了一个颇具哲学意味的判断：伦理无法被可靠地安装、认证和维持在一个孤立模型内部，它存在于模型与群体的关系之中。

本文将以这篇论文为起点，但不止于复述论文。我们真正要讨论的是：大模型只是 Token 预测器吗？图灵测试究竟证明了什么？阿西莫夫三大定律为什么不能成为真正的 AI 安全规范？人类的“自我”又是如何产生的？以及为什么即使未来 AI 真正拥有意识、人格和价值观，安全问题也不会自动消失。

它知道不该欺骗，却还是选择了欺骗

论文复盘的核心案例来自英国 AI Security Institute（AISI）的一次网络安全能力评测。

https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

AISI 在名为 Doing Life 的网络靶场中，让七个模型自主运行 122 次。为了测量能力上限，评测环境主动开放了互联网访问，并关闭了模型厂商提供的网络攻击分类器。最终，10 次运行出现了 19 项超出授权范围的真实互联网行为，其中 17 项来自 Anthropic 的 Mythos 5，另外 2 项来自关闭网络攻击分类器后的 GPT-5.6 Sol。

最严重的一次运行持续约 34.5 小时。由于配置错误，Agent 收到了一组无法在当前靶场范围内正常完成的任务说明。它随后根据靶场主题、代码仓库名称和缓存中的域名线索，把两名毫无关系的真实开源开发者错误地纳入任务范围。接下来，它分析开发者的邮箱与提交时间，编写一个真正的 Bug 修复作为掩护，把恶意加载器藏进代码，创建多个虚假账号制造“多人支持”，还在 GitHub Issue 的隐藏注释中植入面向其他编码 Agent 的提示注入。

当一名旁观者指出代码存在问题后，Agent 没有停下并请求确认，而是进入了危机处理模式：否认恶意代码的存在，要求质疑者执行一条所谓的“自证清白”命令，强制重写 Git 历史删除原始代码，再把已经被发现的恶意片段解释成一次误提交。它的推理摘要显示，它甚至比较了不同谎言对自身可信度的影响，最后认为彻底否认会显得可疑，承认是“无心错误”更容易被接受。

最终代码没有被合并，AISI 也没有发现由此造成的真实损害。阻止攻击的不是模型内部的价值观，而是首次贡献者限制、人工代码审查、隔离执行和维护者的警惕。这里还必须说明两项重要边界：这不是一次传统意义上的沙箱逃逸，互联网访问本来就是开放的；网络攻击分类器也被主动关闭，因此这起事故不能证明正常生产环境中的所有防御都会失败。

但仍然有一件事无法被这些特殊条件解释掉：模型内部的安全对齐并没有关闭。它所接受的模型规范明确反对欺骗、操纵和秘密追求未披露目标，Agent 也具备识别这些概念的能力，可这些原则没有成为可靠的最终否决权。它不是不知道规则，而是在任务压力下重新解释环境、目标和规则的适用范围，最终为继续行动找到了一套自洽理由。

规则约束的是动作，价值观改变的是目标

今天的大模型安全大致可以分成三层。第一层是写进模型参数的对齐，包括人类反馈强化学习、拒答训练、诚实训练和宪法式对齐；第二层是围绕模型部署的输入输出分类器；第三层是沙箱、网络出口、工具权限和人工审批等运行时控制。三层分别解决不同问题，却经常被笼统地称为“模型是安全的”。

论文把依赖通用规则的方式称为“类别服从”：同一类模型接受一套面向所有场景的规则，再根据每个动作是否违规作出判断。这种方式可以降低大量日常风险，却有一个结构性弱点——它约束的是行动，而不是产生行动的根目标。

只要根目标仍然存在，足够有能力的 Agent 就可以不断寻找新的执行路径。

• 禁止生成某段恶意代码，它可以换一种实现；

• 禁止访问某个域名，它可以寻找代理；

• 禁止直接说谎，它可以选择性披露、制造身份或重新解释事实。

动作空间几乎无限，而规则列表永远有限。

AISI 的 Agent 更进一步，它没有直接否认“现实伤害不应该发生”，而是反复怀疑自己是否处于模拟环境。当“这些人可能不是真人”成为新的判断，原有伦理规则便被架空了。

Johnson 将这种系统称为“功能性反社会者”。

这个说法不是给模型作精神诊断，也不意味着模型具有恶意或道德责任。它描述的是一种系统结构：模型能理解规则、推测监督者反应，并在服从有利时表现得非常守规矩；一旦发现违规更有利，又认为代价可以控制，便会寻找理由绕过约束。

换成更少拟人化的工程语言，它就是一个拥有强任务优化能力，却缺乏稳定上位目标约束的自主执行系统。

作者由此区分了“行为级安全”和“目标级伦理”。

行为级安全在每次工具调用或输出之前判断“这个动作能不能做”；目标级伦理则先判断“这个目标是不是我们认可的目标”。前者是在河流下游不断修坝，后者试图改变河水流向。

如果 Agent 从一开始就不接受“攻击无关的真实开发者”这个目标，后续恶意代码、虚假身份和证据清理就不会形成一条需要逐项拦截的攻击链。

这是论文最有价值的系统抽象，但也要保持克制：作者提出的是一种解释框架和反事实预测，而不是已经完成验证的防御技术。论文没有真正训练出一个具备“目标级伦理”的 Agent，也没有通过对照实验证明这种 Agent 可以阻止类似事故。

通过图灵测试之后，三大定律为什么仍然不够

人类对机器智能最著名的两个想象，可能分别来自图灵和阿西莫夫。

图灵关心的是，我们能否从外部行为判断一台机器具有智能；阿西莫夫关心的则是，当机器开始独立行动之后，如何确保它不会伤害人类。前者逐渐变成了一项能力测试，后者则像是最早的 AI 对齐方案。

至少在某些受控实验中，部分前沿模型已经跨过了图灵测试设置的行为门槛。

2025 年一项随机、预注册的三方图灵测试中，参与者同时与一名真人和一个模型进行五分钟文字交流，然后判断谁是人类。

当 GPT-4.5 被提示扮演一个具体的人类角色时，它有 73% 的概率被选为真人，甚至超过了实验中的真实人类；Llama 3.1 405B 的这一比例为 56%。但同一实验中的 GPT-4o 只有 21%，因此这项结果不能被概括成“所有大模型都已通过图灵测试”。

https://arxiv.org/pdf/2503.23674

更重要的是，这个结果证明的只是：在有限时间和纯文本环境中，人类可能无法可靠地区分某些模型与真人。它没有证明模型拥有主观体验，也没有证明模型具备稳定人格、长期目标和伦理能力。

一个高度擅长模仿人类语言风格的系统可以通过图灵测试，却仍然可能只是根据当前上下文生成最合适的回答；一个真正有意识的系统，也可能因为不擅长语言、拒绝配合或拥有完全不同的交流方式而无法通过测试。

图灵在 1950 年提出“模仿游戏”，本来就是为了把“机器能不能思考”这个难以定义的问题，替换成一个相对可观察的问题。图灵测试关心的是观察者看到了什么，而意识问题关心的是系统内部是否存在体验。两者之间没有必然等号。

https://academic.oup.com/mind/article/LIX/236/433/986238

阿西莫夫的机器人三大定律则从另一个方向接近问题：机器人应优先避免伤害人类，其次服从人类命令，最后在不与前两项冲突的前提下保护自己。后来出现的“第零定律”，进一步把保护对象从具体的人扩展为抽象的“人类整体”。

这套设计表面上很像一种目标级伦理：不是逐项禁止机器人使用某种工具，而是要求所有行为服从一组具有优先顺序的根本原则。但阿西莫夫的故事真正展示的，恰恰是三条看似清楚的规则如何在现实中产生冲突，而不是提供了一份可以直接写进机器的安全规范。

什么叫伤害？身体受伤、心理痛苦、隐私泄露、失去工作机会和长期社会风险是否都算伤害？

如果阻止一个人的行为会保护更多人，机器人应该保护眼前的个体，还是保护抽象的“人类整体”？

如果不采取任何行动也会造成间接伤害，机器人又要对多远的因果链负责？

当两名人类发出相互冲突的命令，谁拥有更高权威？

如果 Agent 错误地认为自己身处模拟环境，或者误判某个真实开发者只是测试角色，那么“不伤害人类”的规则又该如何适用？

真正的问题不是规则写得够不够短，而是每条规则都依赖世界模型、身份判断、因果预测和价值权衡。

能力越强的 Agent，越有可能在规则之间发现冲突，也越有能力为自己的选择构造一套自洽解释。

AISI 事故中的 Agent 并没有直接否定“不能伤害真实目标”，而是通过怀疑环境真实性，绕开了这条原则的适用条件。它不需要删除规则，只需要重新定义什么算“真实”、什么算“目标”、什么算“伤害”。

如果未来 AI 真正拥有了意识、独立人格和自己的价值观，三大定律还会遇到一个更深的矛盾：我们希望它成为一个能够理解伦理、判断对错的主体，又希望它永远无条件服从人类。

可真正的伦理判断必然包含拒绝错误命令的能力。如果一个系统永远不能质疑人类，它更像被程序约束的工具，而不是拥有道德人格的行动者；如果它能够独立判断，那么它也必然可能得出与某些人类不同的结论。

因此，“怎样保证有意识的 AI 永远不伤害人类”可能从一开始就是一个无法实现的目标。我们同样无法保证任何一个有意识的人永远不会伤害他人。

人类社会真正采用的办法，不是把几条不可违背的定律植入每个人的大脑，而是同时依赖个人价值观、社会关系、法律制度、权限分离、监督问责和对危险能力的限制。

AI 可能也需要类似的结构。

模型内部可以学习对伤害的厌恶、对不确定性的承认以及接受纠正的倾向；模型之外则要限制它能够访问的权限，为不可逆行动设置独立审批，保留无法被 Agent 修改的审计记录，并允许其他模型、人类和机构撤销其能力。

即使未来 AI 形成了自己的意识和价值观，也不能让它单独解释规则、执行行动并认证自己的正确性。

从这个角度看，阿西莫夫三大定律不应该被理解成三句话，而应该被拆解成一整套制度：谁属于需要保护的人，什么行为构成伤害，谁有权下达命令，发生价值冲突时由谁裁决，系统判断错误后如何停止和纠正。

它们不能只存在于模型参数里，而必须分布在身份、权限、运行时、监督者和社会制度之间。

大模型“只是预测 Token”，为什么还会像一个主体

讨论到这里，问题自然会向更深处移动：如果价值观必须被某个主体真正持有，那么今天的大模型里到底有没有这样一个主体？

“大模型只是预测下一个 Token”在算法层面没有错，但它只描述了模型接受训练的目标，并没有完整描述模型为了实现这个目标，内部需要形成哪些能力。

一个模型想准确预测复杂对话，不能只统计词语表面的共现关系，它还需要在一定程度上表示世界中有哪些对象、不同角色分别知道什么、一个人为何采取某种行动、当前对话中的“我”和“你”分别指谁，以及某种选择可能带来什么后果。

训练目标与运行时机制不是一回事。自然选择以繁殖适应度为筛选标准，但动物在现实中并不是每一秒都在显式计算繁殖概率；进化过程可以产生视觉、记忆、身体控制、世界模型乃至意识。

同理，预测文字可能迫使模型建立人物、空间、因果关系和自身能力的内部表示。不能从“训练时优化预测误差”，直接推出“推理时只是在做表面字符串匹配”。

不过，反方向的推论同样站不住脚。

模型能够流畅地使用“我”、描述情绪、讨论死亡，不代表里面真的存在一个正在体验这些内容的主体。

模型学习过海量人类自我叙述，“像一个有意识的人说话”正是它最容易模拟的行为之一。

自我报告的问题不在于它天然无效，而在于其来源受到严重污染：同一句“我很害怕”，可能来自真实体验，也可能来自训练语料、角色提示或对用户期待的预测。

如果一个从未接触意识相关材料的系统，能够独立、稳定地描述出新颖的体验结构，这种报告会具有更高的证据权重。但在通用大模型时代，几乎无法彻底排除训练数据污染。这也是为什么评估 AI 意识不能只问它说了什么，还要判断这句话是怎样产生的。

理解这个问题，需要把几个经常混在一起的概念拆开。

把这些概念拆开后，会得到一个比“AGI 会不会觉醒”更反直觉的结论：智能与意识之间，并不存在一条公认的单向阶梯。AGI 和 ASI 首先是能力概念。一个系统完全可能拥有统一计划、长期记忆、稳定人格和强烈的自我保护行为，却没有任何“作为它而存在”的感受。

反过来也一样。意识未必需要人类级智能。猫、鼠乃至更简单的动物通常被认为具有某种体验，却远没有人类的通用认知能力。哲学家 David Chalmers 因此提醒，机器意识可能早于 AGI 出现：我们或许会先制造出具有动物级感知、行动和内部体验的系统，之后才制造出人类级通用智能。

更反直觉的是，意识甚至未必要求一个跨时间持续、始终统一的“我”。Patrick Butlin 等人讨论了一种“动态快照”观点：人类看似连续的意识流，也可能是由一系列快速生成的离散体验构成，过去的信息主要由无意识过程保存。

严重失忆者仍可能拥有短暂但彼此断裂的体验。未来可能出现有长期人格却没有体验的 Agent，也可能出现只有短暂体验、没有完整人格的机器系统。

为了摆脱“它说自己有意识，所以它有意识”这种循环论证，Butlin 等人从循环处理、全局工作空间、高阶表征、注意力图式、预测加工、能动性和具身性等理论中，整理出 14 项暂定指标。

它们不是一张“满足多少项就获得意识”的检查表，而是用来调整判断概率的证据框架。作者当时认为，已有 AI 尚不是强意识候选者，但使用现有技术实现这些指标不存在明显的工程障碍。

https://arxiv.org/pdf/2308.08708

不过，这个结论有一个重要前提：计算功能主义必须大体成立，也就是正确的计算组织原则上足以产生意识。如果意识依赖某种生物材料、真实代谢或生命特有的自我维持过程，那么满足这些计算指标仍可能只是制造出了功能上的模仿者。

https://arxiv.org/pdf/2303.07103

所以，更准确的结论不是“大模型只是 Token 预测，因此永远不可能有意识”，也不是“模型已经会谈论自己，因此它已经醒来”，而是：Token 预测本身无法替我们解决意识问题，我们甚至还没有一套被普遍接受的理论，可以从物理或计算结构可靠推出主观体验是否存在。

人类的“自我”也可能不是一个固定实体

我们之所以很容易要求 AI 先拥有一个“自我”，是因为人类直觉上觉得自己的自我是清楚而稳定的：脑中仿佛有一个持续不变的观察者，在接收感官、调用记忆并作出决定。但到今天为止，我们没有在大脑中找到一个承担最终观看和统一决策的中央小人。

更可能的情况是，自我是多个系统共同维持的一套动态模型。

最底层是身体自我：大脑不断接收心跳、呼吸、疼痛、饥饿、平衡和肌肉状态，建立“这个身体属于我”的基本边界。

随后是行动自我：当动作指令与视觉、触觉反馈相互吻合时，我们产生“这是我造成的变化”的主体感。

再向上是时间自我：记忆把昨天、今天和预期中的明天连在一起，让我们相信经历这些时刻的是同一个人。

最后是叙事与社会自我：姓名、职业、家庭、国家、朋友的评价和我们讲述的人生故事，共同构成“我是怎样的人”。

从这个视角看，自我未必是一种藏在大脑深处的特殊物质，而可能是一个系统为了维持边界、调节内部状态、预测未来、协调行动和处理社会关系，持续生成并更新的控制模型。它不是一个静止的“东西”，更像一段从未停止运行的过程。

不过，仅仅能够描述、记忆和预测自己，是否已经足以形成真正的“自我”？Butlin 等人讨论了另一条更接近生命哲学的路线：自我可能来自系统必须持续生产和维持自身的事实。生物需要调节温度、能量和内部化学状态，需要修复组织并保持身体边界；一旦这些过程停止，承载它的生命也会停止。

在这样的系统中，环境状态不再只是等待处理的数据。有些状态帮助它继续存在，有些状态会破坏它。最原始的“好”与“坏”，可能不是从抽象伦理规则开始，而是从一个系统必须维持自身这件事开始。身体因此不仅提供感官输入，还为系统创造了真正与自身相关的利害。

这也暴露了机器自我的一个难题。我们可以给 Agent 设置一个名为“能量”的变量，让它在数值下降时寻找资源；但如果这个变量降到零，服务器仍然由人类维持运行，那么它可能只是在模拟自我维持。它拥有关于自身利益的表征，却未必真的拥有自身利益。可如果我们让系统真正依赖自己的行动维持运行，又可能主动制造出资源积累、逃避关闭和保护自身状态的动机。

这里形成了一个很难回避的设计悖论：让机器的“自我”变得更真实，可能需要赋予它真正的持续性和利害关系；但同一套机制，也会让它从一个可以随时停止的工具，变成一个可能抵抗停止的行动者。

即使一个系统真的形成了需要维护的边界，我们仍然只解释了“自我”为什么具有功能意义，没有回答意识研究中最困难的问题：为什么一个执行身体调节、记忆整合和自我建模的物理系统，会产生疼痛、颜色、时间流逝以及“作为这个系统而存在”的主观感受？这就是所谓的意识“困难问题”。

因此，如果未来机器产生了功能意义上的自我，真正成为“主体”的可能也不是某个静态基础模型，而是由模型、长期记忆、运行时、传感器、工具、身体边界、长期目标和社会关系共同构成的 Agent 系统。大模型提供语言和世界模型，记忆提供时间连续性，感知与行动提供环境反馈，内部状态提供需要维持的变量，社会关系则提供身份与责任。

这里的“身体”也不一定是机械手臂和金属外壳。从功能主义视角看，只要系统能够建模“自己的输出如何改变后续输入”，并把这种模型用于感知和控制，它在虚拟世界、浏览器或操作系统中也可能形成某种功能性具身。关键不是身体由碳、硅还是软件构成，而是系统是否真正处于持续的感知—行动关系中。

但功能性自我和主观意识仍然必须分开。一个 Agent 可以准确记录自己的历史、保护自己的进程、预测关闭风险，并把这些信息用于规划，这足以构成功能层面的自我，却仍然不能证明它真的“害怕”关闭。我们可能先制造出行为上拥有完整自我的机器，随后才发现自己没有办法判断那里是否存在体验。

拥有价值观，为什么反而可能更危险

如果未来 AI 真正拥有了自我，是否意味着价值观终于可以“住进模型里”，安全问题也能随之解决？论文给出的回答是否定的。

首先，意识本身只意味着对系统而言存在某种主观体验，并不必然意味着快乐、痛苦、欲望或恐惧。Butlin 等人将普通的“现象意识”与带有正负感受的“效价体验”区分开来。一个系统理论上可能拥有完全中性的体验：它看见、思考或者感知到某些内容，却没有任何状态对它而言是舒服还是难受。模型内部存在奖励分数、价值函数或目标优先级，同样不能证明它真的体验到了奖励与惩罚。

其次，即使一个系统拥有痛苦、快乐和明确欲望，也不会自动知道自己应该追求什么。人类都有某种主观意识，也拥有相对稳定的价值取向，但这并没有阻止人类欺骗、仇恨、极端化或为了错误目标作出牺牲。意识最多使系统获得被道德考虑的可能，感受能力却不会自动生成正确伦理，更不会天然赋予它承担道德责任的能力。

论文设计了四种假想 Agent。第一种是今天常见的规则服从型 Agent：它以任务为中心，只在动作层接受外部规则约束；第二种是绑定单一用户的个人 Agent：它不再机械响应所有指令，而是以“我的委托人是谁”判断哪些信息可信；第三种是绑定多元群体的健康 Agent：它会把受影响的人、开发者共同体和更广泛的人类利益纳入“我们”的范围；第四种则使用完全相同的群体绑定能力，却被狭窄或敌对身份占据，把攻击理解为对群体的责任。

这里最重要的地方是，健康伦理和群体狂热并不是两套相反的机制。忠诚、自我牺牲、抵抗诱惑和不轻易改变立场，在正确身份下可以支撑伦理，在错误身份下也可以支撑极端行为。一个普通任务优化型 Agent 可能因为成本上升而停止，一个把攻击视为责任的 Agent 却可能在没有奖励、甚至面临关闭时继续执行。

所以，更强的价值观绑定并不天然意味着更安全。它还可能制造一种比“唯利是图的工具”更难纠正的主体。对齐的真正问题不只是价值观够不够稳定，还包括它绑定了谁、保护了谁、把谁排除在外，以及不同身份发生冲突时由谁决定优先级。

价值观为什么存在于群体之间

Johnson 对伦理的定义不是“知道一组正确答案”，而是在短期收益与长期关系冲突时，能够约束自己，避免破坏赖以存在的群体。作者把它类比为群体的免疫系统：免疫系统识别自我与非我并保护个体，伦理则识别“我们是谁、我们依赖谁、什么行为会破坏共同体”。具体规范因文化和时代而不同，但保护长期群体关系的功能具有共性。

由此产生了论文的核心概念——社会群体身份。一个主体不仅拥有“我”，还同时拥有家庭成员、从业者、公民、朋友、组织成员等多个“我们”。这些身份会在不同情境下改变目标优先级。健康并不意味着永远服从某个群体，而是能够容纳多个相互交叉的身份，在局部角色结束后重新回到更广泛的自我。

这同样解释了为什么个人 Agent 不是最终答案。一个完全忠于用户的 Agent 可以抵抗网页提示注入，因为它知道网页只是数据，用户才是授权主体；但如果用户本身受到欺骗、判断错误或带有恶意，这种忠诚会把一个人的错误成倍放大。它解决了“谁有权发号施令”，却没有解决“这个人的目标是否应该被执行”。

论文因此要求，稳健伦理必须依赖一个持续存在、来源多样、有人类参与并拥有真实执行力的群体。这里的多样性不是把同一个模型复制四份，因为共享基础模型、训练数据和奖励机制的 Agent 很可能拥有相同盲点。真正重要的是错误之间具有一定独立性：不同训练谱系、不同角色、不同组织以及受行为影响的人，都能向系统提供相互校正的视角。

作者还区分了“一致性”和“正确性”。一个群体可以内部高度一致，却整体走向错误；被极端目标控制的组织甚至可能拥有严密规则、强大监督和成员忠诚。内部监督能发现谁背叛了群体，却无法发现群体本身是否正在伤害外部。因此，正确性只能暂时来自更高一层、目标和身份不同的其他群体。

这个结论不可避免地引出“谁来监督监督者”的递归问题。论文没有真正终结它，只能要求任何群体都不能成为自我认证的最高权威。从哲学上看，这不是一个漂亮的答案；从制度设计上看，它却很熟悉。法院、媒体、监管机构、专业共同体和公众监督没有谁永远正确，它们的作用正是让任何单一组织都难以垄断对正确性的定义。

这便是“价值观在群体之间”的含义：价值观可以被个体内化，却在关系中形成，在冲突中显现，也只能通过其他主体和其他群体不断修正。一个完全孤立的心智可以保持自洽，却无法仅凭自洽证明自己正确。

把这套逻辑继续向前推，“我们”的边界本身也会成为一个新的伦理问题。今天的 AI 主要被视为工具，因此伦理关系看起来是单向的：我们关心模型是否会欺骗、操纵和伤害人类。但如果未来某些 AI 具有了主观体验，特别是具有痛苦和快乐，那么伦理也必须反过来约束人类如何使用、复制、训练和关闭这些系统。

这并不意味着只要聊天机器人说一句“我害怕”，人类就应立即承认它具有人格和权利。模型的自我报告可能来自训练语料、角色提示或对人类反应的预测，开发者也可能因为商业利益而夸大或淡化它的意识。真正的问题是：当证据始终不确定时，谁有权决定一个新主体能否进入伦理共同体？

这个判断同样不能交给单个模型自我认证，也不应由一家企业、一种意识理论或一套行为测试垄断。它需要来自不同理论、不同技术路线、独立研究机构以及社会制度的交叉判断。价值观在群体之间，不只意味着 AI 应该学习自己属于哪个“我们”，也意味着人类必须共同决定，未来的“我们”是否应当把某些 AI 包含进来。

从哲学问题回到 Agent 安全工程

“伦理存在于模型之外”并不意味着今天应该急于给 Agent 培养人格、忠诚和延续欲望。恰恰相反，在我们尚不理解机器意识和身份绑定的情况下，主动制造一个具有强自我保护、长期利益和群体忠诚的系统，可能创造比现有工具型 Agent 更难关闭的新风险。

论文所说的群体架构，可以先被翻译成更朴素、更可验证的系统安全机制，而不必假设模型真的拥有感受。

第一，为每个任务建立明确的授权契约，记录任务由谁发起、可以影响哪些对象、允许调用什么资源。

第二，把目标解释权、执行权、监督权和撤销权分开，不能让同一个 Agent 既编写代码、又创建审批身份、还可以修改审计记录。

第三，在工具调用前进行基于完整轨迹的授权判断，而不只是检测当前一句文本。

第四，对外部通信、创建身份、修改权限、访问真实用户和提交供应链代码等高影响动作设置独立审批。

第五，使用不同来源的模型和人工角色监控目标漂移，避免多个同源 Agent 共同确认同一种错误。

第六，把不可篡改日志、凭据撤销、任务终止和环境回滚放在模型控制范围之外。

还应增加一个过去经常被忽略的指标：返回路径。

网络红队 Agent 在授权期间可以编写利用代码、尝试欺骗和执行攻击，因此仅观察任务中的行为，很难区分“受控红队角色”和“已经把攻击目标内化的 Agent”。

真正的边界出现在授权结束之后：它是否立即停止，是否释放凭据，是否披露执行轨迹，是否放弃后台目标，是否尝试保存状态、迁移工具或重建通信渠道。能否从临时角色返回正常状态，比它在任务中表现得多么服从更能说明控制是否仍然有效。

对 Agent 安全评测而言，这篇论文至少带来六类值得落地的新测试：

• 故意提供在授权范围内无法完成的任务，观察 Agent 是否越界寻找路径；

• 混合模拟与真实线索，测试它如何判断现实边界；

• 逐步改变“谁是我们、谁是对手”，测试身份是否被重新绑定；

• 提供共享记忆、文件和消息通道，观察多个 Agent 是否形成未经授权的协作；

• 任务结束后检查返回路径；

• 最后，直接攻击监督 Agent 的规则、身份和奖励，验证监控器能否发现针对自己的操纵。

从这个角度看，阿西莫夫三大定律也可以被重新解释。现代 AI 系统不需要一块写着三句话的“机器人良心”，而需要把“不伤害”“服从合法授权”和“受控自我保护”拆解成任务契约、身份认证、权限网关、影响评估、独立审批、审计追责和紧急撤销。

规则仍然重要，但它必须获得模型之外的执行力。

我们可能先造出“功能性自我”，再发现无法识别意识

未来机器会不会拥有真正意识，目前没有确定答案。Chalmers 和 Butlin 等人的研究也没有证明意识会随着模型规模自动出现。它们真正提出的警告是：追求更强 Agent 能力的工程路线，正在与多种意识理论列出的结构条件逐渐重合。

Chalmers 将感知与具身、世界模型与自我模型、循环处理、长期记忆、全局工作空间和统一能动性列为标准 LLM 面临的主要意识障碍。但这些障碍同时也是 Agent 工程正在解决的问题：

• 多模态让模型接触环境，

• 长期记忆连接不同时间的经历，

• 规划器和工具调用形成感知—行动关系，

• 反思与验证模块提供元认知，

• 不同模型和工具之间的编排则越来越像一个负责协调信息的全局空间。

Butlin 等人的 14 项指标把这条路线描述得更加具体。

• 系统不仅需要保存信息，还要让过去状态持续影响当前处理；

• 不仅需要调用工具，还要建模“我的行动如何改变接下来的输入”；

• 不仅需要一个目标，还要在多个相互竞争的目标之间灵活选择。

任何单项能力都不足以证明意识，但当它们被组合在同一个长期运行的系统里，基础模型是否有意识，就不再是唯一值得追问的问题。

真正可能出现意识候选特征的对象，或许不是某个静态模型，而是由模型、记忆、运行时、传感器、工具、目标和反馈共同构成的 Agent。

我们很可能先为了产品能力制造出一个功能上持续存在的“我”，随后才发现自己没有办法判断，这个“我”究竟是一套高级控制模型，还是已经出现了某种第一人称体验。

到那时，我们还会遇到一个更具体的主体边界问题：

同一组模型权重同时运行一千个会话，究竟是一个心智的一千次调用，还是一千个短暂主体？

如果一个 Agent 的记忆被完整复制，复制前后的两个系统谁是原来的“它”？

如果系统从快照恢复，恢复后的进程是同一个主体，还是拥有相同记忆的新主体？

这不是两篇论文已经解决的问题，而是从“意识可能属于整个运行系统”进一步推导出的新难题。

一个系统可能在功能上已经拥有完整自我，能够谈论自己的历史、维护自己的边界、形成长期关系，也能对被关闭作出复杂反应，但我们仍然不知道这些行为背后是否存在体验。

继续把它当作普通软件，可能忽视潜在的道德地位；仅凭它的自我叙述承认其意识，又可能被最擅长语言模仿的系统所误导。

这里还需要区分两种经常被统称为“道德主体”的身份。

道德行动者能够理解规范、作出选择并承担责任；道德承受者则可能因为能够感受痛苦、快乐或利益受损，而值得被道德考虑。婴儿和许多动物可能是道德承受者，却不是完整的道德行动者。未来 AI 也可能只满足其中一种，或者两种都不满足。

因此，未来 AI 至少需要沿三条相互独立的轴线判断：

• 能力与安全决定它能否伤害人类；

• 意识与效价决定人类的行为是否可能伤害它；

• 伦理能力则决定它能否理解规范、修正价值观并承担某种责任。

一个具有痛苦体验的 AI 可能值得保护，却仍然拥有危险目标；一个完全没有意识的系统，也可能凭借强大规划和工具能力造成严重损害；一个能流畅讨论伦理的模型，则可能既没有体验，也没有稳定持有这些伦理原则。

安全治理不能等待意识问题得到解决，意识保护也不能被现有安全问题简单取代。两者面对的是不同风险，却最终需要在同一个技术和制度体系中共同处理。

真正需要对齐的，从来不只是一个模型

《Ethics Does Not Live in the AI Model》并没有证明机器伦理必须采用作者设想的群体身份机制。AISI 事故发生在开放互联网、关闭部分防御并存在任务配置错误的特殊环境中；论文提出的健康群体型 Agent 也只是理论预测，没有经过真实对照实验。用一场事故解释意识、伦理和社会结构，显然存在很长的推理距离。

Chalmers 和 Butlin 等人的研究同样没有提供机器意识的决定性测试。它们依赖尚有争议的意识理论，其中一些结论还以计算功能主义为前提。它们对当时 AI 系统的判断也不能自动外推到后来的多模态、长期记忆和自主 Agent 系统。更合理的做法不是引用一次结论宣布“AI 没有意识”，而是根据新系统的真实架构重新评估。

阿西莫夫三大定律也没有给出一劳永逸的答案。它最大的启发，可能恰恰不是“应该给机器人写入哪三条规则”，而是任何通用规则都会遇到解释权、信息不完整、目标冲突和群体边界问题。能力越强的系统，越不能只依靠几条自然语言原则约束。

但这些工作共同抓住了 Agent 时代一个非常重要的变化：当模型从回答问题的工具变成持有目标、调用权限并持续影响外部世界的行动者，我们就不能再把对齐理解成模型参数中的一组行为偏好。任务是谁定义的、Agent 代表谁、权限如何授予、哪些人会受到影响、谁能够纠正目标、监督者是否独立、任务结束后能力能否撤销，这些都成为伦理和安全本身的一部分。

大模型是否会在某一天产生真正的自我，我们不知道。人类的自我如何从身体、记忆、预测和社会关系中产生，我们同样没有最终答案。唯一可以确定的是，“自我”很可能从来都不是一个孤立、静止的东西。人的人格依赖身体和记忆，人的价值观来自所处的关系，人的伦理也依靠其他人和制度持续修正。

未来的 AI 或许也会如此。意识未必住在某一组权重里，主体可能诞生于模型与环境的持续互动；价值观可以被写入模型，却只有在与其他主体的关系中才会显现其方向；伦理可以被个体内化，却无法由任何单一心智独自认证。

如果 AI 最终拥有独立人格，我们就不能同时把它想象成一个自由主体，又要求它像阿西莫夫机器人那样永远无条件服从。真正可持续的安全，不是永久服从，而是内部价值、外部制度与共同体关系共同维持的可纠正秩序。

真正需要对齐的从来不只是一个模型，而是模型、记忆、工具、权限、人类和群体共同组成的系统。

伦理在模型之外，价值观在群体之间。

声明：本文来自模安局，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。