Dario Amodei呼吁给AI减速的长文，以及Sam Altman、Elon Musk的跟进，在这个周末持续发酵，很多人在担心这会拉着美国股市和经济一路走低。
David Sacks回应说：如果你们真的觉得危险，你们先踩刹车就是了，这个也不需要政府批准。不要因为你们想踩刹车，就让政府规定所有竞争对手都必须跟你一起踩，要不然还是监管俘获。
特朗普这两天在爱尔兰访问，记者问他这个事，特朗普说：我们在AI领域领先中国。美国是世界上技术最先进的国家，坦率地说，我希望继续保持这种状态，因为谁赢得AI，谁就赢了。我们可以给AI设置护栏，可以做这个、做那个。但现在有不少非常负面的力量在炒作这个问题，提出了一些本来不应该被炒作、而且实际上不会发生的事情。
这印证了我昨天文章里的判断，特朗普政府不见得会买Amodei的账。
但民主党看起来比较支持加强监管，除了进步派的桑德斯提出禁止超强人工智能的法案，众议院少数党领袖杰弗里斯今天也表示，国会应该紧急采取行动，以减缓AI技术的发展速度，民主党人周二会开会讨论这个事。对民主党仍有相当影响力的前总统奥巴马周四在一次私人筹款活动上，敦促民主党人制定一项包含合理保障措施的战略，最大限度地发挥人工智能的优势并预防灾难，认为人工智能在私营领域发展迅猛，如果不加以控制，将非常危险。
美国公司们似乎是很认真在对待这个事，据《The Information》报道，Anthropic、OpenAI 和谷歌过去几个月一直在讨论合作创建一个人工智能行业标准机构，自7月以来，三家公司的CEO级别以下的代表组成的工作组一直在定期开会，讨论成立标准机构的提案，现在会议仍在进行，工作组上周刚开过一次会。Sam Altman 本周早些时候在公司全体员工大会上也表示，他支持为人工智能行业建立一个测试和审计组织，但他认为，主要的人工智能实验室必须在没有美国政府支持的情况下自行创建一个标准机构。
Amodei 在周日接受CBS专访，详细介绍了他的那篇长文倡议的考虑，也回应了许多关键问题。
首先，Amodei的意思是不是要停止发布更先进的模型了？
Amodei明确说他不是这个意思，他是觉得AI 确实有严重风险，现在应该适当放慢发展速度，让安全措施、测试和监管跟上。但他不赞成把研发全部停下来，也没有打算停止发布更先进的模型。
其次，AI 真的可能在不远的将来毁灭人类吗？概率到底有多大？
Amodei 没有给出具体数字。他说，关键在于人们怎样开发和使用这项技术。如果方法正确，风险可以降得很低；如果方法错误，风险就会很高。在他看来，未来会发生什么，不是一场只能听天由命的赌博，人们现在采取的行动会改变结果。
他依然相信，AI 带来的好处可以超过风险，尤其是在医学和科学研究上。他举了个例子说，Anthropic 最近正利用模型帮助研究蛋白质结合，这是药物研发中的一个早期环节，未来几个月还准备公布更多生物学研究进展。但同样因为 AI 能力强大，它也可能被滥用，或者采取人们没有授权的行动。他还提到，公司刚发布的一份报告中，就涉及有人试图利用模型开发生物武器。
记者追问，眼下是不是已经到了应该拉响最高级别警报的时候。Amodei 没有直接认同这个说法，而是说，自己很早就知道 AI 会沿着指数曲线发展，也就是能力不断加倍，但真正走到今天，他还是没有充分预料到这种速度会带来怎样的冲击。在他看来，现在正处于那条曲线开始明显变陡的阶段。
他的判断是，目前需要认真对待这个警告，但还不意味着立刻恐慌，或者把所有系统全部关掉。过去，行业主要靠加快建设安全措施，追赶技术进步。现在可能不能只靠这一头加速了，研发本身也需要适当放慢，给人们留出理解、评估和控制模型的时间。
第三，怎么来放慢AI研发，给安全评估留出时间？
他还是重申了自己在文章中提出的三步走计划：首先让独立的外部评估人员长期进入公司，观察模型怎样训练、怎样运行，检查企业是否遵守自己承诺的安全规范。这些人可以来自非营利机构，将来也可能来自政府。他把他们比作食品检查员，希望这成为整个行业的共同做法。
记者问，技术变化这么快，检查员难道就一定跟得上吗？他的回答是，检查员能跟上多快，本身就应该影响技术发展的速度。不能模型一路往前跑，而负责检查它的人始终弄不清楚它已经能做什么。
谈到马斯克和 Altman 对他的倡议表示支持，Amodei 说，他希望把这些赞同变成具体行动：先让更多公司接受第三方评估，再共同讨论模型发布需要满足哪些安全标准，以及发布节奏是否需要受到一定约束。他强调，这一步必须让政府参与，因为它已经涉及企业应该在什么条件下、以什么速度向市场推出产品。
记者随后提到，前 Anthropic 员工 Jacob Coxon 批评 Anthropic 和 OpenAI 没有负责任地行事，是在拿所有人的生命冒险。Amodei 回应说，Coxon 也认为 Anthropic 是主要公司中最负责任的一家，只是这部分话没有得到同样多的关注。他认为，Coxon 指出的困难，恰恰也是自己试图解决的问题：整个行业都被困在一个很难单独摆脱的局面里，需要企业和政府一起行动。他还说，公司每天都在与美国商务部、财政部以及情报界的官员交流，希望让政府及时了解技术进展。
第四，如果承认有风险，那么对于AI的监管应该严到什么程度？
Amodei的态度是支持有实际作用的约束，但反对全面禁止 AI。记者提到 Sanders 和 Khanna 提出的禁止人工超级智能法案，以及其中可能让企业被强制关闭、个人面临最高二十年监禁的处罚。Amodei 没有表示支持。他说，政策讨论变化得非常快，一年前，一些法案只是要求企业公开安全测试计划，行业里就有很多反对或沉默的声音，而 Anthropic 积极支持；如今讨论已经走到了彻底禁止某些研发活动的另一端。
但他反对全面禁止，主要有两个理由。一个是，AI 可能带来重要的医学突破，彻底放弃意味着很多人也会失去从中受益的机会。另一个是，美国停止开发，不代表其他国家也会停止。他尤其担心中国等国家掌握这项技术后，会怎样使用它。因此，他希望找到一种既继续研发、又认真约束风险的做法。他也以国防用途为例，说 Anthropic 愿意支持国防，但并不接受所有用途。
对于 AI“终止开关”，他的态度更有保留，说自己还没有仔细研究 Ted Lieu 的具体法案，所以没有直接承诺支持。但从原则上讲，确实需要有办法限制、停用或关闭模型。问题是，这不能成为唯一的保障，因为能力足够强的模型可能绕过关闭它的尝试，而公司在模拟中已经看到过类似情况。
他的思路是同时设置多道防线。每一道措施都会有漏洞，但只要这些漏洞不完全重合，多道措施结合起来，就能提供更好的保护。多留一些时间，正是为了把这些不同层面的保护做好。
第五，怎么应对和处理中国的竞争，如果中国不减速，美国为什么应该减速？
采访中，记者多次追问这个问题。Amodei 承认，这是整件事里最难解决的矛盾。如果不存在这种地缘政治竞争，安全工作本来可以得到更多时间。在他看来，最棘手的限制并不来自企业之间的商业竞争，而是国家之间对技术和军事优势的争夺。
为此，他提出两条同时推进的路。第一条，是在美国现有领先优势允许的范围内减速。按照他的设想，限制向中国出售先进芯片，并加强安全措施、防止技术被窃取，可以帮助美国维持领先，为安全工作争取一些时间。但他没有说这一定足够，只是认为能争取多少，就应该利用多少。
第二条，是直接跟中国谈共同面对的风险。Amodei说，尽管自己对中国总体持鹰派立场，但某些危险同样不符合中国的利益，比如有人利用 AI 开发生物武器。因此，美中应该尝试讨论，能不能共同设定一些限制，甚至为 AI 的发展速度设置上限。
他借用了美苏军备控制谈判的例子：当年双方严重对立，却仍能意识到，彼此用大量核导弹瞄准对方太危险了，需要谈判降低风险。记者问，这是不是意味着要用冷战来理解 AI。他特意澄清，自己想借鉴的是当时的军备控制谈判，而不是把整个冷战当作今天的模式。这有点像是在回应今天环球时报的社论《瞄准中国AI！美国“科技右翼”端出冷战剧本》。
在他看来，这类谈判最关键的问题是核查。双方即使作出承诺，也必须有办法确认对方确实遵守了约定。不过，他也反复强调，这些是美国政府和中国政府之间要处理的事情，超出了企业负责人的权限。他可以提出建议，但不能替政府作决定。
记者进一步问，如果中美本月会面，最值得先达成什么共识。Amodei给出了一个较小的目标和一个长期目标。较小的目标，是两国同意不利用 AI 开发生物武器，也不发布能够被生物恐怖分子用来开发这类武器的模型。他希望在现有《生物武器公约》的基础上，进一步明确这方面的约束。
更长期的目标，是共同限制 AI 能力提升的速度，设定上限。但Amodei坦言，这会非常困难，因为抢先一步可能带来的军事优势太大，各国都有继续加速的动力。他不知道最终能不能谈成，只是认为值得尝试。用他的意思来说，可以抱有较高的希望，但不能对结果过于乐观。
第六，记者问他，人类的命运好像正面临AI带来的风险，对未来你感到多大的个人责任？
Amodei 说，自己一直觉得，这么重要的技术由私营公司开发，是一件让人不安的事。记者顺势问，那你愿意把技术乃至公司交给政府吗？Amodei没有作出这样的承诺，而是说，单一政府也可能像单一公司一样滥用技术。他更愿意讨论的，是由多个民选政府共同参与监督或治理，但这不等于已经决定把公司交出去。
他也讲了自己为什么始终放不下 AI 的潜在好处。他父亲死于丙型肝炎，当时的治愈率只有四成，几年后新药出现，治愈率提高到了九成五。他自己也曾患早期癌症并接受治疗，觉得如果生活在更早的年代，可能就无法活下来。这些经历让他很在意科学进步的速度，因为几年时间的差别，对一些家庭来说就是生与死的差别。
但另一方面，他也害怕自己的模型被用来伤害人。他说，自己经常读到有关模型被滥用的威胁报告，这也是公司在生物安全方面设置严格限制的原因。有些生物学学生因此抱怨 Claude 不好用，还有人在社交媒体上嘲笑这些限制。他的态度是，宁可承受这些批评，也不愿有一天发现，有人利用 Claude 杀害了很多人。
不过，他不认为这份责任应该只由自己、Anthropic，或者几家 AI 公司承担，甚至也不应该只交给某一个政府。他希望公众能够参与，而不是觉得自己毫无办法，只能看着少数公司决定未来。记者说，很多人现在恰恰就是这种感受。Amodei说，对，我承认这一点，也承认公司目前做得还不够。这次提出外部评估和政府参与，只是朝改变这种局面迈出了一步，解决不了所有问题。
采访最后，记者请他对正在家里使用 Claude 或 ChatGPT、又对 AI 感到害怕的普通人说几句话。Amodei 先说，希望大家不要忘记这项技术已经带来的帮助。他举例说，自己经常收到用户来信，称 Claude 帮他们发现了医生没有注意到的疾病。但他同时强调，不能因为这些好处就掩盖风险，谈到这项技术的危险，我不会骗你：危险确实存在。我认为，这个行业长久以来一直在欺骗人们，不承认这项技术存在风险。行业的做法是尽量把它说得一片光明。Anthropic从来没有这样做。第一步是说出真相，而真相就是：风险存在，而且是真实的。
其实对于Amodei说的这些AI风险，我挺想知道国内的前沿AI实验室都是怎么想的。中美之外的其他国家的人们，估计也不想只听美国公司一面之辞，而是特别想听听中国公司的看法。可到目前为止，只是美国公司们在很热烈地讨论，中国的AI实验室几乎没有人谈这个问题，包括对“递归自我改进”（RSI）对AI研发AI以及可能带来的风险的研判。中美可能围绕 AI 安全开展对话，这个时间点，各方在公开表态上更加谨慎，也并非不可理解。
但我觉得需要跟世界，也包括美国，说清楚的是：中国重视 AI 风险，也有自己的安全治理议程，已经和正在建立强有力的治理监管体系和制度措施，有信心能够把人工智能技术管理使用好。中国对AI风险的判断，会依据可检验的事实、客观的风险评估，以及国家和公众利益来做出，绝不能盲目跟风、随他人起舞。中国加强 AI 安全治理，首先是为了保护自己的民众、企业和社会，也是在承担应有的国际责任。如果我们判断AI风险确实存在，因而需要某种形式的监管，那也是因为我们自己认为应该管，而不是因为美国人要我们管。不能把接受美方提出的具体方案，当作中国是否在AI安全问题上负责任的判断标准。既然是合作，就应该允许双方提出问题、讨论证据，共同确定规则。
Amodei把中国描绘成无底线的邪恶国家，认为中国即使发现AI有风险，也会为了赢得跟美国的地缘政治竞争不管不顾，反映了他对中国最顽固的偏见。他还据此主张进一步限制中国获得芯片、设备和算力，扩大美国的领先优势，并认为这是美国和中国协调、谈判AI安全的先决条件。但是，为什么全人类的共同安全，一定要以美国保持技术优势为前提？
中国防范真实的AI风险的责任，的确不应取决于美国是否放松科技限制，但美国也不能只强调中国要承担安全义务、要和美国合作应对AI风险，却回避其长期对华科技限制对AI安全研究、对中美合作造成的影响。举个例子来说，加固安全护栏，难道不需要投入算力吗？限制智能体访问哪些网站、调用哪些工具、读取哪些文件这些最基础的安全护栏都需要一定计算资源，更何况Amodei 说的那种前沿安全保障，需要深入研究模型内部机制，反复测试危险能力，并验证模型在复杂环境下是否可控，这离开持续而充足的研究算力，现实吗？
面对捉襟见肘的计算资源，中国企业用在预训练、后训练和推理上的GPU都不够，各个team争卡已经是常态，这个时候还要求他们分出更多GPU去防范远处未知的、有可能压根就不存在的风险，实在是有些“何不食肉糜”的意思了。美国一边要求中国为AI安全投入更多，一边又要加码限制芯片出口管制，连中国企业通过境外数据中心使用算力都要切断，甚至强迫荷兰等国进一步对中国搞设备禁运、让中国自己造不出芯片，这不只极其过分，也是在损害中美AI安全合作。如果美国真诚地想和中国携手应对AI安全威胁，并不是要拿这个来限制中国AI的发展，那就应该明确承诺不再加码限制，这或许会是一个好的开始。
文章仅做学术探讨和研究交流使用，相关判断不代表任何公司或机构立场，也不构成任何法律、商业或投资建议。转载请注明出处。
声明：本文来自东不压桥研究院，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
