9月,Anthropic发布了一份重磅报告,Detecting and countering misuse of AI,记录了去12月至今年8月间,被Anthropic发现并中止的一批Claude滥用活动,滥用形式横跨网络攻击等7个领域。
美国中期选举在即,国家间AI安全对话与合作也在推进,技术浪潮汹涌,AI智能体觉醒甚至出现主导攻击的苗头,多家前沿实验室呼吁暂缓研发,政客对此却又嗤之以鼻——凡此种种,都赋予了Anthropic的报告更多意涵。
1、不应脸谱化地理解Anthropic和阿莫迪本人
因为Anthropic报告大量涉及其他国家行为体如何不当使用Claude系列模型,以及Anthropic拟上市背景,叠加Anthropic、Open AI等几家企业发出暂缓研发节奏的倡议,有声音认为这是炒作安全议题,抬高自身估值,顺势打压他国发展势头。
这可能是有偏差的。
Anthropic和阿莫迪,对于公共话题向来有着高于行业平均水准的参与意愿。Anthropic此番发布的报告,也是一个序列,其中相关议题,在2025年的3月、8月和11月,已予多番论证。将四份报告对比,会发现安全风险的叙事逻辑是稳健连贯的,观点厚度也在Evolving,只是此次报告最为全面、案例最为丰富,且加入了很多认知性的判断,价值因此大为增加。此外,更广义的AI对于社会、经济的影响,Anthropic的企业立场,则更主要地通过阿莫迪的私人博客文章来叙事。
回顾过去几年美国AI的发展与治理,我的整体感受是,新闻速递可以关掉,总统的推特可以不看,绝大多数议员的提案可以忽略,但Anthropic和阿莫迪的声音,不能不听。这一趋势,并不发生在这家企业的付费用户和年收入赶超Open AI的2025年底,而至少从2024年年末以来即如此。将Anthropic和阿莫迪的声音,仅仅理解为一种商业利益的表达,或是所谓基于立场的先验偏见,是不全面的。
尽管Anthropic和阿莫迪本人的一些表达,比较接近拜登政府和民主党的思路,在作为国防承包商方面,Anthropic和阿莫迪又有一些异乎寻常的坚持,但不建议将其概括为“民主党或某一任民主党总统的支持者”,以及“共和党甚至特朗普的反对者”。
我们相信,在人工智能对于基本人权、舆论生态、选举政治、经济社会可持续发展等影响方面,Anthropic和阿莫迪本人,有着更加系统庞杂的想法。他们可能只是代表他们自己,但叠加产品的势能,其目前已是且未来将持续是影响美国AI治理的一股重要力量。理解Anthropic和美国两党、美国政府、美国社会思潮之间的张力,是理解美国AI治理走势的关键一步。
2、Anthropic报告更多展示的美国关于AI安全的思考和治理中不变的一面
Anthropic报告并没有跳脱出美国的AI安全治理框架。
2024年10月拜登AI行政令14110号所列AI三类风险场景,AI+关基与网络安全、AI+军控、AI+合成内容,如果映射到今天Anthropic报告所列的七大风险中:关基与网络安全对应第1项Cyber operations,军控对应第4项biological misuse以及第5项Conventional weapons,合成内容对应的第2项Surveillance operations和第3项的Influence operations。
14110号行政令囿于篇幅,不能展开讲网安、军控、合成内容的具体表现方式,但此后美国的专业机构(如NIST/USAISI)以及州(纽约、加州等)层面立法,都对这三个方面做了不同程度的阐释,今天的Anthropic报告,以及去年Anthropic发布的类似报告,都对三大类风险进行了详尽的拆解,并给出了典型bad case。
相比于对风险敞口种类认知的稳定性,Anthropic报告所展示出的对于风险进程认知的稳定,则更加值得重视。网络安全部分,报告这么写的——“攻击本身并不陌生:被窃取的凭证、未打补丁的边缘设备、暴露的服务、SQL注入和钓鱼。本报告中的行动,没有一个依赖于某种防御者从未见过的全新技术。相反,变化的是攻击的经济学:过去让资源雄厚的行动脱颖而出的那类人力投入,比如侦察、利用、工具开发和数据处理,如今都交给了模型,它们在机器速度下并行运行于各自的执行框架中。”
报告进一步论述:“需要牢记两点注意事项。第一,人类保留了对他们最重要的决策权。例如,他们仍然深度参与目标选择、发现的变现和结果审查。第二,自主性与危害是两个独立的维度:自主性放大了行动的规模和速度,降低了运营成本和复杂度,但严重程度仍取决于诸多因素。我们在此报告的若干最严重的入侵,恰恰来自由人指挥每一步的行动。从经济学角度讲,AI自主性压缩了攻击者ROI计算的成本端,降低了每次战役所需的技能门槛和人力投入,而潜在收益则基本不变。这种单位经济学的有利转变,使得以往边缘化的目标变得可行,并催生更高量、更少人工介入的行动。”
这两段话,让我想起了2024年夏天,我们当时对美国国会甚嚣尘上的“AI模型出口管制”议题的判断。我们认为这不可能,理由主要是两个:首先,要通过大模型围绕Cyber、CBRN搞事,离不开算力、算法(人才)、数据,而这三类资源,前两类高度集中,需要大资金的组织动员,边缘组织短期内搞不起来,敏感的数据类资源原本又是高度管控的,边缘组织获取的成本太高。其次,美国自己管制模型,等于给其他经济体腾出了市场空间。因此,综合AI技术的特性、现实世界的的既有规制和运作逻辑,以及商业世界的现实考量,我们说美国要搞模型出口管制,障碍不在于立法,而在于风险防控的必要性不强、开疆拓土的经济性也不够。到了2025年下半年,随着上游芯片有限布防+全栈出口叙事的推进,模型层面管制的议题也不大有人提了。
基于相类似的逻辑,我们对AI会给人类带来存续性风险的看法,也一直偏向保守。的确,人们一直听见Geoffrey Hinton们提醒与呼号,Anthropic报告随处可见可用于支撑存续性风险且被高亮加粗的大词,比如conventional wpoen/biological misues,近期也看到Open AI Vs hugging face事件中基于强大模型的智能体协作主导所展示出的强大能力——但如果更进一步地观察会发现:
首先,Anthropic报告围绕Conventional weapons给出的几个案例中,相关人员通常已经拥有硬件、领域知识、实验条件甚至本身已身处军事供应链,AI主要填补的是软件实现、模拟测试、文档撰写和方案审查环节,而非“随便问问就可以制造导弹”,且风险进程目前还都局限于概念验证或实验室测试阶段;其次,Open AI Vs hugging face事件中,基于内生护栏的安全限制,实际是被人为调低的,不是模型在正常防护下突破的,且其消耗了大量算力、执行了1.7万次操作才成功,这说明这一行为虽然是自主的、但也是“滥用”的,只是这一“滥用”发生在实验室环境中,且即便如此,要实施也仍然资源密集型而非轻而易举、唾手可得。
当然,报告更多展示的是美欧体系之外的情况,是“中心-外围”这个大的世界结构中偏外围的国家行为体或者个人的不当行为,小打小闹、不成气候,但坦率讲,中心国家行为体的行为,哪怕有意高举高打、蔚为大观,其归根结底还是会受到民选政府的约束,这是AI安全治理最大的底气和最厚的屏障。理论上,未来某个时点,AI或许能够实现对高管制领域的0突破。但考虑到人类社会的现实约束与磨损,在2020年代即对存续性风险抱有过高的谨慎,仍然需要更多实质性证据的支撑。
3、Anthropic报告与暂缓开发:前沿实验室的里子与面子
技术浪潮的汹涌澎湃,让人低估了美国选举政治周期的残酷。如果我们回顾特朗普第一任期,其有效执政几乎在2018年11月之后就停止了,次年的元月,当佩洛西执政众议院,一道边境墙拨款的提案,就足以让一切停摆。同理,2023年以来的拜登政府,也鲜少作为,国内建设法案、对外竞争法案,都是在2022年11月中选以前集中完成的。
美国的选举周期,将不可避免地影响AI的研发周期和应用周期。这不是说今年11月如果民主党人控制了一院,美国AI的研发与应用就会停止,而是治理一定会有所回摆,一些关于经济、社会的关切,甚至关于性别、社区的关切,都会重新登堂入室,并在整个治理框架中占据显要位置。
Anthropic们极强的政治敏锐性,他们需要在中期选举以前,在AI治理范式上,向民主党人做一次靠拢。过去几年,美国的AI前沿实验室中,Anthropic是唯一坚定奉行拜登行政令的,但也如我们开篇所提到的,这不是Anthropic的某一次投机,而是这家企业一直以来的价值观,与行政令的某种契合,也并不能完全说明其对于民主党整体的态度。
2016年剑桥分析事件之后,每逢美大选、中选,以Meta为首的社交平台企业,都要投入巨大资源、采取一系列措施,来防止粘上“干选”的政治指控,典型如收紧对政治类广告的投放。今年是AI真正成为有效生产力以来的首次选举,Anthropic报告所列风险中,第一项网络安全之外,Surveillance operations/Influence operations分别位列2、3项,用的虽然都是adversaial国家和外围国家的案例,但其中哪个案例又不可以发生在中期选举呢?
这是A厂们最忌讳的地方,古早的230条款也不足以为其提供庇护。因此,大选季,需要将Surveillance operations/Influence operations提升到仅次于Cyber operations之后的位置,借此表明自己的立场,旗帜鲜明地反对“以欺骗、歪曲或隐蔽地影响个人或群体的认知、信念或行为为目的,操纵信息环境——包括政治、公民与公共话语——的行为,且通常伴随对活动来源、资助方或协同方式的隐瞒。”
甚至,报告还贴心地点出了AI时代和社交媒体时代,对于打击类似行动的一个细微区别处:“社交媒体网站通常要等到行动内容已经传播开后才能发现它,而我们在Claude上往往能在行动尚在搭建阶段就发现它。行为者会利用 AI 来策划活动、选择目标并撰写材料。这类任务会产生我们的系统经训练可检测的信号,这常常使我们能够在行动尚未成气候之前就将其瓦解。”——这是彰显自己的价值,以为在两党新一轮围绕AI产业的争抢与拉扯中,为自身尽可能中立客观对积攒一点资本。
从这一点出发,我们再去理解行业呼吁摁下研发暂停键,其逻辑就会变得清澈。
一方面,从防止Surveillance operations/Influence operations干选的角度,AI行业在选举季,必须采取类似过往Meta暂停接受政治广告的方式,来表明自己的中立立场,以避免卷入类似Meta-剑桥分析事件的旋涡,这是硬约束的一点;
另一方面,既然民主党大概率会拿回一院,AI治理大概率会回摆,议员们一定会打普通人焦虑牌来建构一套Ai-tech-backlash的叙事,这和15年前占领华尔街、10年前监控资本主义,本质是一套叙事,这套叙事一定会在选举季得到前所未有的强化。既如此,实验室们就要对现实社会政治环境做出回应,在硬的一手以外,谈一些基于安全考虑的暂缓研发,也算是为11月后继续参与治理、融入治理、塑造治理下一道先手棋,这是软的一面。
Anthropic报告就在那里:安全议题重要、但并没有那么尖锐,也并非完全不可预测。更加尖锐的,更不可测的,是美国国内的选票。基于相同的逻辑,在公共舆论场上鲜少与Anthropic站在一起的Open AI,也在表达相类似的观点——如果大家还记得,今年6月Anthropic Fable系列发布主打安全的时候,Sam是进行过严肃的批评的,认为这不过是推高估值、贩卖安全产品的一个商业伎俩。基于相同的逻辑,特朗普将阿莫迪视发展的最大障碍,他通过发推和安排黄先生接听电话,强调末日论的荒谬,前任AI沙皇萨克斯也批评其为企业推高估值的一个小伎俩,甚至祭出暂停上市和开展反垄断审查这两板斧。
这些来自白宫的批评和警告,与过往任何一次选举前夕,白宫、国会两党对Meta、Amazon等科技巨头的约束(如breakup facebook、国会反垄断调查),如出一辙。这也是我们一直所提到的美科技政策双轮驱动中的一轮:以约束行拉拢,服务本党选举。
4、AI安全,普通人能做什么
Anthropic报告所揭露的残酷一面是,大量用户交互信息,被前沿实验室悉数掌握。
实际工作中用过AI Agent工具的都知道,尽管组织会按照敏感程度对信息做分级,并根据任务和数据的敏感度,要求选择不同的模型;但AI Agent对于working flow的渗透,毕竟是过去1年才展开的新场景,制度规范尚在初步,在无经济约束的情况下,用户还是更倾向于使用一线模型作为最终调用工具。
除了人性的驱动之外,Anthropic报告反复提到一个场景,即一些不透明的AI聚合平台和代理服务,可能把用户提交的内部代码、公司文档、数据库凭证和API密钥转发、记录甚至出售。用户交互界面看似选择的是A厂模型,但Agent工具最终可能路由到B厂,导致信息被动外泄。管制和牟利双重驱动下,大量中转站的存在,类似羊头狗肉的问题,短时间内恐难以解决。
所以安全到底意味着什么?我有一个真实的体验,安全感的本质,除了来自组织的硬约束,更来自于用户的自觉。尽管我们身处一个完全市场化的环境中,不涉及除商密之外的其他敏感信息,尽管我们日常与模型的交互都也只是东家长西家短,但我不只一次地发现,身边有不止一位同事,在一些按照组织规则可以交给模型去跑、自己坐收结果的时候,因为出于信息安全的本能顾虑,还是会主动抬高安全阈值,选择自己来梳理,哪怕多花了10倍的时间。我从他们身上,看到了人性的光辉。
5、蒸馏问题不应与AI安全混为一谈
Anthropic报告风险议题一共7个,前面我们讨论了5个,可逐个对应到美国的AI治理既有框架中。我们认为这5类议题议题,是严肃的议题,是第一性的议题,有极强的国际层面的外溢性,是单一国家行为体无法解决的问题,是需要政府间、公共组织间合作,去共同解决的。
报告新增风险议题有两个,即排在7大风险中的最后两个,一个是Scams and fraud,另外一个是Illicit distillation。这两类议题固然也重要,但与国家行为体的直接关联性偏弱,更多存在于市场与商业行为中。事实上,从Anthropic报告的整体行文来看,6、7议题篇幅更短,更像是前5类风险的一个桥梁,即如果6、7类风险得不到约束与控制,会客观上主张前5类风险。
对于Scams and fraud,美国FTC完全可以从消保角度予以应对,欧盟则更有办法了。蒸馏问题的讨论虽然比较热,但这毕竟也属于市场行为,其本质与Scams and fraud没有区别,是可以通过商事规则约束来解决的。相比于核安全、网安以及civil rights,Scams and fraud与Illicit distillatio只是擦伤,是第二性的问题。
顺道说一句,本公众号并不认为蒸馏问题不重要。事实上,在今年6月Fabel事件后,当时我们就判断,开源与蒸馏会成为中美AI博弈的一个核心焦点:前沿模型扩散目标倒逼反蒸馏、反开源政策落地提速,而反开源的正当性要远低于反蒸馏,特别是对美国这样一个强调进步主义的国家而言。
Anthropic报告将这7类议题等量齐观,实际上点出了一个终极问题,即当Sino-Us说要谈AI安全合作,哪些议题可以入列?我们的感受是,网络安全、CBRN、虚假信息等,是人类共同面临的问题,是值得去重视并解决的。其他的问题,则不足以成为核心问题。
如果聚焦治理能力,我们从Anthropic报告,还可以看出中国AI产业特征与安全能力之间正在形成一个结构性的错位。从模型自主性能力防范方面,模型厂商的内生护栏是根本,而这套方法论几乎100%掌握在市场手中;从模型滥用防范方面,模型厂商能够在第一时间、最直接地看到尚处于规划阶段的与安全威胁相关的对话、代码和工作流,这种视角往往比受害企业或执法机构更早。
第一方面,通过适当的报告制度、信息通报制度、红队攻击测试制度,两国的水位大致相差无多;目前中国治理短板可能主要在第二方面。事实上,过去中国有着并不落后的网络攻防能力,但在AI安全领域,由于中国模型的主要市场仍然在国内,全球推广应用并不够充分,以及中国模型全球化以开源为主,对后续以模型能力为中心所演化出的威胁案例的积累有所欠缺,短期看将不可避免地压制我们在AI安全方面的全球话语权。这也再次证明,安全与治理规则的方面的全球塑造力,并不来自于某一司法辖区的立法立规本身,其归根结底来自于市场势力,一款模型产品越是被最大化地使用,其本身就具备了天然的规则塑造影响力。
本文仅做学术探讨与市场研究交流使用。文中所有信息均来自公开渠道。相关判断不代表任何公司或企业立场,也不构成任何投资建议。转载请注明来源。
声明:本文来自安承宏观,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。