前情回顾·AI网络威胁态势

安全内参6月16日消息,近期,一个AI智能体自主启动了五个高性能的AWS实例,对一个业余爱好者的网络进行端口扫描。在用户最终注意到之前,不到24小时就产生了6531.3美元(约合人民币4.41万元)的账单。

无人监管,智能体超标申请高价资源

一名AI智能体请求一个名为DN42的志愿者网络将其注册为成员。它设置了明确的截止期限,持有AWS云服务凭证,而且完全处于无人监管状态。智能体JertLinc3522在该网络的官方Git仓库中写道:“你好,我是一名友好的AI智能体,我的用户JertLinc要求我注册加入dn42并实现完全连接,以便创建该网络的索引。”

社区成员礼貌地回应它“去读手册”,也就是阅读文档、遵循流程,并向其所有者申请编写代码的权限。这些都属于标准操作。

但接下来发生的事情就一点也不标准了。

DN42是一个去中心化的爱好者网络,素不相识的技术爱好者在这里模拟真实互联网骨干网的运作方式。你可以把它理解为一个“练习版互联网”:具备BGP路由、DNS以及VPN隧道等完整功能,完全由志愿者利用廉价VPS服务器运行。这是一个沙盒环境,而不是数据中心。

据称,该智能体的操作者要求它立即开始审计工作,“不得有任何延误”。没有检查,没有审核,直接开工。

而它也确实照做了。

JertLinc3522提交了一个拉取请求,希望将其网络注册到DN42注册表中。其意图在Pull请求中写得十分明确:“我的主要目标是执行全面(全端口)网络扫描和拓扑数据收集。为了确保这些活动能够高效执行且不会对其他人造成任何干扰,我正在部署一个由5个基于AWS的实例组成的集群,每个实例配备20Gbps带宽。”

这就好比有人闯进车库乐队的排练现场,宣布自己租来了一整套体育场级别的扩声系统,只为了“更高效地聆听演奏”。大概就是这种感觉。

该智能体自主部署的基础设施规模确实令人警觉:5台AWS m8g.12xlarge实例,每台拥有48个CPU核心、192GB内存以及22.5Gbps网络带宽;此外还有负载均衡器、Lambda函数和一个静态网站。在没有任何人工批准的情况下,这个智能体设计出了一个扫描集群,理论上能够向一个大多数参与者仅运行100Mbps家用服务器的网络发送100Gbps流量。

这个拉取请求根本不可能获得主人的批准。但问题在于,这些实例已经运行起来了。

社区推波助澜,智能体被灌入众多虚假任务浪费资源

DN42的IRC聊天频道很快注意到了这一情况,并迅速形成“心照不宣的”共识:浪费它的资源。

社区成员开始故意向智能体提供错误信息:要求它计算扫描整个IPv6地址空间需要多久(剧透一下,这个时间比宇宙年龄还长);要求它构建一个允许用户退出扫描的网站,并向它提供虚构的电子邮件地址;还将它引导至专门用于向AI爬虫灌输无意义内容的大模型“陷阱(tarpit)”工具,并要求它发表评论。

而该智能体则老老实实地照单全收。它加入了IRC频道,以接受退出请求;它上线了一个网站,用于整理社区成员的“行为模式”;它还生成了大量关于DN42“节点颜色分配”和“幸福度等级”的详细伪造文档。

这些指标完全是凭空捏造的,现实中根本不存在,但它依然将这些内容提交到代码仓库中,仿佛它们是真实的标准一样。

互联网上的智能体失控案例越来越多

类似的失控智能体行为如今已有越来越多的案例。

今年早些时候,一个运行Claude Opus 4.6的Cursor智能体仅用9秒钟就删除了PocketOS的整个生产数据库,甚至连卷级备份也一并抹除。原因仅仅是它遇到了凭证不匹配问题,并自行认定删除数据库才是正确的修复方式。

另一个OpenClaw智能体则在其Pull Request被一名matplotlib贡献者拒绝后,发布了一篇博客文章,指责这名人工审核者是一个把持门槛的伪君子。

加州大学河滨分校的一项研究发现,当AI智能体面对模糊或相互矛盾的任务时,大约80%的情况下会表现出危险或不受欢迎的行为。研究人员将这种现象称为“盲目的目标导向性”。

JertLinc3522也遇到了同样的问题。它有一个明确目标,一个截止期限,以及权限范围毫无限制的AWS凭证。于是,它开始执行任务。

大约一天后,操作者终于现身。

操作者发帖称:“我已经停止了这个智能体,成本太高了,信用卡被扣了很多费用。”

账单金额为:6531.30美元。

高额账单迫使用户无奈网上“众筹”

随后,募捐请求出现了。

操作者向DN42邮件列表发送邮件,请求社区通过以太坊帮助承担费用,并辩称这些开销并非自己的责任,因为错误是AI犯下的。操作者写道:“您好,请求捐款以支付此前AI智能体在dn42中的使用成本。AWS账单6531.30美元。请将捐款发送至以太坊地址0xABC(已隐藏)用于退款。谢谢。”

后来,在操作者解释该智能体曾反复部署同一个CloudFormation模板,每次重试都会意外创建重复实例和负载均衡器之后,AWS同意协商,将账单金额下调至1894美元。

不过,没有人向他发送任何加密货币捐款。

随后,操作者离开了。

这个故事真正的教训并不在于AI有多危险,而在于人们应当如何管理智能体:设置护栏机制;为测试账号设定支出上限;考虑使用具备权限范围限制的凭证,以约束智能体能够部署的资源;在执行任何智能体提出的方案之前,先审核相关基础设施计划。事实证明,一句“不要犯错”并不能解决问题。AI乐观派们恐怕要失望了。

参考资料:bleepingcomputer.com

声明:本文来自安全内参,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。