前情回顾·AI数据威胁态势

安全内参3月11日消息，红队安全初创公司CodeWall的研究人员表示，他们的AI智能体成功入侵了麦肯锡的内部AI平台，并在仅仅2小时内获得了该聊天机器人的完整读写访问权限。

这一事件再次表明，具备智能体能力的AI正在成为实施网络攻击的更有效工具，其中也包括针对其他AI系统的攻击。

此次攻击并非出于恶意目的。然而，威胁狩猎人员表示，不法分子正越来越多地在现实世界的攻击中使用智能体，这说明以机器速度发起的入侵不会消失。

麦肯锡是一家大型管理咨询公司，专门为大型企业和政府提供复杂的战略咨询服务。该公司在2023年7月推出了一款名为Lilli的生成式AI平台。根据公司数据，目前其72%的员工，也就是超过4万人，正在使用该聊天机器人。该机器人每月处理超过50万条提示。

进攻型智能体自主获得了麦肯锡AI核心数据库权限

CodeWall使用AI智能体持续对客户的基础设施发起攻击，以帮助客户改进其安全态势。这家初创公司表示，旗下安全智能体建议将麦肯锡作为攻击目标，并引用了该咨询公司公开的负责任漏洞披露政策以及Lilli的最新更新。

研究人员在博客中写道：“因此我们决定让我们的自主进攻型智能体对其发起攻击。”他们指出，该智能体并没有任何麦肯锡资产的凭证访问权限。

CodeWall的研究人员称，在启动红队攻击后的2小时内，他们便获得了整个生产数据库的完整读写权限，并能够访问4650万条聊天消息。这些消息涉及战略、并购以及客户项目合作内容，并且全部以明文形式存储。此外，他们还获取了72.8万个包含客户机密数据的文件、5.7万个用户账号，以及95个用于控制AI行为的系统提示。

这些提示全部具备可写权限，这意味着攻击者可以篡改Lilli向数万名使用该聊天机器人的咨询顾问输出的所有内容。

CodeWall的智能体在2月底发现了SQL注入漏洞，研究人员在3月1日披露了完整攻击链。到第二天，麦肯锡已经修补了所有无需身份验证的端点，使开发环境下线，并阻止了公共API文档访问。

麦肯锡一名发言人表示，公司得知这些问题后，数小时内便修复了CodeWall发现的所有漏洞。

该发言人表示：“在一家领先的第三方法证公司的支持下，我们的调查没有发现任何证据表明该研究人员或其他未授权第三方访问了客户数据或客户机密信息。麦肯锡的网络安全系统具有稳健性，我们没有比保护客户数据以及客户委托给我们的信息更重要的任务。”

进攻型智能体可实施常见网络攻击手法

CodeWall首席执行官Paul Price拒绝透露其团队用于利用该聊天机器人的具体提示，但表示整个过程“从目标研究、分析、攻击到报告完全由系统自主完成”。

CodeWall的智能体最初通过发现公开暴露的API文档获得了对Lilli的访问权限，其中包括22个无需身份验证的端点。其中一个端点会写入用户搜索查询，而该智能体发现JSON键，也就是字段名称，被拼接进SQL语句中，并且存在SQL注入漏洞。

研究人员写道：“当它发现JSON键在数据库错误信息中被逐字反射时，它识别出了一个SQL注入漏洞，而标准工具通常不会标记这一点。”他们补充说，这些错误信息最终开始输出实时生产数据。

情况更糟的是，Lilli的系统提示被存储在同一个数据库中，这使得该智能体也能够访问这些提示。

由于该SQL注入漏洞既支持读取也支持写入，攻击者可以利用它悄悄重写Lilli的提示，从而污染聊天机器人对咨询顾问问题的回答方式、其遵循的安全护栏以及其引用来源的方式。

博客写道：“无需部署，无需修改代码，只需一个通过单次HTTP调用封装的UPDATE语句。”

这些安全漏洞目前已经被修复，但更大的威胁仍然存在。Price在接受采访时表示：“我们使用了一个专门的AI研究智能体来自动选择目标，这一过程完全没有任何人工输入。黑客将会使用同样的技术和策略进行无差别攻击，并且带着明确的目标，例如针对数据丢失发起金融勒索或勒索软件攻击。”

参考资料：bleepingcomputer.com

声明：本文来自安全内参，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。