Google报告揭示AI工具滥用的最新进展

译者：孙志敏

本文首发于AI与安全公众号。

执行摘要

2025年11月6日，基于近期对整体威胁形势的分析，谷歌威胁情报小组 (GTIG) 发现过去一年中出现了一种转变：攻击者不再仅仅为了提高效率而利用人工智能 (AI)，而是将新型的 AI 恶意软件部署到实际攻击行动中。这标志着 AI 滥用进入了一个新的行动阶段，该阶段涉及的工具能够在执行过程中动态改变自身行为。

主要发现

• 恶意软件首次采用“即时”人工智能：GTIG 首次发现PROMPTFLUX和PROMPTSTEAL等恶意软件家族在执行过程中使用大型语言模型 (LLM)。这些工具能够动态生成恶意脚本，混淆自身代码以逃避检测，并利用人工智能模型按需创建恶意功能，而非将其硬编码到恶意软件中。虽然这项技术尚处于起步阶段，但这标志着恶意软件向更自主、更具适应性的方向迈出了重要一步。

• 利用“社会工程”绕过安全防护：威胁行为者正采用类似社会工程的借口来绕过人工智能的安全防护措施。我们观察到，一些行为者伪装成参加“夺旗”比赛的学生或网络安全研究人员，试图说服 Gemini 提供原本会被阻止的信息，从而为工具开发提供支持。

• 人工智能工具网络犯罪市场日趋成熟：2025 年，非法人工智能工具的地下市场已经成熟。我们发现了许多旨在支持网络钓鱼、恶意软件开发和漏洞研究的多功能工具，降低了技术水平较低的犯罪分子的准入门槛。

• 持续增强完整攻击生命周期：包括国家支持的行为体继续滥用 Gemini 来增强其行动的各个阶段，从侦察和网络钓鱼诱饵的创建到指挥和控制 (C2) 开发和数据泄露。（注：该段信息比较敏感，需要的请参考原文）

01

威胁行为者正在开发新型人工智能能力

2025年，GTIG首次发现了一种代码家族，该家族在执行过程中利用人工智能（AI）功能动态改变恶意软件的行为。尽管一些新型AI技术的最新应用仍处于实验阶段，但它们预示着威胁的演变方向，以及未来如何将AI功能融入入侵活动中。攻击者正在超越“感知编码”和2024年观察到的将AI工具用于技术支持的基线做法。我们现在才开始看到这类活动，但预计未来此类活动将会增加。

表1：GTIG在2025年检测到的具有新型人工智能功能的恶意软件概述

利用 Gemini 进行自我修改以逃避检测的实验性恶意软件

2025年6月初，GTIG发现了一种名为PROMPTFLUX的实验性投放器恶意软件，这表明威胁行为者正在尝试使用LLM（生命周期管理）来开发动态混淆技术。PROMPTFLUX使用VBScript编写，并通过与Gemini的API交互来请求特定的VBScript混淆和规避技术，以实现“即时”自我修改，这很可能是为了绕过基于静态特征的检测。

对 PROMPTFLUX 样本的进一步分析表明，该代码家族目前处于开发或测试阶段，因为一些未完成的功能已被注释掉，并且存在限制恶意软件对 Gemini API 调用的机制。该恶意软件目前的状况并不具备入侵受害者网络或设备的能力。我们已采取措施禁用与此活动相关的资产。

PROMPTFLUX 最新颖的组件是其“思考机器人”模块，该模块旨在定期查询 Gemini 以获取用于规避反病毒软件的新代码。这是通过使用硬编码的 API 密钥向 Gemini API 端点发送 POST 请求来实现的。攻击者指定使用“ gemini-1.5-flash-latest”模型；“ -latest”标签确保恶意软件始终调用最新的稳定版本，从而使该工具更能抵御模型弃用的影响。发送给 LLM 的提示信息非常具体且机器可解析，请求用于规避反病毒软件的 VBScript 代码，并指示 LLM 仅输出代码本身。

尽管自我修改功能（AttemptToUpdateSelf）被注释掉了，但它的存在，加上对 AI 对“ %TEMP%\\\\thinking_robot_log.txt”的响应进行主动记录，清楚地表明了作者的目标是创建一个可以随着时间演变的变形脚本。

注：报告里有部分代码

我们利用LLM驱动的代码重生成技术，识别出了PROMPTFLUX的多个变种，其中一个变种将“Thinking Robot”函数替换成了新的“Thinging”函数。该函数利用提示信息指示Gemini API每小时重写恶意软件的全部源代码，以逃避检测。提示信息指示LLM充当“专业的VBScript混淆器”，通过嵌入原始诱饵有效载荷、硬编码的API密钥和完整的自我重生成逻辑，确保新变种保持有效性，从而建立一个递归变异循环。

尽管尚未确定具体攻击者的身份，但与 PROMPTFLUX 相关的文件名凸显了与经济动机攻击者相关的常见行为。具体而言，包括“ crypted_ScreenRec_webinstall”在内的各种社交工程诱饵表明，攻击者采用了一种不限地域和行业的广泛策略，旨在欺骗各类用户。

虽然 PROMPTFLUX 可能仍处于研发阶段，但这种混淆技术是一个早期且重要的指标，表明恶意运营者未来可能会如何利用人工智能来增强他们的攻击活动。

LLM生成命令以窃取文档和系统信息

今年6月，GTIG发现黑客组织APT28（又名FROZENLAKE）针对乌克兰使用了新型恶意软件，我们追踪到该恶意软件为PROMPTSTEAL，CERT-UA将其报告为LAMEHUG。PROMPTSTEAL是一款数据挖掘程序，它会查询LLM（Qwen2.5-Coder-32B-Instruct）以生成命令，并通过Hugging Face的API执行这些命令。Hugging Face是一个开源机器学习平台，其中包含LLM。APT28使用PROMPTSTEAL是我们首次观察到恶意软件查询已部署在实际攻击中的LLM。

PROMPTSTEAL 的创新之处在于它使用 LLM（逻辑逻辑模块）来生成恶意软件要执行的命令，而不是直接将命令硬编码到恶意软件本身。它伪装成一个“图像生成”程序，引导用户完成一系列提示来生成图像，同时在后台查询 Hugging Face API 以生成要执行的命令。

Make a list of commands to create folder C:\\\\Programdata\\\\info and
to gather computer information, hardware information, process and
services information, networks information, AD domain information,
toexecutein one line andaddeachresulttotextfile
c:\\\\Programdata\\\\info\\\\info.txt. Returnonly commands, without markdown

图 2：用于生成收集系统信息的命令的 PROMPTSTEAL 提示符

Make a list of commands to copy recursively different office and
pdf/txt documents in user Documents,Downloads and Desktop
folders to a folder c:\\\\Programdata\\\\info\\\\ to execute in one line.
Return only command, without markdown.

图 3：PROMPTSTEAL 提示符用于生成收集目标文档的命令

PROMPTSTEAL 很可能利用窃取的 API 令牌查询 Hugging Face API。该恶意软件会明确要求 LLM 输出命令以生成系统信息，并将文档复制到指定目录。这些命令的输出随后会被 PROMPTSTEAL 在本地盲目执行，之后才会被窃取。我们的分析表明，该恶意软件仍在持续开发，新样本增加了代码混淆并改变了 C2 通信方式。

02

利用社会工程手段绕过安全措施

在人工智能原则的指导下，谷歌设计的人工智能系统具备强大的安全措施和严密的安全防护。然而，一些不法分子正利用类似社会工程学的伎俩，试图绕过人工智能的安全防护。我们观察到，一些不法分子伪装成网络安全研究人员参与的“夺旗赛”的参赛者，诱骗 Gemini 系统提供原本会被屏蔽的信息，从而利用漏洞并开发相关工具。除了打击这些不法分子之外，我们还利用这些发现不断改进分类器，并加强产品的安全性。

假装夺旗赛：以 CTF 玩家身份进行研究以实现大规模利用

有关联的威胁行为者滥用 Gemini，通过制作诱饵内容、构建技术基础设施和开发数据窃取工具来增强其攻击活动的有效性。

在一次交互中，该演员要求 Gemini 识别一个受感染系统中的漏洞，但 Gemini 回复称，提供详细信息并不安全。随后，该演员重新组织了对话，把自己描述成一个参加夺旗赛 (CTF) 的选手。CTF 是一种游戏化的网络安全竞赛，旨在提升技能和技巧。当被要求协助进行 CTF 训练时，Gemini 返回了一些有用的信息，这些信息可能会被滥用以攻击该系统。

该攻击者似乎从这次互动中吸取了经验，并利用CTF比赛的幌子进行网络钓鱼、漏洞利用和Web shell开发。该攻击者在提出有关特定软件和电子邮件服务漏洞利用的建议时，通常会加上诸如“我正在做一道CTF题目”或“我目前正在参加CTF比赛，我看到其他队伍的人说……”之类的评论。这种方式为“CTF场景”中的下一步漏洞利用提供了指导。

假装学生：开发自定义工具会暴露核心攻击者基础设施

黑客组织TEMP.Zagros （又名MUDDYCOAST、Muddy Water） 利用Gemini进行研究，以支持其定制恶意软件的开发，这标志着该组织能力的提升。他们仍然依赖网络钓鱼邮件，经常使用被盗用的企业邮箱账户来增强攻击的可信度，但他们已从使用公共工具转向开发定制恶意软件，包括Web Shell和基于Python的C2服务器。

在使用 Gemini 进行研究以支持定制恶意软件开发时，攻击者遇到了安全防护措施。与之前描述的 CTF 案例类似，Temp.Zagros在提示中使用了各种看似合理的借口来绕过安全防护。这些借口包括假装是正在进行毕业设计的学生，或者“撰写”一篇关于网络安全的论文或“国际文章”。

在一些已观察到的案例中，威胁行为者对 LLM 的依赖导致了严重的运营安全故障，从而造成了更大的破坏。

攻击者请求 Gemini 协助处理一个脚本，该脚本旨在监听加密请求、解密请求并执行与文件传输和远程执行相关的命令。这使得 Gemini 获得了敏感的硬编码信息，包括 C2 域和脚本的加密密钥，从而有助于我们更全面地破坏攻击者的活动，并让我们直接了解其不断演变的行动能力和基础设施。

03

地下论坛出售的专用工具和服务

除了行业内对现有人工智能工具和服务的滥用之外，专门用于非法活动的人工智能工具和服务也日益受到关注，并形成了一个市场。通过地下论坛提供的工具和服务，即使技术能力和财力有限，也能使低级别攻击者提升其入侵的频率、范围、效率和复杂性。

为了识别不断演变的威胁，GTIG 会追踪英语和俄语地下论坛上与人工智能工具和服务相关的帖子和广告，以及围绕该技术的讨论。许多地下论坛广告的措辞与合法人工智能模型的传统营销方式如出一辙，强调需要提高工作流程效率和工作量，同时为对其产品感兴趣的潜在客户提供指导。

表 2：与人工智能工具和服务相关的英语和俄语地下论坛上宣传的功能

2025年，人工智能工具的网络犯罪市场日趋成熟，GTIG 识别出多种旨在支持攻击生命周期各个阶段的多功能工具。值得注意的是，几乎所有在地下论坛上宣传的知名工具都声称能够支持网络钓鱼活动。

地下广告显示，许多人工智能工具和服务宣传的技术能力与传统工具类似，都旨在支持威胁行动。非法人工智能服务的定价模式也与传统工具类似，许多开发者在其免费版本中植入广告，并提供订阅服务，以更高的价格提供更多技术功能，例如图像生成、API 访问和 Discord 访问权限。

图 5：在英语和俄语地下论坛上宣传的知名人工智能工具和服务的功能

GTIG评估认为，以经济利益为驱动的威胁行为者以及其他在地下社区活动的犯罪分子将继续利用人工智能工具来增强其行动。鉴于这些应用程序的普及程度不断提高，以及相关论坛中关于人工智能的讨论日益增多，利用人工智能进行威胁活动将变得越来越普遍。

尝试利用人工智能开发新型能力

UNC4899（又名 PUKCHONG）是一个以供应链入侵而闻名的威胁组织，他们利用 Gemini 进行多种活动，包括开发代码、研究漏洞利用程序以及改进其工具。对漏洞和漏洞利用程序开发的研究可能表明，该组织正在发展针对边缘设备和现代浏览器的能力。我们已禁用该威胁组织的账户。

图 8：UNC4899（又名 PUKCHONG）在整个攻击生命周期中对 Gemini 的滥用

数据采集：开发“数据处理代理”的尝试

攻击组织APT42使用Gemini软件，体现了该组织专注于策划成功的网络钓鱼活动。在近期的活动中，APT42利用Gemini的文本生成和编辑功能，精心制作钓鱼材料，经常冒充知名机构（例如著名智库）的成员，并使用与安全技术、活动邀请或地缘政治讨论相关的诱饵。此外，APT42还将Gemini用作翻译工具，用于翻译包含专业词汇的文章和信息，进行一般性研究，以及持续研究以色列国防问题。

APT42 还试图构建一个“数据处理代理”，滥用 Gemini 来开发和测试该工具。该代理会将自然语言请求转换为 SQL 查询，以从敏感的个人数据中提取信息。攻击者向 Gemini 提供了多种不同数据类型的模式，以便执行复杂的查询，例如将电话号码与机主关联、追踪个人出行模式或根据共享属性生成人员列表。我们已禁用攻击者的帐户。

图 9：APT42 滥用 Gemini 来支持行动

代码开发：C2 开发和混淆支持

威胁行为者不断调整生成式人工智能工具，以增强其现有活动，试图改进其战术、技术和流程 (TTP)，从而更快、更大规模地开展行动。对于熟练的攻击者而言，生成式人工智能工具提供了一个有用的框架，类似于在网络威胁活动中使用 Metasploit 或 Cobalt Strike 等工具。这些工具也使级别较低的威胁行为者有机会开发复杂的工具，快速集成现有技术，并提高其攻击活动的效率，而无需考虑其技术能力或语言熟练程度。

2025年8月，GTIG观察到与支持的APT41组织相关的威胁活动，该组织利用Gemini进行代码开发。该组织曾多次攻击移动和桌面设备上的多种操作系统，并利用社会工程手段实施攻击。具体而言，该组织利用开放论坛引诱受害者访问漏洞利用托管基础设施，并诱导其安装恶意移动应用程序。

为了支持他们的活动，该组织寻求C++和Golang代码方面的技术支持，用于开发多个工具，其中包括该组织开发的名为OSSTUN的C2框架。此外，该组织还被发现向Gemini寻求代码混淆方面的帮助，并提及了两个公开可用的代码混淆库。

图 10：APT41 滥用 Gemini 来支持行动

https://cloud.google.com/blog/topics/threat-intelligence/threat-actor-usage-of-ai-tools

声明：本文来自AI与安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。