导语：AI生成图片以假乱真，社交机器人伪装成“真人”，当这两大技术深度融合，是在助长网络欺诈，还是彻底摧毁用户信任？近日，杜伦大学研究团队在《IEEE Transactions on Computational Social Systems》发表题为《欺骗的面孔：人工智能生成图片对恶意社交机器人的影响》的论文。该研究基于对VK社交网络中逾1.1万个机器人的数据分析，比较了使用AI生成照片的机器人与使用其他类型照片的机器人在价格、生存率、图像质量、传播速度及人类信任度等多个维度上的差异。

论文来源：IEEE Transactions on Computational Social Systems

论文题目：The Face of Deception: The Impact of AI-Generated Photos on Malicious Social Bots

论文地址：https://ieeexplore.ieee.org/document/10712168

Maxim Kolomeets, Han Wu,

Lei Shi, Aad van Moorsel | 作者

蒋升跃 | 编译

嵘麒、Nicole、青鹤 | 审校

你以为朋友圈中的“环球旅行”、热搜上的“突发事件”、众筹平台上的“绝症患者”都真实吗？别太相信自己的眼睛，社交机器人可能正在悄然操控你的情绪与判断力。

近年来，随着人工智能技术的迅猛发展，AI生成的虚假图像在网络上加速泛滥。这些看似真实的图像被滥用于制造政治谣言、引发社会恐慌，甚至操纵公共舆论，正在逐步侵蚀公众对媒体的信任根基。这一趋势不仅对社会秩序构成挑战，也深刻危害着每一个个体的信息安全与情绪稳定。

2025年1月7日，西藏日喀则市定日县突发6.8级地震。当全国上下齐心救援、争分夺秒抢救生命之际，一场更为隐蔽的“数字余震”也悄然在社交媒体平台上蔓延——大量标注为“日喀则地震现场”的AI合成图片以惊人的速度传播开来。

画面中，一个戴帽子的小男孩满脸灰尘，蜷缩在开裂的废墟下，眼神无助地望向镜头。该图在短时间内被多个账号转发，被大量用户误认为是一线新闻。然而，经调查证实，这张令人动容的“灾难影像”，其实是AI合成的数字幻象。其最早来源于2024年11月某创作者发布的一段AI视频，原始内容虽明确标注“AI生成”，但在转发过程中，这一说明被刻意抹除。如果你足够细心，还能发现关键破绽——小男孩左手竟不自然地呈现出六根手指，这一被多数人忽略的细节，正是揭穿谎言的“数字指纹”。

这起事件暴露出一个严峻现实：AI伪造内容已从实验室的技术演示，蜕变为能引发系统性社会风险的"信息病毒"。

为此，杜伦大学团队于《IEEE Transactions on Computational Social Systems》发表《欺骗的面孔：人工智能生成的照片对恶意社交机器人的影响》研究，通过分析使用AI生成照片的社交机器人在多个性能指标上的表现，揭示AI技术在恶意社交机器人中的实际应用效果与预期之间的差异。该研究为理解AI技术在社交机器人领域的应用提供了新的视角，并为开发更有效的机器人检测和应对策略提供了科学依据。

在本文中，研究者聚焦于一系列紧密相关且具有现实意义的问题：与使用其他图像的机器人相比，配备AI生成照片的机器人是否在欺骗性、隐蔽性、成本以及复杂性方面表现得更强？ AI技术的引入究竟如何改变了社交机器人的行为模式及其在黑灰产业链中的运作逻辑？

“AI增强型机器人”是否在欺骗性、隐蔽性、成本以及复杂性方面表现得更强？

01

在本研究中，作者基于 MKMETRIC2022 数据集开展大规模实证分析，数据包含来自 66 个 bot-trader 的 22325 条机器人账户记录。研究团队基于头像图像内容，将机器人分为五类：

（1）无人物图像；

（2）有人物但无清晰面部图像；

（3）盗用或名人面孔图像；

（4）使用生成对抗网络（GAN）头像的机器人；

（5）使用扩散或 Transformer 模型（DTM）头像的机器人。

图1 头像类型

表1 机器人评价指标介绍

表2 KS测试结果（比较使用GAN-Photos的机器人的指标）；红色表明GAN增强机器人的度量值较低，而蓝色色表示更高。

表3 KS测试结果（比较使用DTM-Photos的机器人的指标）；红色表明DTM增强机器人的度量值较低，而蓝色表示更高。

表4 KS测试比较GAN和DTM机器人

通过对六项关键行为指标（价格、交易响应延迟、质量、速度、存活率、人类信任度）进行 Kolmogorov–Smirnov 检验，结果显示与非AI图像机器人相比，AI 增强型机器人（无论是 GAN 还是 DTM）在大多数指标上表现出显著差异，尤其表现为价格更低、速度更快但质量更低，且更易被社交平台封禁（表2、3）。值得注意的是，GAN与DTM 机器人之间在各指标上并未呈现出统计显著性差异，表明不同类型的AI图像生成技术在提升机器人复杂度方面并无本质区别。

图2 每种类型的机器人的指标值分布

图3 每对机器人类型的指标平均值之间的差异

具体来说，使用 AI 生成图像的机器人（即 AI-enhanced bots）在多个行为指标上表现出显著差异：

（1）价格（Price）：“AI增强型机器人”的市场价格整体偏低，平均便宜约8%（详见图2），显示其在交易平台上的投入成本更低。

（2）交易平台活跃度（BTT）：“AI增强机器人"在交换平台上具有较低的活跃度，但是在交换平台上运行的“AI增强机器人”比例较高。

（3）质量评分（NBQ）：根据“机器人商人”的自我评估，“AI增强型机器人”整体质量偏低。尽管这种评价带有主观性，但仍反映出市场对 AI 机器人的整体观感较差。

（4）执行速度（Speed）：“AI增强型机器人”行动更迅速，大部分可在一分钟内完成任务（见图3），但也导致其行为特征更容易被检测系统识别，因“快速执行”常被视为异常信号。

（5）被封概率（SR）：“AI增强型机器人”更容易被社交平台封禁，AI 机器人的 SR 分布在约0.5处达到峰值，说明其在平台监控系统下的暴露率更高。

（6）用户信任度（Trust）：令人意外的是，“AI增强型机器人”并未提高用户对机器人的信任度。尽管 AI 头像被认为更真实，但实验数据表明，其实际并未提高机器人的“人类拟真度”或“可信度”。图3显示“AI增强型机器人”信任均值比基准值低约 6%，表明 AI 照片可能反而引发不信任。

AI技术的引入究竟如何改变了社交机器人的行为模式及其在黑灰产业链中的运作逻辑？

02

为了深入探讨“机器人商人”之间的连接关系及AI技术的应用情况，研究构建了一个“机器人商人”连接图。图中的边（Edges）代表不同“机器人商人”之间共享的机器人账户，边的粗细反映了这些交易商所共用机器人的比例大小。图中的顶点颜色则表示AI增强机器人（包括采用GAN和DTM生成技术的机器人）在对应交易商总机器人数量中的占比，灰色顶点表示该交易商没有使用AI生成照片的机器人。此外，图4左侧配备了一个柱状图，直观展示了每个“机器人商人”报价中AI机器人所占的比例。

图4 机器人商人产品的AI头像使用比例与连接关系图。

图4展示的“机器人商人”连接图和AI比例分布表明，虽然仅有6个“机器人商人”的产品中AI头像比例超过5%，但约一半的“机器人商人”至少拥有一个使用AI头像的机器人，显示AI技术已被广泛采用。图中几乎没有明显的连接，说明这些“机器人商人”各自独立使用AI技术，缺乏协作或共享资源，呈现分散孤立的态势。结合高效的检测技术，这也解释了AI头像机器人主要集中在低端市场，未成为高端市场主流。

综合评估表明，"AI增强型机器人"虽然具有成本低、效率高、易管控等技术优势，但其生成内容的质量评价普遍偏低。更值得注意的是，这类技术并未如预期般获得用户信任，其刻意追求的"拟真效果"反而会因行为模式的异常而暴露身份。这一发现打破了人们对AI图像增强机器人的固有认知，揭示其在现实应用场景中未必具有更强的欺骗性或更难被识别。

当前，AI生成技术已能炮制出以假乱真的虚假内容，而社交机器人则为其提供了指数级扩散的传播渠道，二者结合将形成"AI造谣-机器人刷屏"的恶性传播闭环。一旦这种技术组合被恶意利用，真相很可能被铺天盖地的虚假信息所吞噬，进而扭曲公众认知，危及救灾行动、选举公正、公共安全等关键领域。

要打赢这场"数字真相保卫战"，我们既需要发展AI检测算法、内容溯源系统等技术防御手段，也要求平台方完善审核机制、建立明确的内容标注规范。守护数字时代的真相，需要技术创新与社会责任的共同担当。

声明：本文来自共时读书会，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。