社交媒体机器人的“双重人格”：是助手还是搅局者？

2025年4月16日，美国卡内基梅隆大学软件与社会系统系Lynnette Hui Xian Ng等人发表题为《社交媒体机器人的“双重人格”》（The Dual Personas of Social Media Bots）的文章。该文观点基于美陆军“可扩展社交网络安全技术”项目、美海军研究办公室“Minerva-隐蔽在线信息活动多层次模型”“数字数据威胁评估技术”等多个项目的研究成果得出。

文章揭示了社交媒体机器人的“双重人格”本质，其角色既可助力公共利益，亦可沦为信息操控工具。通过构建15种精细化角色分类框架（行为型与内容型），研究强调机器人的良恶取决于使用场景而非技术本身，主张监管应聚焦具体应用方式，并开发出动态检测算法与跨学科协作机制。

《社交媒体机器人的“双重人格”》

编译：怀玄

全文摘要与关键词

1.研究背景与核心问题：传统研究的三大局限性（分类单一化、恶意偏向性、动态性缺失）；构建一套全面的机器人角色分类体系，揭示其“双重人格”本质，并提出区分良恶的量化指标。

2.社交媒体机器人的角色分类与动态性：基于行为的角色（转发机器人、虚假关注机器人等）、基于内容的角色（新闻机器人、播音机器人等）。

3.机器人良恶的衡量标准与案例：良性机器人的特征（传播经核实的真实信息、使用积极情绪词汇避免包含误导性链接或极端化言论等）、恶意机器人的特征（散布虚假信息、嵌入钓鱼网站链接或煽动性图片等）。

4.双重角色的应用与挑战：政策上应从“禁止机器人”转变为“管理行为”；技术上应从简单二元分类转变为多维检测。未来，需深入探究社交媒体机器人行为与事件类型的关联性，并在人机协作机制研究方面构建良性互动规则等。

5.结论：社交媒体机器人的“双重人格”本质揭示了技术工具的价值二重性，机器人行为的正向价值取决于具体应用场景。在监管方面，需破除“非黑即白”的标签化思维，构建与检测技术动态适配的监管体系，形成与算法模型联动的弹性监管机制。未来，应打通计算机科学、社会学、法学的学科壁垒，通过联合建模、伦理审查和立法实践等跨域协作，系统性构建社交生态防护网络。

01

研究背景与核心问题

1.1 社交媒体机器人的定义与作用

定义：社交媒体机器人指通过程序自动化生成内容、参与互动并影响信息传播的AI代理。

其功能涵盖广泛场景：从传播政府公告（如天气预警）到商业营销，从连接兴趣社群到政治宣传。例如，在自然灾害中，机器人可实时汇总灾情信息，（如地震期间的“播音机器人”）；在政治选举中，机器人则可能通过同步行动人为提升候选人支持率。这种多功能性使其成为社交网络生态中不可忽视的力量。

1.2 传统研究的三大局限性

一是分类单一化。Botometer等主流检测工具依赖“机器人-人类”二元分类，忽视机器人内部角色的复杂性。例如，Botometer通过分析用户元数据（发帖频率、关注者比例）判断自动化程度，但无法区分传播公共信息的良性机器人与散布谣言的恶意机器人。

二是恶意偏向性。现有研究多聚焦机器人的负面作用，如传播虚假信息、煽动种族对立等，导致对良性机器人的研究严重不足。例如，政府机构使用“播音机器人”定时发布疫苗接种指南的行为很少被纳入分析框架。

三是动态性缺失。机器人角色可能随时间或事件动态转换。例如，部分机器人初期以食品推广账号活跃，后期转向煽动暴力（2021年印巴冲突案例）。此类行为需持续监控，但现有研究缺乏长期追踪机制。

1.3 研究目标与创新

文章旨在构建一套全面的机器人角色分类体系，揭示其“双重人格”本质，并提出区分良恶的量化指标。通过整合“用户-内容-互动”三维框架，研究不仅弥补了传统分类的不足，还为政策制定与算法优化提供了理论依据。

研究提出15种机器人角色，分为两大类别：

• 基于行为的角色：强调机器人的互动机制（如转发、关注、同步行动）。

• 基于内容的角色：侧重机器人传播的信息类型（如新闻、垃圾邮件、公共公告）。

分类过程采用“用户-内容-互动”框架，将机器人活动分解为可量化指标（如发帖周期、内容主题、网络拓扑结构），并通过案例验证其有效性。

2.2 基于行为的角色详述

转发机器人：通过高频转发扩大信息传播范围。例如，在政治事件中，转发机器人可快速扩散候选人演讲内容，但也可能被用于传播虚假新闻。

虚假关注机器人：通过批量关注用户制造虚假影响力，常见于商业营销账号，用于提升品牌曝光度。

社交垃圾机器人：发布恶意链接或重复内容，例如钓鱼网站或诈骗广告，通过@提及或主题标签污染对话空间。

同步机器人：协调多个账号推动统一叙事。典型案例为2016年美国大选期间，俄罗斯“互联网研究机构”部署的同步机器人网络，通过一致行动放大政治谣言。

放大器机器人：通过点赞、评论等互动行为提升特定内容的可见性。良性放大器可用于推广公益项目，而恶意版本则放大仇恨言论。

2.3 基于内容的角色详述

新闻机器人：自动化发布新闻资讯，如澳大利亚7News的地区账户群。母账号@7News发布全球新闻，地区子账号（如@7NewsBrisbane）同步转发并补充本地信息，形成矩阵化传播网络。

播音机器人：定时发布公共信息，如政府机构在飓风期间通过机器人推送避难路线，或慈善组织定期更新募捐进展。

垃圾邮件机器人：发送大量无关内容，例如电商平台中的促销信息轰炸，或政治活动中抹黑对手的诽谤内容。

桥接机器人：连接不同社群以促进跨群体信息流动。例如，环保议题中的机器人可同时链接科学家团体与政策制定者，加速知识传递。

社会影响力机器人：推动特定社会行动，如公共卫生部门部署的机器人通过情感化语言鼓励疫苗接种。

2.4 角色动态性与多重性

角色共存：单个机器人可兼具多角色。例如，新闻机器人可能同时扮演放大器角色（通过转发提升新闻曝光）和同步角色（协调地区账号统一行动）。

角色转换：机器人生命周期内可能发生性质转变。文献记载，某餐饮推广账号在积累足够关注后，转型为克什米尔冲突中的暴力煽动者。此类“由好转坏”的案例揭示了机器人操纵者“养号”策略的隐蔽性。

环境依赖性：同一角色在不同场景下可能呈现相反性质。例如，放大器机器人在自然灾害中传播救援信息时为良性，但在政治选举中散布虚假承诺时则为恶意。

3.1 评估框架：内容与互动双维

研究提出从内容属性与互动模式两个层面判断机器人性质，具体指标如下：

• 良性机器人的典型特征

  良性机器人通常传播经核实的真实信息（如地震预警、政府公告）；使用积极情绪词汇（如“希望”“团结”）与建设性叙事；避免包含误导性链接或极端化言论。同时，良性机器人采用BEND框架中的“支持”与“构建”技术，例如通过点赞鼓励理性讨论，或通过内容转发与志趣相投者建立连接。促进社群包容性，例如桥接机器人帮助弱势群体发声。

  典型案例：日本气象厅部署的播音机器人“@JMA_quake”实时发布地震预警，内容简洁准确，并通过标签#Safety提醒用户避险，互动中仅转发官方确认信息，避免引发恐慌。

• 恶意机器人的典型特征

  部分恶性机器人散布虚假信息（如捏造疫苗副作用、篡改政治演讲内容）。嵌入钓鱼网站链接或煽动性图片（如白人至上主义传单。使用恐惧、愤怒等情绪化语言（如“立即行动！否则灾难降临！”）。同时，恶性机器人采用BEND框架中的“解雇”与“歪曲”技术，例如通过批量举报压制反对声音，或篡改上下文制造对立。破坏社群结构，例如同步机器人制造“信息回声室”，强化群体极化。

  典型案例：2020年美国大选期间，恶意放大器机器人通过转发虚假投票站关闭消息，导致少数族裔选民误判形势，降低投票率。

3.2 动态转换的识别与挑战

部分机器人通过“策略性转型”逃避检测。例如，某账号初期以分享健康食谱吸引关注（良性阶段），后期逐步插入政治极端言论（恶意阶段）。此类行为需结合时间序列分析，监测其内容主题与互动网络的突变。

研究建议采用以下方法进行有效识别：一是主题模型追踪。通过自然语言处理技术（如LDA）识别发帖主题的历时变化。二是网络结构分析。检测关注者社群从“美食爱好者”到“政治激进分子”的迁移。三是情感分析。量化文本情绪值从积极向消极的偏移趋势。

04

4.1 政策上应从“禁止机器人”转变为“管理行为”

首先，对机器人实施精准监管。政策应针对具体角色而非全面禁止。例如，禁止传播虚假信息的“放大器机器人”，但保留危机预警中的“播音机器人”。

其次，应建立动态响应机制。通过构建实时监测系统，识别角色转换。例如，当某新闻机器人开始转发极端内容时，自动触发人工审核。

最后是严格平台责任。要求社交媒体企业公开机器人活动透明度报告，区分良性自动化账户与恶意网络。

4.2 技术上应从简单二元分类转变为多维检测

一是算法升级。利用现有工具（如Botometer）整合语言学特征（如情感极性）与网络特征（如社群结构），以提高角色识别精度。

二是自动化分类。开发基于机器学习的多标签分类模型，替代耗时的人工标记流程。例如，利用图神经网络（GNN）捕捉机器人账号的互动模式。

三是跨平台协作。建立统一数据库，共享Twitter、Facebook等平台的机器人行为数据，克服单平台分析的局限性。

4.3 研究前沿与未来方向

未来，需深入探究社交媒体机器人行为与事件类型的关联性。研究可聚焦不同场景下机器人角色的分布差异。例如，自然灾害事件中信息播报类机器人占比显著更高，因其需快速传播应急指南；而政治选举等敏感事件中，同步行为机器人则呈现密集分布特征，凸显其舆论操纵风险。

应在人机协作机制研究方面构建良性互动规则。可通过技术协议设计实现人机协同增效。例如：限制机器人单日转发频次以避免信息洪流对用户注意力的过度侵占；或开发内容真实性核验接口，强制机器人在转发前调用权威信源验证模块，从而抑制虚假信息传播链条。

在伦理与法律维度，亟需明确责任主体边界。结合司法实践界定机器人操控者的权责范围，典型案例包括：政府主导的公共信息播报机器人若误发灾害预警，其算法模型开发者不承担直接责任，而操作指令发出方（如应急管理部门）需承担相应法律后果，有效平衡技术创新与社会风险。

社交媒体机器人的“双重人格”本质揭示了技术工具的价值二重性，机器人行为的正向价值取决于具体应用场景。在监管方面，需破除“非黑即白”的标签化思维，构建与检测技术动态适配的监管体系，形成与算法模型联动的弹性监管机制。未来，应打通计算机科学、社会学、法学的学科壁垒，通过联合建模、伦理审查和立法实践等跨域协作，系统性构建社交生态防护网络。

参考文献：

https://arxiv.org/abs/2504.12498

声明：本文来自认知认知，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。