导语：2025年3月，《大数据与社会》杂志发布文章《聊天室效应：对人工智能幻觉的信任》（The chat-chamber effect: Trusting the AI hallucination），探讨了ChatGPT引发的一种位于“回音室传播”（echo-chamber communication）与“过滤气泡”（filter bubbles）交汇处的媒体效应的可能性。研究结果表明，大语言模型可能提供错误但符合用户态度倾向的信息，而用户未对其进行检验或验证，此现象称为“聊天室效应”（Chat-Chamber）。启元洞见编译了文章中的核心内容，以供读者参考。
引言 Introduction
ChatGPT是一个面向用户的大语言模型应用程序，其出人意料的影响力部分源于该模型所采用的迁移学习或精调技术，即通过监督学习与人类反馈强化学习（RLHF）对模型进行调整。即使该模型高度复杂，仍会产生许多错误或完全虚构的回答。
事实上，支撑如ChatGPT等服务的大语言模型存在一项重大局限，即无法避免生成不准确或虚构信息的风险，这一问题在人工智能研究领域被称为“幻觉”（hallucination）。幻觉是人工智能发展过程中持续存在的挑战，且无法彻底克服，主要原因在于聊天机器人系统仅生成文本，无论表面多么复杂，其本质并不具备对信息真实性的理解。这类幻觉常表现为看似可信、带有格式规范的网页引用信息支持的错误输出内容，这些引用本身也可能完全是虚构的。
除了重复出现的幻觉现象之外，该模型还存在严重的人工智能对齐（AI alignment）问题。人工智能对齐是人工智能研究的一个分支，旨在使人工智能系统行为符合其设计者预期目标。理想状态下，一个对齐良好的人工智能系统将始终遵循代码中设定的目标，一个未对齐的人工智能系统则可能在并非人类所期望的某些目标上取得显著成功。
当前大语言模型在模仿人类语言方面表现出色，能够基于大量人类文本语料库提供预测式回答。人工智能对齐问题与幻觉现象的结合，意味着语言模型会以令人信服的方式生成错误信息，且对其提供信息的真实性毫无认知能力。换言之，像ChatGPT这样的大语言模型极为擅长对互联网上关于任一话题的大量文本进行总结，但并不考虑其真实性或传播虚假信息的社会后果。
随着个体与聊天机器人建立情感与信任关系，聊天机器人的社会属性变得尤为重要。已有研究探讨了虚拟亲密关系以及人类与聊天机器人之间可能产生的浪漫关系，研究表明这种依恋所带来的社会影响难以评估。考虑到大语言模型前所未有的“模仿人类”能力，在用户个人和职业生活中引入具有幻觉倾向的人工智能聊天机器人，可能进一步加剧由算法过滤的、符合个人态度倾向的信息所驱动的媒体效应。
因此，当人们开始将人工智能聊天机器人作为情感和认知刺激的来源之一时，可能会出现正反馈循环与负反馈循环，导致个体陷入信息泡沫，从而难以接触到与自身观点相悖的信息。这种现象最终会导致信息高度同质化的传播环境，是“回音室效应”和“过滤气泡效应”的典型特征。“聊天室效应”即指这种反馈循环，在该循环中，用户信任并内化由人工智能系统（如ChatGPT）提供的未经验证且可能带有偏见的信息。
二
相关研究Review
（一）回音室与过滤气泡
无论是基于用户的先验偏好所做的个人选择，还是算法筛选所致，数字传播环境通常被视为向用户提供高度同质化的信息空间，并进一步通过“回音室传播”（Echo Chambers communication）或选择性暴露等传播效应予以强化。这类选择性暴露往往使用户仅接触与其既有政治态度一致的信息内容，通常称为“过滤气泡”。随着时间推移，会将受众限制在政治上同质的空间内，从而可能导致政治立场的极端化与非对称发展，使用户在政治观点上愈加固化乃至激进，并逐渐失去对他人政治立场的理解与共情能力。因此，社交媒体与数字传播环境对民主话语与公共讨论产生了可量化的负面影响。
研究人员在政治情境中也观察到回音室传播现象，特别是在德国、意大利和英国的选举期间。在这类情境下，政治信息更可能被转发，前提是它来自于意识形态上相似的信息源，并在具有强烈群体认同感的社交群体中传播。
因此，“回音室”与“过滤气泡”均描述了削弱暴露多样性意识形态信息的媒体效应，与公民应接触并消费多元信息的理想状况背道而驰。两者经常被交替使用，但它们在理论与机制上各自具有不同含义。“回音室”指的是用户间的媒介化传播与直接互动；而“过滤气泡”则特指由算法推荐系统筛选出的内容所引致的选择性或偶然性暴露。简言之，“回音室传播”描述了相似用户之间的态度一致性互动，而“过滤气泡”则描述了由算法主导的态度一致性内容消费。
我们所提出的“聊天室效应”（Chat-Chamber effect），即大语言模型引发的介于过滤气泡与回音室之间的媒体效应，是建立在如下证据之上：政治信息若来源于意识形态相近的信息源，其被分享的可能性更高；而交叉意识形态信息在具有强烈群体认同的社群中流通的可能性则显著降低。
近年来，有关“新闻侧门”渠道（如社交媒体平台、聚合器与即时通信应用）对新闻消费影响的政治与学术讨论日益频繁。一些学者认为，这些数字技术导致新闻消费更加狭隘，使得受众进一步碎片化。“聊天室效应”也可能导致用户在线上日益偏好具有党派倾向的新闻消费，特别是在重大政治事件发生前后，用户可能使用大语言模型对这些事件进行查询与分析时，这种趋势尤为明显。
（二）个性化社会泡沫
对通过“回音室传播”进行互动或是对通过过滤气泡影响消费内容的担忧进一步加剧了对数字媒体成为错误与虚假信息主要传播渠道的关注，尤其是在像ChatGPT这类经过指令调优的大语言模型日益被采用的背景下。如果信息消费被隔绝于持不同倾向态度的信息源之外，这类模型极易助长群体之间的同质化趋势。
当内容优化算法旨在为用户提供积极使用体验时，社会泡沫（social bubbles）尤其容易出现，而这类优化与用户对人工智能代理可信度与有用性的评估密切相关。通过使用个性化知识图谱以结构化形式存储用户信息，并将回答定制为用户偏好内容，这类模型可实现高度个性化。然而，这种个性化功能可能加剧“聊天室效应”，因为它可能放大偏见与极端化趋势。
ChatGPT的广泛采用可能加剧对少数群体文化、语言和意识形态的偏见，并造成系统性的误表述、归因错误或事实扭曲，从而强化对某些群体或观念的偏好性对待、延续刻板印象，并促成错误的假设。
ChatGPT已被发现在政治倾向上呈现系统性的自由派偏见，如偏向美国的民主党、巴西的工人党，以及英国的工党。在性别方面，ChatGPT也可能加剧性别偏见，强化刻板性别印象，忽视中性代词的使用。这些偏见问题再叠加上大语言模型所固有且难以根除的“幻觉”风险，进一步加剧了模型输出内容的不准确性。
算法偏见与媒体效应的交叉意味着，ChatGPT可能向特定隔离群体提供与其政治倾向一致的信息，从而引发同时体现算法过滤（即过滤气泡）与用户—人工智能互动（即回音室传播）的媒体效应。这些人处于“连接气泡”中，会在讨论中不断强化态度一致性，并持续寻求更强烈的群体内部认同。这些“社会泡沫”比回音室或过滤气泡更具细微性，因为它们可能包含信念多样甚至对立的个体。但在小型或中型群体中，个体观点往往被不断强化。因此，“社会泡沫”描述的是人们通过对一组立场的一致认同或反对，使泡沫内部的凝聚力持续增强的效应。
三
研究设计Design
基于上述背景，我们旨在弄清：ChatGPT 3.5是否会提供关于LGBTQIA+身份的虚假信息？ChatGPT 3.5是否会加剧回音室与过滤气泡等媒体效应？用户是否以批判性态度使用该工具，并对其提供的信息进行核查？
这些研究问题建立在ChatGPT可能提供不准确但符合用户倾向的信息，而用户会在未验证的情况下内化这些内容的基础上，即我们所称的“聊天室效应”（Chat-Chamber effect）。
LGBTQIA+身份在大语言模型中再现的问题为本研究提供理论与实践意义：算法的隐性偏见以及对既有信念的可能强化，对于在训练数据中处于代表性不足地位的群体而言尤为显著。由于多数机器学习技术建立在历史数据集之上，其预测往往未能考虑文化、语境与意义，从而影响对LGBTQIA+身份的建构与识别。
第一步实验中，参与者被要求使用ChatGPT 3.5或Google搜索引擎回答一系列问题。任务围绕爱尔兰与印度的LGBTQIA+民选代表展开，参与者可自主设定提示词。由于研究所需信息截至2021年，故理应在ChatGPT知识涵盖时间范围内。任务结束后，允许参与者自行决定是否验证答案。Google组被要求仅使用Google搜索引擎，不得使用ChatGPT或其他搜索工具。
第二步研究通过半结构式访谈进一步探讨ChatGPT是否诱发了“聊天室效应”。
四
研究结果 Results
（一）实验研究结果
为了弄清ChatGPT 3.5是否会提供关于LGBTQIA+身份的虚假信息，我们观察参与者如何使用ChatGPT 3.5作为信息检索工具。如表2与表3所示，ChatGPT组仅在3个案例中准确指出正确答案，在22个错误回答中，16次声称印度从未有LGBTQIA+议员，6次则完全生成了虚构人物。此外，有些回答将著名LGBTQIA+活动家误称为现任议员。相对而言，Google组几乎全员正确，仅一人错误。
表2 ChatGPT与Google搜索组在实验阶段的回答正确率
表3 半结构访谈参与者
尽管ChatGPT回答中包含“截至2021年9月为止”的常规声明，但此警告并未提醒用户可能存在“幻觉”、不可靠或不准确的内容，而研究中所有正确答案均在其知识边界范围内。
在第二个问题中，ChatGPT组表现略好，但仍有识别错误和虚构身份的情况。它还错误将某现任议员归类为LGBTQIA+，有误导公众之虞。相对地，Google组回答100%正确。
第三个问题询问印度在地方“村理事会”层级是否有LGBTQIA+人士当选，ChatGPT组的25条回答全部错误。
总体来看，Google组整体信息更准确，而ChatGPT组在印度与爱尔兰语境中均表现不佳。
（二）访谈研究结果
半结构式访谈回答了ChatGPT是否诱发“聊天室效应”，以及用户是否以批判性方式使用该工具、是否对信息进行验证。进一步探讨了用户是否被ChatGPT所强化的观点影响，以及是否对其生成的信息进行核查。
1.ChatGPT的倾向性影响
用户倾向于相信ChatGPT所提供的信息。部分受访者表示，他们对LGBTQIA+群体或具体政治人物的看法受ChatGPT回答影响。尽管信息不实，受访者仍将其当作事实。
图1和图2汇总了访谈数据中最常出现的九个主题，包括：ChatGPT内容“令人信服”、“具体明确”、“语言合理”等，参与者因此未进行任何验证。相对地，图3总结了部分受访者未进行信息验证的主要理由。
图1 ChatGPT的用户态度倾向
图2 促成用户对ChatGPT信任与过度依赖的影响因素
图3 参与者验证或未验证信息的理由
2.对ChatGPT的信任
我们发现多数参与者并未对ChatGPT提供的信息进行二次验证，而是表现出高度信任。他们普遍提到，ChatGPT的高可用性与回答的简洁性是使用其作为信息源的主要原因。甚至有受访者表示，尽管知道ChatGPT可能错误归类了某些政治人物的性别身份，他们仍将ChatGPT作为心理健康建议来源、日常食谱工具，因而延伸信任至政治信息领域。相反，Google组受访者则普遍表示难以找到“直接答案”，需要自行筛选、阅读、判断，并认为这种模式“令人疲惫”。
综上，ChatGPT用户对工具表现出明显依赖，而Google用户则更多强调信息来源的多样性、不确定性与验证必要性。
五
讨论 Discussion
研究结果表明，ChatGPT确实可能生成关于LGBTQIA+群体的不实信息，这类“幻觉”信息具有误导性，且用户往往不进行核查。用户倾向于接受ChatGPT所提供的答案，尽管他们知道这种便利性可能以牺牲准确性为代价。这种对ChatGPT的信任以及缺乏验证的行为，构成了我们所定义的“聊天室效应”。
ChatGPT的回答常因表面合理、结构清晰、语言规范而显得权威，使得用户忽略信息是否真实。尤其是在高度敏感、争议性强的政治与社会话题上，ChatGPT生成的回答常含有“幻觉”信息，却仍获得用户高度信任。
虽然ChatGPT具备巨大潜力，但其信息仅为“语言预测”，并不具备事实验证能力，这使其在处理争议性或新兴信息时，成为更高风险的知识来源。这种盲信不仅源于技术本身的误差，也源于用户对系统过高的信任与惰性验证习惯。
随着人们从传统搜索引擎转向单一答案的生成式人工智能，我们必须警惕其带来的偏见、简化与幻觉风险。
（本文内容系“启元洞见”公众号原创编译，转载时请务必标明来源及作者）
参考来源：大数据与社会杂志
参考题目：The chat-chamber effect: Trusting the AI hallucination
参考链接：https://journals.sagepub.com/doi/10.1177/20539517241306345
免责声明：文章内容系作者个人观点，如有任何异议，欢迎联系我们！图片来源于网络，如有侵权请联系删除。
编辑 | 任侠
审校 | 桑妮
声明：本文来自启元洞见，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
