文│启元实验室 徐祯;北京理工大学教授 徐源;启元实验室副研究员 刘媛媛

在生成式人工智能与平台算法深度嵌入社会信息循环的背景下,认知域安全风险正在从“单点内容风险”跃迁为“系统性链路风险”。上游数据与语料的获取、标注与投喂,中游模型与算法的训练、微调与复用,下游平台分发、搜索与人机交互的解释权配置,以及贯穿全链路的反馈与迭代机制,共同构成智能时代的认知供应链。这一链路一旦被外部力量渗透,就可能在不直接摧毁网络或物理系统的情况下,通过议程设置、框架塑造、情绪唤起与行为偏移,改变社会信任结构与战略决策环境,从而威胁国家认知域安全。基于此,文章提出认知供应链安全分析框架,将认知域安全治理从内容处置升级为全链条治理,以期为推动认知域安全发展提供参考。

一、认知供应链的内涵与特征

一般供应链可以理解为是围绕核心主体对象,通过对信息流、过程流与资源流的控制,将供应者、制造者、分发者及最终用户连成的整体功能网链结构模式,覆盖从生产到产品应用的全流程。认知供应链可以被理解为信息从最初的数据材料状态最终传达到受众端,并且影响受众认知的全过程链条。智能时代,在以生成式人工智能与推荐算法为核心的媒介环境,信息的生产、加工、传播与反馈不再是传统的大众传播模式,转而呈现出高度的技术整合性。认知供应链演变成一种对公众观点、情感与共识进行全流程管控的生产体系。这一生产体系主要包含四个核心环节,上游聚焦海量多模态数据的抓取、清洗及精细化标注,完成认知的原材料初加工;中游通过基础模型的预训练、特定议程指令的微调以及智能体的逻辑复用,实现认知产品的整合;下游则掌握分发算法的优先级权重与人机对话的配置解释权,决定了认知的终端触达;最终,全链路的实时响应数据回流至引擎,驱动叙事逻辑的自动化迭代。在智能技术的驱动下,认知供应链从信息分发媒介,逐渐向认知塑造系统转变,呈现四个方面特征。

一是认知产品生产门槛快速降低。随着大模型快速发展,认知产品的生产成本呈现断崖式下跌,信息的生产不再受限于人类编辑的产出速度,而是能够针对特定议程,在短时间内生成海量、多模态且能自我演化的叙事文本。根据美国斯坦福大学《2025年人工智能指数报告》(2025 AI Index),调用顶级大模型的推理成本在18个月内从每百万Token20美元骤降至约0.07美元,降幅接近280倍。

二是传播结构呈网状式演化。在前算法时代,信息经过源头通过编辑过滤最终单向传达到终端受众。人获取信息依赖于主动检索与随机接收。在互联网时代,信息传播模式具有明显去中心化和节点化特征,传播从“漏斗”结构变成“网状”结构,信息通过社交关系链呈放射状扩散,每一个节点(公众)既是信息的接收者,也是传播者和生产者。

三是分发端掌握注意力分配权。在去中心化信息生产表象下,信息流推荐、搜索排序与热榜机制等成为新的注意力控制手段,平台可以通过权重配置、限流、取消推荐等“可见性管理”手段,改变某类内容被看到的概率、出现的位置与重复曝光次数,对议题的议程设置产生系统性影响,从而无声无息地控制大众情绪和舆论走向。

四是认知供应链成为自适应的演化系统。系统通过集成实时舆情监测模块,对分发终端的互动数据如点击率、停留时长、情感极性、转发涟漪效应等进行全量回传。供应链的上游大模型根据回传数据自动调整生成策略,实现对认知弱点的迭代式攻击。个体的独立性往往在潜移默化中被消解,最终实现认知结构的预设重组。

二、智能时代认知供应链安全风险转向

对认知供应链安全的理解是基于认知域安全“主体—状态—能力”安全结构的系统性解释,分别从主体是否免于诱导操纵、环境状态是否稳定有序,以及主体是否具备持续稳健认知能力的系统性状态。认知供应链安全是围绕数据与语料供给、模型与算法生产、平台分发与交互解释,以及反馈迭代机制构成的认知供应链路完整有效,其关键节点与关键机制安全可控,不受外部操纵性渗透及技术优势危害,并具备保障持续安全状态的能力。随着智能技术深度介入,认知安全风险特征也随之表现出多维度的演进与转向。

(一)风险对象从“内容干扰”转向“逻辑重塑”

认知供应链安全威胁不再仅限于虚假信息,而在于数据、模型、分发与反馈机制的结构性偏置,包括通过在预训练语料中植入特定意识形态的数据投毒,使算法逻辑在底层产生系统性倾斜。攻击者通过在海量的开源代码、学术论文、社交媒介评论或政策分析报告中,植入特定意识形态的价值基准或逻辑陷阱,使人工智能模型在学习语言模式的同时,将这些偏置内化为自身的原生逻辑,甚至不需要大规模投入。美国人工智能公司Anthropic、英国人工智能安全研究所、英国艾伦·图灵研究所联合研究发现,只需250份投毒文件,就能成功在大模型中植入后门。由于数据投毒并非直接篡改结论,而是重塑算法的因果推理路径,一旦算法逻辑在底层产生系统性倾斜,即便输入的数据是客观的,模型输出的结论也会在逻辑上“自圆其说”地滑向预设的意识形态陷阱。同时,这种结构性偏置会通过“分发与反馈”机制形成自我强化,进一步收窄用户的认知带宽,形成更为牢固的信息茧房。

(二)风险机制从“线性传播”转向“闭环迭代”

人工智能对认知的攻击与操纵不再是单一维度的信息投送,而是演变为一种由数据驱动、算法引导、情绪反馈触发的自适应系统。在此机制下,攻防博弈被深度嵌入实时互动的反馈回路,呈现出类似生成式对抗网络的动态演化特征,即攻击主体不再依赖预设固定话术,而是凭借对受众情绪极性与交互行为的快速捕捉,实现叙事策略的自我修正与精准对标。这种闭环效应不仅极大地压缩了防御方的响应窗口,更通过“干扰—反馈—进化”的无限循环迭代,推动认知威胁从表层的“信息污染”向深层的“算法围猎”转变,实现针对个体认知弱点实时生成高贴合度的定制化认知陷阱。例如,在巴以冲突期间出现在社交媒体平台的算法协同操纵中,攻击方不是投送通用文案,而是通过分析不同地域受众在社交媒体平台对“宗教叙事”或“人权叙事”的点击倾向,驱动生成式模型实时产出高贴合度的虚构视听内容,从而在个体认知防线最薄弱处精准植入定制化陷阱。

(三)风险形态从“显性操控”转向“隐性议程重塑”

传统的认知操控通常依赖于信息投送等显性手段,而在智能时代的认知供应链中,风险形态已完成向“隐性议程重塑”的转变。它不再试图改变个体“怎么想”,而是通过对底层逻辑的操纵,决定个体能够“看到什么”。这种操控隐匿于代码之下,将意识形态的偏好转化为算法的“自然排序”。当用户在信息流中反复曝光于某些经过算法筛选的“高频观点”时,个体的心理阈值会逐渐向该方向偏移。这种调度并非直接说教,而是通过操纵信息的曝光率,潜移默化地建立起一种认知假象。这种认知操纵是在用户难以察觉的情况下完成的。用户以为自己是在自由检索,实际上却是在攻击者预设的信息围栏内投喂信息。当原本多元化的社会共识因信息的排序差异而被层层削减,算法潜移默化地重新定义了什么是“正确的”,从而实现对社会心理结构的深层重组。

(四)风险成本呈现“低成本攻击”与“高成本防御”强非对称性

在开源大模型与生成式技术快速扩散的背景下,发起认知攻击的门槛和边际成本明显降低,同时,开源模型可被本地化部署并移除安全护栏,直接用于批量生成内容,并与社交媒体分发机制结合实现话题劫持、定向叙事。以乌克兰危机中的认知攻防为例,一场由3634个自动化账户组成、发布超过31万条定向叙事的网络活动,按照输出每百万Token1.5美元的价格估算,技术成本仅为几百美元量级。然而,这些自动化输出的内容并非简单重复,而是会结合当地生活议题、水电中断和治理秩序等场景,有针对性地在网络平台发言。与之相对,认知防御既要做好跨平台态势感知、异常传播网络识别、人工核验与跟踪,也要推进内容溯源与可信标识、标准化取证与归因协同等基础设施,治理成本呈现持续投入、长周期运维和多部门联动特征。仅就乌克兰相关的事实核查能力建设,欧洲媒体与信息基金会(European Media and Information Fund)向乌克兰公开资助8万欧元用于训练、更新数字取证技能,支持更多实时核查产出。同时,乌克兰、美国、北约等国家与组织成立的乌克兰通信小组(Ukraine Communications Group)协调多方力量应对舆论相关的虚假叙事。攻击方只需几百美元即可成功发动一场攻击活动,防御方却同时需要大量事实核查项目资金、跨国协调机制、平台执法和长期人员投入。因此,攻防博弈中效能与成本深度失衡。

三、认知供应链安全风险治理国内外实践

在生成式人工智能时代高频率、多模态、低成本、强隐蔽性的系统性认知塑形新阶段,认知供应链安全风险治理,逐步由以事件处置为中心的被动应对,转向以前瞻识别、监测预警、精准反制为特征的主动干预。不同国家围绕认知供应链各关键环节开展多层次制度探索与治理实践。

(一)中国:源头准入、过程约束与专项整治相结合

中国在生成式人工智能普遍应用背景下,已逐步形成覆盖模型备案、训练语料管理、生成内容标识、平台监测甄别、传播分发控制和专项执法整治的认知供应链治理机制。中国出台《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》,为网络运行安全、数据处理和行为分析提供总体法律依据。在专项规制层面,《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等政策文件,分别对算法分发、深度伪造、生成式人工智能服务和生成内容标识作出规范,覆盖了认知供应链中的推荐、生成、标识、审核和追溯等关键节点,体现了中国已将认知供应链风险治理推进到源头治理、过程控制与末端执法联动的阶段。

2025年“清朗·整治AI技术滥用”专项行动,体现了中国将认知供应链全链条治理分为技术内生治理层和应用衍生治理层的总体思路。一是强化源头准入,将未履行大模型备案或登记程序的人工智能产品列为第一类重点整治对象,通过备案、登记将模型和应用纳入可监管名单。二是加强标识管理,要求加强生成合成技术和内容标识管理,并推动网站平台提升检测鉴伪能力,把治理重心从真假争议转移到可识别性和可追溯性。三是规范训练数据,将训练数据库纳入治理范围,对使用非法来源数据、网上爬取的虚假或无效内容、侵犯知识产权或隐私的信息进行追责。四是打击违规内容,打击利用人工智能制作发布谣言、不实信息、色情低俗内容、假冒他人、从事网络水军等行为。五是压实平台流量分发责任,要求社交平台对应用程序接口(API)接入的人工智能自动回复情况严格把关。可以说,中国在生成式人工智能时代的认知安全治理,正在由传统的事后应急处置,转向兼顾源头治理、过程控制与末端执法的系统化治理模式。

(二)美国:以风险管理框架为引导、以重点场景执法为核心

美国治理认知供应链安全风险的特点,不是强制性全链条准入,而是政府提供方法、关键场景强化执法、平台和市场自我治理补位。美国国家标准与技术研究院(NIST)在2024年发布《人工智能风险管理框架:生成式人工智能画像》(Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile),作为人工智能风险管理框架的配套文件,专门针对生成式人工智能风险提出识别和管理方法,包括虚构内容、信息完整性、来源可信度、误用和双重用途风险等。然而,该框架本质上是一个跨行业、可操作的风险管理工具,而不是强制性的行政许可制度。

以2024年新罕布什尔州初选前的“拜登深伪电话”事件治理为例,美国在应对认知攻击时采取“监测通报、公众澄清、基础设施防护、个案执法、完善规则”的治理路径。一是对选举谣言、被篡改叙事和外国影响行动进行预警与澄清,重点在于稳定公众对选举程序安全性的认知预期,削弱虚假信息对民主合法性的侵蚀。二是通过查封认知攻击行动相关的互联网域名、打击伪装正规媒体的虚假传播网络,并对相关实体进行制裁。对利用人工智能语音克隆误导选民的行为作出约600万美元罚款,同时,对相关通信服务提供商实施合规整改。在完成事件处理后补充完善规制工具,通过“人工智能合规行动”打击利用人工智能实施欺骗性宣传、身份冒充和误导性商业行为,并推动将人工智能驱动的个人冒充纳入规则更新范围。

美国对认知供应链安全风险的治理,并非依赖统一的前置制度,而是采取以风险管理框架为引导,延伸适用现有部门法,并针对高风险场景进行重点治理的模式。尤其在内容生成环节,美国没有类似中国的统一标识制度,也没有人工智能内容前置审核制度,而是对高危生成用途从严处置,是以结果为导向的治理。在传播节点上,美国对一般性的内容流动留有较大的空间,但对于选举、政治广告等高风险敏感主体实施更细致、更强硬的干预,且相关的制度更新通常采取以事件推动的补丁式升级方式。

(三)欧盟:强调立法先行与规则的完整性

欧盟在认知供应链治理的多个关键节点领先,体现了制度设计的系统性。欧盟的《人工智能法案》针对通用人工智能模型设定了明确义务,如果模型被认定具有系统性风险,还要承担风险评估与缓解、事件报告和网络安全保护等额外义务。欧盟认知供应链上游源头风险处理与中国现阶段主要通过《生成式人工智能服务管理暂行办法》进行原则性约束相比,欧盟对通用模型义务的要求更明确、更制度化。

欧盟最重视内容生成的透明度。《人工智能法案》明确了透明度义务,即深度伪造和人工智能生成文本必须披露其为人工生成内容,人工生成或操纵内容应清楚标明并且可以被检测为人工生成。规定义务的目标是降低欺骗、冒充和虚假信息风险,维护信息生态完整性。欧盟的做法不是把所有生成式内容都当成“天然有害”的,而是要求其在进入公共信息环境时具备最低限度的透明度和可识别性,是以人工智能生成内容的知情权、信息生成与传播过程的透明度,以及防止受众因深度伪造、虚假标识或误导性内容而受到欺骗为核心。

除了《人工智能法案》,欧盟《数字服务法》不仅覆盖社交媒体,也覆盖应用商店、搜索引擎等在线服务。它要求大型平台披露算法推荐系统的主要参数,并对超大型在线平台和超大型搜索引擎施加更严格的义务。在2024年罗马尼亚总统选举期间,欧盟委员会依据《数字服务法》向TikTok发出补充信息要求,要求其说明如何管理信息操纵风险以及数据保全命令,要求冻结并保存与选举程序和公共话语系统性风险有关的数据,并正式启动关于选举风险管理的调查。

(四)印度:以能力建设为前提、以高风险场景规范为重点

印度认知供应链治理的整体思路呈现出“能力建设优先、信任嵌入全价值链、高风险场景先行治理”的特征。印度人工智能使命(India AI Mission)将公共算力、基础模型、可信安全人工智能工具和数字基础设施纳入国家人工智能战略重点。印度《人工智能治理指南》(AI Governance Guidelines)进一步从数据管理、算法透明、风险分类、生成式人工智能责任、安全测试和申诉救济等方面,提出“信任嵌入全价值链”的治理框架。

以2024年印度人民院选举期间的深度伪造与错误信息治理为例,印度选举委员会(Election Commission of India)明确警告政党不得滥用人工智能工具制作深度伪造内容、扭曲信息或传播错误信息,并发布社交媒体负责任和合乎伦理使用指引;印度电子和信息技术部(Ministry of Electronics and Information Technology)则通过中介平台尽职义务咨询,要求平台依据印度《信息技术法》(Information Technology Act)和《中介指南和数字媒体伦理规范》(Intermediary Guidelines and Digital Media Ethics Code)加强内容管理和风险控制。此外,印度政府把深度伪造风险接入既有《信息技术法》、中介平台责任规则和网络安全应对体系。

相比于其他技术水平相对领先的国家强调认知供应链安全,以及平台内容治理与内容安全的取向,印度首先担心的不是平台内容秩序失控,而是如果没有算力、模型和可信工具,印度在人工智能价值链中就会长期处于被动地位,即优先提升人工智能基础能力,而在认知供应链高风险传播场景再强调规范治理。

四、应对思考

当前,我国在认知供应链治理方面已经具备较强的制度基础与实践土壤。面对日益复杂的国际竞争环境以及认知攻击技术快速迭代带来的挑战,应围绕“算力、算法、数据、机制、公众”五个核心支柱,构建全链条系统性治理格局,强化认知供应链安全韧性。

(一)构建算力资源溯源与异常使用干预机制

智能化时代认知供应链安全风险首先体现在内容能够以低成本、自动化的方式进行大规模生产。因此,认知供应链治理的重点不是泛化传统的算力资源管理,而应聚焦支撑内容生成、文本改写和批量传播的计算资源使用活动,建立更具针对性的治理机制。具体而言,一是确立全链路核验框架。对相关计算资源的调用、使用和输出形成可识别、可追踪的记录,提高异常生成行为的发现和溯源能力。二是建立自适应的动态调节机制,可根据异常内容生产和传播的规模、频率及风险程度,及时采取限流、降低任务处理强度、收紧外部连接权限等分级干预措施,防止风险快速放大。通过源头管控模式打破认知攻击的非对称性,可以在技术资源层面压缩认知攻击的扩散能力,将认知防御从“被动响应”转化为对“攻击产能”的主动抑制。

(二)强化算法过程审查与叙事纠偏

认知供应链治理的核心挑战不再仅限于对有害内容的事后清理,而是进一步延伸到算法对叙事的可见度、传播强度及理解方向的影响。为把握认知供应链各环节的解释权,一是完善算法全生命周期管控体系,针对关键平台的推荐权重、搜索优先级及生成式摘要等,实施认知供应链安全相关的算法登记、备案与持续评估制度。二是组织测评算法传播效应评估。重点考查算法是否存在过度放大特定叙事、强化情绪化表达、降低信息平衡性以及易受操纵等问题,并提高对恶意诱导、错误引导和生成内容失真风险的识别能力。三是确立算法熔断与纠偏机制。要求涉及重大议题的生成式内容能够说明其生成依据、信息来源和结果可信程度。同时,将异常传播预警与应急干预规则制度化,推动治理方式由单纯依赖末端删除和修改,转向对算法偏差和叙事失衡的前端纠正。

(三)建设主权语料库与数据溯源核验体系

认知操纵的本质是利用算法环境对可引用资源进行系统性重塑。要应对这一挑战,亟须构建主权语料库。一是在供给侧构建规范体系,通过建设关键概念本体库与权威事实源,统一引用规范,为语义生成提供内生的逻辑校准。二是在过程侧强化风险穿透,对训练语料、检索知识库、外部数据源与插件接口实施分级分类管理,建立数据来源证明、授权合规与投毒检测制度。三是在应用侧推动建立溯源共识,依托监管核验与多源交叉验证机制,以置信度标注与“分歧呈现”替代单一真伪判定,确保即便在遭受攻击时,解释权的偏移仍处于可控、可对冲的韧性区间。

(四)搭建联动处置与复盘问责体系

以“机制治理”为牵引,建立认知事件风险指挥机制,统一态势指标、证据标准与处置节奏,完善强制报告与协查制度,对协同账号网络、异常话题迁移、模型越界输出与数据投毒等设定报告门槛与时限,并固化证据保全与归因协同流程。形成分级响应的认知反制工具箱,包括权威锚定、延迟扩散、降权限流、人工复核、跨平台同步标注、功能熔断等,在认知风险关键窗口期实现“快压制、稳纠偏、可追责”。引入评估审计与整改闭环考核,把复发率、闭环时长、取证完整率、协查响应效率与公众纠偏触达率纳入监管评价,同时,前置开展预警演练与“预防性澄清”,以制度化方式提升社会认知免疫力,最终实现从“事件处置”到“能力竞争”的治理升级。

(五)增强公众认知韧性与自主研判能力

认知供应链治理不能仅依赖技术防控和平台处置,还应重视公众在复杂信息环境的自主判断能力建设。为此,应将媒介素养、信息素养和人工智能素养教育纳入学校教育、社会教育和公共传播体系,重点提升公众对信息来源、内容真实性、生成式人工智能特征及常见误导方式的识别能力。同时,应针对不同群体开展分层分类的教育引导,加强对深度伪造、虚假叙事、情绪煽动和算法误导等风险的识别训练,帮助公众在高频、碎片化的信息环境保持基本的理性判断。通过推动学校、媒体、平台和社会组织共同参与,可逐步形成以教育赋能为基础的认知韧性培育机制,从社会基础层面提升抵御认知操控和信息误导的能力。

五、结 语

认知对抗的底层化与系统化,标志着人类信息文明进入了“算法操纵意义”的新阶段。从“内容治理”向“全链路能力形成”的范式跃迁,不仅是应对生成式人工智能挑战的选择,更是捍卫国家认知域安全的战略核心。在这一进程中,治理的本质已不再是局部的、被动的信息清洗,而是对认知供应链关键节点的深度嵌入与底层规则的系统重塑。面向未来,国家认知域安全将越来越依赖算力基础能力、算法可审计性、语料与知识底座质量控制以及跨部门情报与响应机制的协同耦合。通过构建覆盖预警、防御与反制的闭环体系,方能在持续演化的算法驱动对抗环境中降低链路性偏置的累积效应,保持公共议题解释框架的稳定性,并增强重大风险情境的决策韧性。

(本文刊登于《中国信息安全》杂志2026年第3期)

声明:本文来自中国信息安全,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。