班晓芳,中国信息安全测评中心研究员
当前,人工智能(AI)正以前所未有的速度和深度嵌入能源、金融、交通等关键信息基础设施(CII)运行体系,成为支撑调度优化、风险预测、运维管理和智能决策的重要技术底座。与此同时,人工智能也深刻改变了CII的资产结构、威胁形态和安全脆弱点。特别是随着模型、数据和智能体成为关键运行要素,以网络和系统为中心的传统安全防护与治理体系逐渐暴露出适配不足的问题。如何在风险加剧的背景下把握治理机遇,推动CII安全治理体系系统性升级,已成为智能时代亟须回应的现实课题。
一、人工智能重塑CII关键信息资产结构
过去,CII安全治理主要围绕网络、主机、应用系统及结构化数据展开,强调可用性、完整性与保密性。随着大模型和智能体参与调度、预测、控制和决策环节,数据、模型、算法参数及智能接口逐步上升为直接影响系统行为的核心资产,资产结构由“系统中心型”向“模型中心型”转变。
一是数据资产地位显著上升。训练数据、实时运行数据与反馈数据共同塑造模型能力边界,其真实性、完整性与时效性直接决定决策质量。数据资产由支撑性资源转变为基础性控制要素。数据一旦被污染或偏移,风险将通过模型泛化过程被持续放大。
二是模型本体成为高度集中的高价值资产。模型参数与权重凝结了算法能力和行业知识,具有投入成本高、替代难度大、影响范围广等特征。基座模型往往支撑多个业务系统,一旦失控或遭受篡改、窃取,可能同步冲击多项核心业务,呈现明显的系统外溢效应。
三是接口与智能体权限成为新的风险通道。应用程序编程接口(API)调用、自动执行接口及跨系统数据流动,使模型输出可直接作用于业务流程甚至物理设备。接口安全已从技术问题演变为运行安全问题。
此外,“影子AI”现象加剧资产管理复杂性。未经备案的模型调用、个人账号接入外部智能服务等行为,降低了资产可视性与可控性,已成为CII最危险、最普遍、难管控的现实问题。美国IBM公司发布的《2025年数据泄露成本报告》显示,65%的“影子AI”导致个人身份信息泄露,40%的“影子AI”造成公司内部知识产权失窃。在2026年“养龙虾”(OpenClaw)热潮中,部分员工为提高工作效率,擅自使用OpenClaw类智能体框架,加速CII“影子AI”蔓延。未经审查的人工智能产品隐蔽使用,已在CII内部形成大量监管盲点。
二、人工智能驱动威胁形态系统性演变
与以网络入侵、恶意代码传播和拒绝服务攻击为主的传统威胁形态不同,攻击者开始将人工智能本身作为攻击工具,围绕数据、模型和决策链实施更具有针对性和持续性的攻击活动,威胁重心由破坏系统可用性、完整性和保密性,逐步转向操控智能系统行为和运行结果。
一是“智能黑客”加剧网络安全威胁。当前,人工智能技术深度赋能网络攻防对抗,由此催生的“智能黑客”成为核心网络攻击力量,显著提高了攻击活动的规模、速度、精准度和隐蔽性。相较于传统黑客,“智能黑客”呈现出以下几个鲜明特点。首先,自主性强。AI智能体可独立规划攻击路径、识别漏洞、生成恶意代码并执行入侵,全程高度自动化,人为参与极低。其次,效率极高。可同时对海量目标发动攻击,且24小时不间断运行,将过去需要数周完成的渗透任务压缩至数小时甚至更短,攻击节奏远超传统黑客。第三,门槛大幅降低。借助大语言模型,即便缺乏深厚技术背景的攻击者也能通过提示词操控AI完成复杂攻击,网络犯罪的专业壁垒被大幅降低。第四,高度隐蔽与自适应。智能黑客能够动态调整攻击策略以规避检测,攻击行为往往被拆解为多个看似合规的子任务,难以被传统规则引擎识别和拦截。第五,个性化精准打击。结合目标的公开信息与行为数据,AI可生成极具针对性的钓鱼邮件、社会工程学话术等,欺骗成功率显著高于传统批量攻击。第六,工具黑产化。FraudGPT等专为攻击定制的恶意AI工具已在暗网流通,形成完整的犯罪服务链条,使智能攻击能力向更广泛的犯罪群体快速扩散。这些特点的叠加效应,致使CII所面临的安全威胁愈发复杂难防。
二是威胁目标转向“操纵决策”。2024年,某科技公司披露,一名实习人员因对公司心怀不满,在参与模型训练流程时向训练管道中插入隐蔽的恶意逻辑,导致模型在关键评估指标上系统性偏移。该模型并未出现明显报错,但在后续业务测试中持续给出异常判断,直至多轮回溯分析后才定位问题根源。该事件表明,针对模型的攻击不再追求即时破坏,而是通过“悄然改变模型行为”实现长期影响,使系统在“表面正常运行”的状态下持续输出错误决策。在CII场景中,类似攻击一旦发生于调度、预警或安全评估模型,将可能在较长时间内累积风险而不被察觉。
三是攻击谱系覆盖全生命周期。在模型训练阶段,以BadNets、Sleeper Agent等为代表的后门与投毒工具,能够让攻击者在特定条件下激活后门,使模型在关键决策节点输出错误判断。在模型推理阶段,围绕模型交互接口的攻击工具迅速成熟,提示注入攻击(Prompt Injection)、越狱攻击(Jailbreak Prompt)自动生成工具、文本对抗攻击(TextFooler)、自动可解释性攻击(AutoDAN)等,可实现对模型安全对齐机制的系统性绕过。此类工具可直接干扰CII场景中的调度决策、风险评估和辅助指挥,属于典型的“智能失效型攻击”。在模型供应链层面,针对模型分发与依赖链的攻击工具呈现出体系化发展态势。例如,利用恶意权重替换脚本、模型仓库投毒工具,攻击者可在Hugging Face、GitHub、ClawHub等模型、代码和技能生态中植入被篡改组件。一次成功的供应链攻击即可跨组织、跨系统扩散,放大为系统性风险。在智能体行为层面,随着AutoGPT、LangChain等框架推动智能体落地,攻击工具也开始聚焦对智能体“决策闭环”的操控。通过记忆污染工具、任务规划诱导脚本,攻击者可持续影响智能体的长期行为轨迹,使其在看似自主运行的状态下逐步偏离设计目标,对CII的危害已从信息层延伸至业务流程乃至物理系统控制层。
四是威胁扩散路径跨层级传导。由于模型和数据通常被多业务、多场景复用,一次针对基座大模型等核心智能资产的攻击,可能同时影响多个系统模块和运行环节,甚至通过自动化决策链传导至物理控制层,放大安全事件的实际影响范围。此外,智能攻击往往不以“异常流量”或“系统崩溃”等传统信号呈现,增加了风险识别、溯源和定责难度。
三、人工智能引入新的系统性安全脆弱点
与可通过补丁修复、配置加固消除的传统漏洞不同,人工智能相关脆弱点更多源于模型机理、数据依赖、供应链和系统运行方式本身,具有难以完全消除和难以精确定位的特点。
一是模型不可解释性削弱风险感知能力。当前,主流大模型和复杂算法在决策过程中呈现出“黑箱化”特征,模型内部推理路径难以被直观理解和验证,一旦模型输出偏离预期,往往难以及时判断是数据异常、模型失效还是恶意操控所致。这种可解释性缺失削弱了对智能系统运行状态的感知能力,使潜在风险更易长期潜伏并被忽视。例如,某律师使用ChatGPT撰写法律文件,模型“幻觉”出了多个完全不存在的法庭案例,律师无法通过查看模型内部逻辑来验证这些案例的真实性,仅仅依赖模型的输出,最终导致律师面临严厉的法律制裁。
二是数据依赖成为最基础且隐蔽的脆弱点。人工智能系统对数据高度依赖,训练数据和实时输入数据的质量直接影响模型行为,但数据来源多样、更新频繁、治理链条复杂,客观上增加了被污染、被篡改或被误导的风险。此外,模型在训练阶段形成的统计特征和偏差,可能在运行过程中被不断放大,在特定场景或极端条件下集中显现,导致系统在无明显技术故障的情况下做出错误决策,形成“无漏洞失效”的新型安全脆弱点。当前,一场针对AI“大脑”训练数据的隐秘战争正在全球网络空间悄然升级。2026年1月,一个名为“毒泉”(Poison Fountain)的项目公开号召对大语言模型的训练数据进行“投毒”,从源头破坏AI模型的可靠性。相关研究还表明,在特定训练条件和模型结构下,攻击者仅需在大规模数据集中投放约250个恶意样本,就足以在一个拥有数千亿参数的大模型中植入后门。
三是系统安全漏洞快速增长。当前AI编程工具和生成式大模型已经融入CII日常软件开发流程。美国网络安全公司Veracode《2025年GenAI代码安全报告》研究发现,在没有明确安全约束下,AI生成的代码约45%存在安全漏洞。2026年,CII将因AI编程普及导致安全漏洞数量激增。同时,人工智能基础设施普遍存在漏洞。截至2025年底,国家信息安全漏洞库(CNNVD)人工智能漏洞总量为1329个,其中,高危及超高危漏洞占34%。从接收报送人工智能漏洞的速度看,全年呈现前低后高、年末急剧加速的趋势。从训练数据误曝、推理环境缺陷,到“氛围编程”(Vibe Coding)应用失守,再到AI云平台供应链风险,以及硬件与系统层等底层组件漏洞,均可被利用。AI快速部署叠加权限失控与配置失误,正导致基础设施层漏洞加速累积。
四是机控运行放大局部失效影响。智能体和自动化决策机制的引入,使CII运行从“人控系统”逐步转向“机控系统”。在多智能体协同和自动执行场景下,模型之间的交互行为、策略叠加和反馈循环,可能产生超出设计预期的连锁反应,增加系统整体行为的不确定性。一旦缺乏有效的约束和校验机制,局部脆弱点可能通过智能决策链快速扩散,放大为系统性风险。
五是供应链与开源依赖风险扩大。当前,CII广泛采用开源大模型和第三方API,显著放大了供应链安全风险。开源模型代码复杂、依赖链条长,攻击者可能在代码库、训练脚本或权重文件中预置后门,通过正常更新或调用被引入关键系统,难以及时察觉。自主智能体普遍依赖开源技能库(Skill Library),但技能库来源分散、维护水平参差不齐,攻击者可向其中注入恶意函数、篡改工具调用逻辑或伪造可信技能包。由于技能调用过程高度自动化,恶意代码可随智能体的自主决策流程静默运行,隐蔽性极强,被发现时往往已对CII造成实质危害。
四、现有CII安全控制体系适配不足
人工智能的引入使CII风险对象和风险机理发生了变化,同时,也对现有安全控制措施的适用性和有效性提出了新的挑战。
一是边界防护理念难以覆盖智能环境的内部风险。现有CII安全控制体系普遍以网络分区、访问控制、主机防护和入侵检测为重点,能够应对传统的外部入侵和恶意代码传播。然而,在人工智能条件下,数据、模型和智能体成为关键资产,风险更多产生于系统内部运行过程,例如,数据投毒、模型行为偏移和智能体误用等。这类风险通常不会呈现出异常连接或恶意流量,难以被传统边界防护和入侵检测手段识别,进而出现系统安全但智能失控的风险隐患。
二是静态权限管理难以约束动态模型行为。现有控制措施通常以“用户、系统、权限”为基本单元,重点解决“谁可以访问什么资源”的问题。但在人工智能系统中,模型调用、智能体决策和自动执行行为具有高度动态性和上下文依赖性,单一的静态权限配置难以精细刻画“在什么条件下、以何种方式、可做出何种决策”。一旦模型或智能体被诱导或滥用,现有权限控制机制难以及时发现和阻断其异常行为。
三是传统漏洞管理无法识别模型泛化失效等新型风险。传统CII安全控制高度依赖漏洞扫描、补丁修复和合规检查,其前提是风险来源具有明确的技术缺陷和修复路径。人工智能相关风险更多体现为模型泛化失效、数据偏差积累和策略组合失控,并不对应具体漏洞编号或补丁措施,现有漏洞管理体系和安全评估方法难以有效识别和量化此类风险。
四是监测体系缺乏对决策异常的识别能力。现有安全监测和应急响应体系主要围绕网络攻击事件和系统故障展开,对模型输出异常、决策逻辑偏移和智能行为失控等问题缺乏专门监测指标和处置流程。一旦智能系统在关键业务场景下持续输出错误决策,往往难以及时触发告警和应急处置,从而增加风险累积和扩散的可能性。
五、构建面向智能化的CII安全治理体系
一是重构责任体系。首先,强化最高决策层对人工智能安全的治理责任。按照《关键信息基础设施安全保护条例》关于“运营者主体责任”的要求,CII运营单位董事会或主要负责人应将人工智能安全纳入整体风险治理框架,将智能系统失控、决策偏移和模型滥用等风险,视为与网络安全事件、生产安全事故同等重要的重大风险类型。通过定期听取人工智能安全风险评估报告、重大模型变更审议和安全事件复盘,确保智能化风险处于可感知、可决策、可处置状态,避免安全责任被下沉为单一技术部门问题。其次,健全多主体协同治理和责任划分机制。人工智能系统通常涉及数据提供方、模型开发方、平台服务方和行业应用方等多方参与,当前,以单一运营主体为核心的安全管理模式适配不足。对此,应通过合同约定、安全协议和责任清单等方式,明确各方在数据安全、模型安全和运行安全中的职责边界,确保在发生安全事件时责任可追溯、处置可协调。
二是实施全生命周期智能资产治理。首先,建立模型、数据、算法参数与接口统一资产台账。在以设备、系统和应用为中心的传统资产管理制度基础上,应将数据、模型、算法参数、智能接口和智能体统一纳入关键信息资产管理体系,明确资产归属、管理责任和使用边界。其次,构建智能资产识别与持续可视化能力。通过技术手段对模型部署、接口调用、算法更新和智能体运行进行持续发现和监测,解决智能资产“不可见、不可控”的问题。最后,完善模型上线备案与重大变更评估机制,强化“影子AI”排查与整治,防止模型私自上线、算法暗中调整和“影子AI”无序扩散。
三是构建面向智能风险的六项关键控制能力。首先,强化数据治理能力。围绕数据采集、清洗、训练、推理和共享等环节,建立数据质量控制和异常检测机制,防范数据投毒、样本偏差和误用滥用风险,确保数据安全与模型可信性协同提升。其次,增强模型安全评估能力。在模型上线和重大迭代前,引入安全评估和鲁棒性测试,重点关注模型在极端场景、异常输入和对抗条件下的行为表现。建立常态化的对抗演练机制,模拟攻击者对CII模型进行投毒、注入攻击等红队测试,以验证系统的防御韧性。第三,重构安全开发能力。重构适应AI辅助编程的开发规范,加强可追溯管理,通过可验证、可迭代的机制实现代码的持续校准,推动AI生成代码逐步融入更高效、更可靠的软件开发生态。第四,构建决策行为监测能力。通过对模型输出趋势、决策一致性和行为漂移的长期监测,实现对隐蔽性风险的早期识别,弥补传统安全监测侧重网络和系统状态、忽视决策结果风险的不足。第五,健全人机协同兜底机制。在关键调度、控制和高风险业务场景中,保留人工确认、复核和干预权,防止智能系统在异常条件下自动放大错误决策,确保系统运行始终处于可控状态。第六,强化审计追溯与应急响应能力。对模型训练数据来源、参数调整记录和决策路径进行留痕管理,确保安全事件发生后能够快速定位原因、评估影响并落实责任,为监管检查和事故处置提供支撑。
四是以人工智能赋能安全治理。在风险识别能力方面,利用人工智能提升对复杂安全风险的整体感知水平。可用于对模型输出趋势、决策偏移和运行态势变化进行持续分析,提升对隐蔽性、渐进性风险的早期发现能力,为风险评估和预警提供技术支撑。在威胁应对能力方面,利用人工智能增强安全防护的自动化和实时性。通过引入智能分析和自动响应机制,可在识别异常行为后快速执行隔离、降权、回滚或人工接管等处置措施,缩短风险暴露窗口,降低安全事件对CII运行的实际影响。在关键业务场景中,人工智能还可以辅助构建多层次、差异化的动态防护策略,提高防御体系对复杂威胁的适应能力。在脆弱点管控方面,利用人工智能治理系统性不确定风险。可利用人工智能开展模型行为审计、鲁棒性测试和异常输入模拟,提前发现潜在风险场景。同时,通过引入多模型交叉验证、智能校验和人机协同机制,有助于在关键决策环节形成安全兜底,降低单一模型失效带来的系统性风险。
五是推动监管与运营协同升级。CII安全治理的有效性取决于监管体系与运营体系之间的协同程度。对监管机构而言,可以在现有法律法规和等级保护制度框架内,逐步将智能系统安全纳入监管重点。在开展CII安全检查、等级保护测评和专项督查时,关注模型安全管理、数据治理和智能决策风险防控情况,推动安全治理从“合规导向”向“风险导向”转变。对CII运营单位而言,以运营单位的主要负责人为核心枢纽,统筹安全、信息化和业务部门,推动人工智能安全治理融入日常运营流程。通过将智能安全指标纳入绩效考核和风险评估体系,提升各层级对智能化风险的重视程度。
(本文刊登于《中国信息安全》杂志2026年第3期)
声明:本文来自中国信息安全,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。