文 | 浙江省委网信办网络安全协调处 谢海江;国家计算机网络应急技术处理协调中心浙江分中心 王丽华
人工智能正从单点智能向自主智能快速演进。以大语言模型为核心的智能体,凭借自主推理、工具调用、协同交互能力,已广泛应用于政务、工业、金融、网络运维等各类场景,成为数字化转型的重要引擎。然而,智能体的高自主性、强交互性与复杂性,使安全风险贯穿感知、推理、行动、协作运维全链条,呈现隐蔽性、扩散性、系统性特征,既包含输入投毒、记忆污染、权限滥用等技术风险,也存在治理分散、责任不清、合规缺失等管理风险,极易引发数据泄露、决策失误、系统瘫痪,甚至造成公共安全事件。本文从协同治理视角系统分析智能体安全风险机理与治理短板,构建可复用、可落地的防控体系,给出优先实践路径,为智能体安全、合规、可控发展提供支撑。
一、智能体安全风险类型与传导机制
智能体安全风险贯穿“感知—推理—行动—协作—运维”全生命周期。各类风险并非独立存在,而是依托智能体自主运行逻辑形成联动关系,具备典型的链式触发、逐级放大、跨域扩散的传导特征,最终形成“风险触发—累积放大—系统危害”的完整传导链条。
(一)全维度核心风险类型
智能体安全风险体现在五个层面。一是感知层输入可信与数据安全风险。感知层是风险入口。恶意输入、对抗样本、环境注入攻击可以篡改输入数据,导致智能体决策基础失效;数据采集、传输、存储环节若管控缺失,易发生隐私泄露、越权访问、违规,直接触发初始风险。二是推理层推理偏差与知识污染风险。推理层为决策核心。在多步推理过程中,微小误差会被累积放大,引发系统性错误。知识库/记忆被注入虚假信息后,智能体将基于错误知识决策,形成“污染—错误—再污染”循环,风险隐蔽且持久。三是行动层工具调用与执行失控风险。行动层对接真实系统。权限管控不严,易导致工具滥用、高危操作;接口漏洞或输出篡改可诱导错误执行,造成业务中断、数据破坏,风险直接外化。四是协作层多智能体协同失序风险。多智能体协同使风险跨主体扩散。信息不对称、记忆共享污染、责任边界模糊,会导致决策冲突、任务紊乱、风险链式传播,增加系统性安全事件发生的概率。五是运维层管理全生命周期风险。运维层是专门管理智能体全生命周期的运维体系,核心功能是解决智能体“不可观测、不可控、难修复”问题,保障其稳定、安全、高效运行。
(二)风险传导机制
智能体风险传导遵循“单点触发、层级传递、叠加放大、跨域扩散”的核心逻辑,形成闭环式风险演化路径。一是纵向层级传导。感知层输入污染、数据失真等初始风险,会直接传递至推理层,造成推理逻辑偏差、知识判断失误;推理层的决策错误会进一步传导至行动层,引发工具滥用、违规执行等失控行为,完成“输入—决策—执行”的纵向风险传导。二是横向协同传导。单一智能体出现的推理错误、行为异常、数据污染,会通过多智能体数据共享、任务协同机制扩散至协作主体,引发集群决策失序,形成群体风险。三是全域叠加放大。纵向层级风险、横向协同风险与运维监管漏洞风险相互叠加,会让局部微小风险持续升级,从单一功能故障演变为系统瘫痪、数据泄露、违规等重大安全事件,且可跨场景、跨领域扩散,大幅增加防控难度。
二、智能体安全风险防控现状与存在问题
我国高度重视人工智能安全发展,出台《新一代人工智能发展规划》《人工智能安全治理框架》2.0版等政策文件,明确提出加强人工智能安全风险防控,为智能体安全治理提供了坚实的政策基础。同时,业界逐步开展智能体安全技术研发与实践应用,在一定程度上提升了智能体的抗攻击能力,推动智能体安全风险防控工作取得初步成效。然而,智能体安全风险防控工作仍存在诸多突出问题,难以满足智能体规模化、多元化应用的安全需求,在一定程度上制约了智能体在各领域的健康发展。
(一)治理体系碎片化,协同机制缺失
当前,智能体安全风险防控呈现“各自为战”的局面,治理体系碎片化问题突出,难以形成有效的防控合力。从参与主体看,政府监管部门、科研机构、企业、行业协会等多方主体之间缺乏有效的协同联动机制。政府监管部门侧重于政策引导与宏观管控,科研机构聚焦智能体安全核心技术研发,企业重点关注自身产品安全性能,行业协会的自律协调作用未得到充分发挥,导致防控资源分散,难以实现优势互补。从应用领域看,不同应用场景(如网络运维、政务服务、内容监管)的智能体安全风险防控标准不统一,缺乏跨场景的风险协同处置机制,使跨领域、跨场景智能体安全风险难以得到有效防控。部分政务智能体因未适配必要的安全评估标准,出现敏感数据跨级传输问题,而相关部门因缺乏协同处置机制,未能及时采取止损措施,导致风险进一步扩散。此外,多智能体协同责任界定模糊,缺乏明确的责任划分标准与溯源追责机制,如多智能体协同办公系统出现数据同步错误时,涉及的多家智能体研发企业、应用企业相互推诿,难以明确责任主体。尽管全链路审计机制可实现行为溯源,但行业层面尚未形成统一的责任划分规范,一旦发生安全事件,易出现处置不及时、追责不到位的问题。
(二)技术防护适配不足,防御能力薄弱
现有智能体安全防御技术多聚焦单一风险类型,缺乏全方位、全生命周期的防护能力,与各领域智能体复杂应用场景适配性不足,防御效能有待进一步提升。一方面,防御技术针对性不强。部分防御方案仅能应对单一提示词注入攻击,难以同时防范记忆污染、工具滥用等多元安全风险,无法形成全方位防御屏障。另一方面,防御技术动态适配能力不足。智能体技术迭代速度较快,环境注入攻击、记忆投毒攻击等新型攻击手段不断涌现,现有防御技术难以快速响应风险变化,导致防御工作滞后于风险演化进程。在2025年“人工智能标识案”中,涉事平台内容监管智能体未部署提示词注入风险指标监测与输入验证机制,无法有效区分人工创作与人工智能生成内容,最终导致误判事件发生。这充分凸显了防御技术适配不足的短板。此外,多数企业缺乏核心防御技术研发能力,过度依赖第三方工具,导致防御系统的自主性与可控性不足,难以应对定制化的恶意攻击。为此,需构建全生命周期防护体系,有效弥补这一短板。
(三)管理规范不完善,合规管控缺失
各领域智能体安全管理规范尚不完善,合规管控存在明显短板,难以实现对智能体全生命周期的规范管理。一是缺乏统一的安全标准与评估体系。当前,我国尚未出台针对智能体的专门安全标准,智能体的安全评估、准入审核、风险分级等环节缺乏明确依据,导致部分存在安全隐患的智能体进入应用场景,埋下安全隐患。部分领军企业虽已完成安全指标体系与评估标准,但这些尚未成为行业通用标准,难以实现跨企业、跨场景的统一管控。二是数据安全与合规管理不到位。一些企业未能构建数据全生命周期管控体系,未能健全覆盖数据采集、传输、存储、使用、销毁各环节的安全管理制度,不能实现全程可追溯。三是安全管理制度不健全。现有制度体系未能覆盖智能体全生命周期安全管理要求。多数企业未建立专门的智能体安全管理团队,落实安全责任制,也未明确岗位职责。
(四)人才队伍短缺,能力结构失衡
智能体安全对人才的专业性要求较高,需培育既掌握人工智能、网络安全核心技术,又熟悉各领域业务场景的复合型人才。当前,我国智能体安全人才队伍存在总量短缺、能力结构失衡等问题,难以支撑安全防控工作的有序开展。一方面,复合型人才供给不足,另一方面,现有从业人员的专业能力不足。此外,产学研协同育人机制不完善,导致人才培养与企业需求脱节,未能形成“培养—实践—就业”良性循环,进一步加剧了人才短缺问题。
三、协同治理视角的智能体安全风险防控体系构建
针对当前各领域智能体安全风险防控存在的问题,应以协同治理理论为指导,构建“政府引导、企业主导、科研支撑、行业自律、社会监督”的协同治理体系,整合各方资源,结合行业领军企业的实践经验,实现技术防护、管理规范、协同联动、人才培育的全方位覆盖,形成“事前预防、事中检测、事后处置”的全生命周期防控闭环,全面提升智能体安全风险防控能力,推动智能体在各领域安全、规范、有序应用。
(一)构建协同治理框架,强化多方联动
明确各方参与主体的职责定位,建立健全协同联动机制,打破治理碎片化格局,形成齐抓共管的工作格局。一是强化政府引导作用。网信部门要牵头制定智能体安全发展规划、安全标准与监管政策,明确智能体安全准入条件、风险分级标准与责任划分原则,推动行业标准的制定与完善,加强对重点领域、重点场景智能体的监管力度,严厉打击智能体违规应用行为,规范行业发展秩序。二是压实企业主体责任。企业作为智能体研发与应用的主体,要借鉴领军企业平台的实践经验,建立完善的安全管理制度,严格落实数据安全与合规要求,加强技术防护体系建设,定期开展安全风险评估与应急演练,主动防范各类安全风险,确保智能体安全稳定运行。三是发挥科研支撑作用。科研机构要聚焦智能体安全核心技术研发,重点推进安全管控、权限管理、隐私保护等核心算法的优化升级,推动科研成果转化应用,为防控体系建设提供坚实的技术支撑。四是强化行业自律。行业协会要牵头制定行业自律规范,参考各类平台的安全配置标准,开展行业培训与交流活动,引导企业规范发展,建立行业信用评价体系,倒逼企业落实安全责任,提升行业整体安全水平。五是畅通社会监督渠道,鼓励社会公众、媒体对智能体违规应用行为进行监督,及时曝光安全隐患,形成多方协同、齐抓共管的治理格局。
(二)完善技术防护体系,提升防御能力
围绕智能体“感知—推理—行动—协作—运维”的全生命周期,构建全方位、多层次、智能化的技术防护体系,提升对新型安全风险的应对能力,筑牢智能体安全技术防线。一是强化感知层防护。部署输入扫描服务、安全防火墙等专用安全组件,结合提示词注入与语义攻击检测算法,通过对输入数据进行深度扫描与净化,有效拦截恶意输入、环境注入攻击等风险;建立数据全生命周期安全管控机制,实现动态信息流控与数据存储,严格落实数据加密、脱敏、访问控制等措施,防范数据安全风险,保障数据合规使用。二是优化推理层防护。对智能体运行指标及推理过程进行实时检测,建立多智能体协同纠错机制,及时识别并修正推理错误,防止错误累积,提升推理决策的准确性;加强知识库安全管控,借鉴五级可信度分级算法,建立知识库准入校验、污染检测与净化机制,通过过滤低可信数据,防范记忆污染风险。三是加强行动层防护。基于最小权限动态采集原则与行为异常检测规范,建立工具调用权限分级管控体系,严格落实最小权限原则,防范权限滥用与循环调用风险;部署工具接口安全检测工具,对工具输入输出数据进行清洗与验证,防范工具接口污染风险。四是强化协同层防护。引导行业研发多智能体协同安全采集算法,建立多智能体协作安全机制,采取设置安全围栏、记忆共享隔离和跨智能体记忆校验等措施,依据各类指标监测结果,及时阻断风险扩散链条。构建多智能体行为监控与异常检测系统,实时监测智能体协同过程中的行为动态,及时识别破坏性行为与其他异常交互,防范系统性风险。此外,智能体运维遵循“权限受控、全程可观测、风险可熔断”原则,从而防范自主代理带来的安全风险。
(三)健全管理规范体系,强化合规管控
完善智能体安全管理规范,强化合规管控,推动智能体安全、规范应用,确保智能体发展符合法律法规与行业要求。一是制定统一的安全标准与评估体系。网信部门应牵头联合行业协会、科研机构、企业,参考核心安全指标与评估标准,制定智能体安全标准,明确安全评估指标、准入审核流程、风险分级标准与处置规范;建立第三方安全评估机制,对智能体进行安全评估,未通过评估的智能体不得进入应用场景,从源头防范安全风险。二是加强数据安全与合规管理。企业应严格落实《中华人民共和国网络安全法》《中华人民共和国个人信息保护法》等相关法规,建立数据全生命周期管控机制,完善数据全生命周期安全管理制度,加强敏感数据保护,规范数据共享行为,防范合规风险,确保数据安全合规,同时,规范指标数据与操作日志的存储管理,保障数据可追溯。三是建立常态化管理机制。行业应用部门应建立专门的智能体安全管理团队,落实安全责任制,明确岗位职责,定期开展安全风险监测、漏洞扫描与应急演练,提升风险处置能力;建立全链路审计机制,对智能体的推理过程、工具调用、数据交互等行为进行全程记录,确保安全事件可溯源、可追责,实现风险早发现、早处置。
(四)加强人才队伍建设,优化能力结构
构建产学研协同育人机制,加强复合型人才培养,优化人才能力结构,缓解人才短缺问题,为智能体安全风险防控提供坚实的人才支撑。一是完善人才培养体系。高校与科研机构应调整人才培养方案,加强人工智能、网络安全、网信业务等相关课程的融合教学,增设智能体安全相关专业方向,培养兼具技术能力与业务素养的复合型人才;深化校企合作,创新协同育人模式,建立实践教学基地,提升学生的实践能力,实现人才培养与企业需求的精准对接。二是加强从业人员培训。定期组织法律法规、技术防护、应急实操、审计溯源等专项培训与交流演练,持续提升从业人员的专业素养和实操能力。三是引进高端人才。出台针对性人才引进政策,吸引国内外智能体安全领域的高端人才投身到各领域智能体安全治理工作中;建立健全人才激励机制,鼓励从业人员开展技术创新与实践探索,借鉴相关企业的技术创新激励模式,激发人才创新活力,提升行业整体人才水平。
四、智能体安全风险防控实践路径与保障措施
基于前述防控体系架构,智能体安全风险防控应结合各领域智能体应用风险等级差异,遵循“先试点、后推广、分阶段、全覆盖”原则,细化落地路径,配套完善保障机制,推动理论体系转化为实操成果,规避体系建设与落地执行脱节问题。
(一)分阶段实践落地路径
结合智能体安全治理发展规律、行业建设进度及合规管控要求,按照“循序渐进、由点及面、迭代完善”原则,划分三大实施阶段,分步推进治理工作落地见效。第一阶段为基础夯实期,聚焦短板整改与规范搭建。依托多方协同治理机制,梳理各场景智能体安全风险隐患,重点整治权限滥用、数据违规、输入防护缺失等突出问题。初步建立行业基础标准与常态化风险监测机制,填补治理规范空白。第二阶段为体系深化期,聚焦技术落地与能力提升。全面推广成熟的全周期技术防护方案,落地标准化合规管理机制,依托产学研平台,突破核心防护技术“瓶颈”。同步完善人才培育、引进与培训体系,全面提升行业整体防控能力。第三阶段为全域提质期,聚焦行业统一与长效治理。形成成熟的多方协同治理格局,实现智能体风险全生命周期、全场景闭环管控。总结政务、网络运维、内容监管等重点场景的试点经验,形成可复制、可推广的治理模式,推动全行业智能体安全规范化发展。在场景差异化落地方面,网络运维场景重点强化权限分级管控、推理纠错与风险监测能力;在政务场景,聚焦敏感数据保护与合规审计,筑牢政务数据安全防线;在内容监管场景,优化输入校验、对抗攻击防御机制,规避内容误判、错判风险。
(二)全方位落地保障措施
紧扣智能体全生命周期安全治理工作目标,统筹政策、资金、技术、监管四大维度,构建闭环式、长效化落地保障体系,筑牢智能体产业安全发展底座,全力保障各项安全治理工作落地见效、常态长效。一是政策保障。持续完善智能体安全专项政策与行业规范,明确治理目标、责任分工与监管要求,加大对技术研发、人才培育、体系建设的政策扶持力度,引导行业合规有序发展。二是资金保障。构建财政投入与企业自筹相结合的多元化资金投入机制,重点支持核心安全技术研发、防控体系搭建、实训基地建设与高端人才引进,夯实硬件与技术基础。三是技术保障。搭建行业技术创新平台,整合前沿研究资源,持续跟踪新型攻击手段与风险演化趋势,迭代优化防护技术与防控体系,保障技术能力与智能体技术迭代同步。四是监管保障。建立常态化行业监督检查机制,完善智能体应用监管细则,对存在违规应用、防控缺位的主体依法依规进行处置,倒逼企业落实安全主体责任,保障防控体系长效运行。
(本文刊登于《中国信息安全》杂志2026年第7期)
声明:本文来自中国信息安全,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。