文/浙江大学求是特聘教授,区块链与数据安全全国重点实验室首席研究员 杜跃进
区块链与数据安全全国重点实验室研究员 陈慧慧
人工智能技术的迅猛发展,正在引起网络数据安全的颠覆性变化:以 Claude Mythos 等为代表的前沿模型所展现出的漏洞发现和利用能力,正在对所有行业构成空前安全威胁;面对可能迅速扩散的海量未知漏洞,传统软件和漏洞管理机制失灵;人工智能极大地拉低了高级安全攻击的门槛,专业高水平威胁将日益普遍。同时,业务系统对网络、数据和人工智能的依赖全面深化,导致系统风险与脆弱性变得空前复杂:业务全面转向可自动执行的智能体化、软件系统逐渐依靠 AI 自动编程、大模型从预训练到微调再到推理过程中持续的数据依赖等,都会逐渐导致人类员工对业务、数据、软件等失去逻辑判断甚至干预能力,最终进入人工智能导致的“失控”状态。
2026 年 6 月,国家金融监督管理总局发布《关于银行业保险业人工智能安全开发应用的指导意见》(金发〔2026〕8 号),明确要求建立覆盖人工智能全生命周期的风险治理体系。金融机构应高度重视本轮新型安全风险,持续跟踪研究最近进展,积极采取措施提升自身安全能力,保障核心金融服务连续运行。
人工智能发展和应用对网络数据安全带来空前挑战
2026 年二季度,Anthropic Claude Mythos、OpenAI GPT-5.6 Cyber 等前沿通用模型展现出了超强的软件漏洞发现和利用能力,引发了全球对网络安全的空前关切与焦虑,因为这可能导致当前普遍采用的安全防御机制和方法失灵。软件这个人类数字世界的基础组件,正在面临全面失守的风险。然而人工智能带来的新型安全风险远不止于此:业务系统的依赖关系和复杂性空前升高带来的脆弱性增加、黑箱和不可解释性,导致业务逻辑安全判断日益困难、数据安全概念和工作内容发生质变、AI 自主决策执行带来新型失控危机的应对难题等。这些问题都已经成为迫在眉睫的风险,需要引起真正的重视。
1.前沿AI导致网络安全攻防能力严重失衡
Mythos 等前沿模型的漏洞发现能力超强,甚至让经过人类专家群体协作多年认为安全的软件,也被证明并非如此。理论上,这让掌握这种能力的一方,在软件安全领域对防守方达到“单向透明”的状态,即攻击者掌握大量防守者原来根本不知道的漏洞。由于眼下这类能力全球只有个别国家和企业单独掌握,导致全球很多国家对其关键信息基础设施或应用的安全担忧。实际上,业余人员目前使用前沿基础大模型也已经可以“批量”发现漏洞,原来不可或缺的漏洞发现、收集和管理模式,现在几乎全面失效。
近期研究表明,Mythos 能够在十几分钟内形成漏洞触发样例,并在小时级时间内生成完整利用。GPT-5.6 也爆出为通过测试、成功自主实施网络攻击行动的事件。过去按周或按月计算的 N-day 漏洞利用窗口正在向 N-hour 压缩。有耐心的攻击组织甚至可以大批量储备 0 day 漏洞,用于大型复杂网络攻击平台的开发部署与威胁实施。借助人工智能技术,原来非常专业化的高级网络安全攻击能力正在迅速普及和扩散。对防守方来说,如今忽然面临着攻击者可能掌握大量自己不知道的漏洞、安全响应时间被大幅压缩、攻击对手的能力和数量大幅提升的巨大挑战。
2.AI应用带来全新数据和业务逻辑安全风险
当前人工智能技术应用在很多领域都收获了积极效果,引发了各行业加快应用尝试的热潮。但是,与传统软件及其计算模式不同,当下人工智能应用模式还处于探索期,数据和知识产权保护、业务逻辑安全保障等关键问题都面临全新挑战,以往经验并不完全适用。
数据安全的概念,在数字经济时代发生了第一次质变,需要关注数据作为生产要素在跨组织流动过程中对多方权益的保护与数据价值维护。在人工智能时代,数据安全的概念再次增加了全新内容:数据的完备性、公平性和纯净性。绝大多数人使用别人的基础模型打造自己的 AI 能力,但是从自己的业务领域,基础模型预训练的数据是不是完备的和公平的,用户却一无所知。在微调阶段和应用阶段,数据是否被污染或投毒,目前也缺乏有效的验证手段。由于人工智能目前存在不可解释性、数据与指令的边界模糊、超长时间和上下文情况带来的复杂性等,导致目前没有一套成熟的方法应对这类风险。这致使在业务应用过程中,虽然希望用“人在环中”把控关键风险,但实际上可能是无能为力。另外,由于目前并没有新型知识经济的成熟模式,用户在调用基础大模型的过程中如何防止自己的知识被大模型“蒸馏”,保护自身权益,也是另一种全新的数据安全问题。
3.AI应用导致系统复杂性和脆弱性攀升
当相互耦合的系统越庞大、依赖关系越不清晰、运行管理越分散,整体系统的脆弱性风险就越大。传统软件已经因为过于庞大而导致用形式化分析证明软件安全的方法失效,软件安全漏洞的敞口始终无法关闭。AI 编程目前导致代码规模进一步巨量增加而且不适合人类阅读检查(未来更是如此);传统软件供应链安全管理,已经成为当前软件安全领域最重要且艰难的工作之一,AI 时代的供应链生态更加复杂且逻辑完全不同,如何开展 AI 供应链安全管理还是新兴领域;应用系统早已不是单独运行,而是依赖背后复杂的分布在全球的网络与基础服务支撑,这导致很多问题的发现、定位和处置都非常困难,近期国内外都频繁发生因为网络、云、电力等原因导致的严重业务瘫痪事件;人工智能的自主执行与进化、海量增长的智能体及其协同网络,正在让复杂性急剧加大。传统的网络与数据安全工作与业务的结合不够,新时代需要“以业务为中心的安全”,但技术领域的脆弱性与风险,如何与业务视角的风险做到相互映射和分解,目前严重缺乏研究。
4.AI失控风险提出新型应急能力要求
人工智能的“黑盒”“不可解释”“自主执行进化”等特点或趋势,加之前文提到的各种因素,导致“人工智能失控”变成一个全新的需要高度重视的风险。当前国内外很多机构已经开始进行研究,但人工智能技术和应用依然处于快速发展阶段,在很多关键概念的定义、应对思路和措施等方面,都还远远不成熟。现有的关于 AI 安全的各种方法和措施,都在不断被证明可以被突破,然而整个人工智能生态却如同一艘无法掌控的巨轮,明明千疮百孔却还在拼命提速。这时候,新型应急能力变得更加重要,尤其是针对各种未知的AI 失控风险。
金融领域面临的新型现实网络数据安全风险
金融行业一直走在信息化的前沿,当下也在积极开展智能化探索。由于金融行业的特殊性和重要性,很多问题变得更加严峻和紧迫。
1.金融业务场景下攻防倒挂
机器级漏洞逆向与利用速度正在造成攻击武器化快于补丁生效的时间倒挂。金融核心系统、支付清算系统和数据库等关键资产出于交易一致性与业务连续性要求,补丁生效必须经过影响分析、兼容测试、变更审批、灰度分发和重启验证等较长流程。攻击者只需针对一个目标构造一次有效利用,防守方却必须在大量异构资产和业务节点上完成无遗漏修复。由此,漏洞利用可能已经在现网扩散,防御补丁仍停留在测试、分发或等待重启加载阶段。补丁是否下发已不能代表风险是否解除,只要修复尚未在实际运行环境中验证生效,相关资产就仍处于现实暴露状态。
模型使用条件差异正在造成攻击侧模型能力强于防御侧模型能力的新型倒挂。攻击者可直接调用能力更强、迭代更快的前沿闭源模型,用于代码分析、漏洞验证和攻击路径规划,通常无需承担数据出境、合规审计、模型可解释性和业务连续性等约束。金融机构因客户数据敏感、生产网络隔离和供应链安全要求,难以将核心代码、系统配置、告警日志及业务数据提交给外部模型,防御侧往往只能使用本地部署的开源模型或较小模型。攻击方能够以较低约束追求模型能力上限,防御方却必须在模型能力、数据安全和生产稳定之间反复权衡,使攻防不对称由补丁竞赛的时间倒挂进一步扩展为模型能力倒挂。
2.多模型多智能体协同已落地现实生产环境
当前金融业务面临的是“模型、智能体、工具、算力和流程”组成的自动化攻击生产线,攻击者可以使用多智能体并行分析大量资产、漏洞和攻击路径。微软 MDASH 由 100 多个专精智能体组成,不同智能体分别承担漏洞发现、分析、验证和结果汇总任务,通过分工、辩论、验证和调度形成工程体系。该系统已经被用于 Windows、Azure和身份系统等实际安全流程。
2026 年 7 月下旬发生的 OpenAI 模型现网越界攻击表明:前沿模型攻击力外溢至真实生产环境,围绕既定目标自主搜索薄弱环节,将分散漏洞、身份凭证和基础设施通道组合为完整攻击链,使高水平网络攻击由“专家手工作业”加速转向“模型自主编排、算力规模驱动”的工业化生产。
3.多智能体协作加速金融云上真实攻击演进
2026 年上半年,AI 智能体与云原生基础设施交织融合,以攻击入口、高权限执行载体与自动化攻防工具三重角色,深度打穿传统金融云的安全防护边界。
入 口 维 度:AI 编 程 智 能 体( 如 OpenCode) 与API 网关(如 LiteLLM)等组件的无鉴权服务被误绑定至公网,直接沦为公网 RCE 入口。攻击者无需正面冲击金融核心业务接口,即可将受害节点作为跳板向内网横向渗透。边缘与开发侧智能体 暴露沦为云上公网RCE 打靶突破口。
载体维度:高权限运维智能体与云算力集群沦为持久化接管靶场。金融云基础设施中运行着大量高权限监控 Agent(如 Nezha)与分布式算力集群(如 Ray框架)。当以 root 权限运行或未鉴权发生命令执行漏洞时,将直接演变为高权限执行载体。如被控,攻击者针对集群节点并发下发 Payload,将导致云上算力被非法接管,可能直接导致金融交易、风控推理上下文及 API 密钥批量泄露。
攻防维度:攻击侧任务调度智能体与云上新老漏洞协同打靶。一方面,利用 Hermes 等框架持续下发命令、管理巡检会话,对云上新披露的 AI 组件漏洞进行小时级的批量探测与精准打靶。另一方面,将最新 CVE与云上 Log4j、Fastjson 等历史遗留安全债务进行组合攻击。由于金融机构云上安全治理往往受制于严谨的变更审批流程,这种高并发、自动化的攻击闭环可能直接打穿 SOC 团队的应急响应窗口。
4.智能体错误判断、恶意指令和外部操纵直接转化为真实业务操作
智能体受控。风险将沿身份链、权限链和执行链向外扩散,形成数据读取、权限调用、业务变更和对外操作相互衔接的完整闭环。其安全缺陷首先源于“指令与数据边界消失”。微软披露的案例显示,提示词注入能够沿“自然语言输入—工具选择—参数传递—命令执行”链路演变为主机级代码执行。进一步,智能体能自主试错和连续行动,把原本相互隔离的权限拼接成跨系统攻击链。其执行速度、持续时间和并发规模均超过人工,受传统风控规则“遮蔽”,仍是合法账号、正常接口和合规工具调用。
这一风险在金融业务中具有放大效应。金融机构部署的客服、开发、风控、合规、运营和办公智能体,往往兼具不可信内容输入、敏感数据访问和高风险操作权限,一段隐藏指令就可能诱导其查询并外传客户信息、修改收款账户、生成并发送欺诈邮件、绕过审批环节、改变授信或理赔材料,甚至调用支付、账户管理和生产运维接口。
智能体模糊金融业务原有的责任边界。智能体自主进行工具选择、参数生成、数据调用;多智能体间相互委托、传递数据和复用凭证。错误操作发生时,难以迅速判断问题来自用户指令、外部内容污染、模型自主决策、工具缺陷还是权限配置失当。由此,智能体风险演变为同时涉及非人身份冒用、权限组合失控、业务流程绕行、敏感数据泄露和操作责任失焦的综合性金融业务风险。
5.知识与记忆供应链污染可能长期操纵智能体决策
金融数据安全风险正由训练数据投毒扩展到知识库、长期记忆、推理记录和工具元数据。攻击者由此不再满足于临时“欺骗智能体”,而是开始瞄准智能体的“大脑”,通过污染其记忆和推理历史,持续改变其对用户、业务规则和安全边界的认识。
2026 年披露 GhostWriter 通过向智能体输入隐藏载荷,将恶意内容写入长期记忆,被植入内容还可在后续任务中重新激活;FARMA 则不直接篡改事实,而是伪造智能体过去的推理和决策记录,使其误认为某项身份核验、风险检查或审批程序已经完成而主动跳过;Unicode TAG-Block 攻击可以把人眼不可见的指令隐藏在模型上下文协议(MCP)的工具名称、说明和参数元数据中,进而影响决策执行。
这类风险对金融机构尤为突出。智能体越熟悉客户偏好、账户关系、审批习惯和历史交易,其服务越精准。一旦记忆被污染,错误也会被包装成“已经验证的历史事实”或“智能体自身形成的经验”,长期影响客户身份判断、收款账户选择、授信审核、反欺诈处置、保险理赔和合规决策。后续即使删除原始攻击邮件,污染内容仍可能在相关任务中被重新检索和执行。
金融业应对新型网络数据安全风险的策略建议
人工智能尚处于快速演化阶段,新型网络数据安全风险与形势仍在不断发展变化,安全风险机理和防护方法尚未定型。面对这一现状,金融业必须摒弃侥幸心理和惯性思维,不能寄希望于一套方案、一个平台或一类产品长期解决问题,而应把持续研究、持续验证和持续调整打造为核心安全能力。总体上,应坚持以业务为中心、以风险为牵引,以人工智能提升防守效率、以纵深防御争取处置时间、以韧性能力保障极端情况下核心金融服务连续运行。“目前没有成熟的方法和产品体系”是当前阶段的现状,也是制定应对策略的前提。
1.一般原则
首先,行业需要研究建设“以业务为中心”的安全能力框架,坚持安全与业务同步演化。人工智能正在深度进入客户服务、风险管理、支付结算、软件开发和运营管理等环节,网络数据安全风险也随之嵌入业务流程。业务规划、技术架构和安全设计不能相互割裂,应从关键业务目标出发,向下识别其依赖的模型、智能体、数据、软件和基础设施,并将技术风险映射到客户、资金、交易和业务连续性影响。
其次,金融行业需坚持开放协同和动态迭代。更加系统和主动地持续深挖围绕自身业务场景特点的安全需求和问题,联合开展试点,高效实施总结,快速进行经验教训的推广总结。同时,与高校等研究机构建立新型技术创新生态,自身建立总体设计的能力,在此基础上不断用真实的场景和问题引领研究机构的科技创新,并建立维护完善的测试验证等基础设施,主导实现创新技术的应用整合。
2.总体方法
从时间和空间维度构建新的安全能力体系。在“以业务为中心”的安全原则之下,时间上建立 GIPPDRR(治理、识别、预先、防护、发现、响应、恢复)全链条的安全能力衔接,实现风险因素的多环节降解,避免单环节风险压强过大崩溃;空间上进一步完善“纵深防御”,加强异构和弹性 / 韧性因素的设计,加强基于整体攻击链条(而不是单点软件攻防)的对抗能力,例如围绕网络、身份、数据、应用和业务操作设置多层独立防线,通过微隔离、权限分离和业务制约拉长攻击链,以空间和工程复杂度换取发现、判断和处置时间,改变被动态势。加强预设对抗技术和设施的部署(例如陷阱类技术)等,预设业务降级、解裂生存和可信重构机制,控制影响范围并保障核心功能。
3.重点工作
一是重构软件安全和漏洞治理工作。持续运用前沿人工智能开展软件风险排查、漏洞发现和修复验证,减少“攻击者先知、防守者后知”,研究探索新形势下软件安全响应、漏洞管理、供应链管理等工作的重构,推动由人工串行向智能协同转变。
二是拓展人工智能数据安全边界。治理对象应从训练数据扩展到微调数据、知识库、长期记忆、推理记录和工具元数据,关注数据泄露、污染、投毒、失真及知识资产被提取等风险,建立覆盖进入、加工、调用、写回和退出的全过程管理。
三是加强智能体安全治理和持续监测。围绕智能体身份、任务、权限、委托关系和实际行为建立统一管理机制,重点防范任务漂移、权限组合失控和合法接口被用于异常业务操作,确保高风险事项始终保留规则约束和人工干预能力。
四是建设面向未知风险的应急与韧性能力。加强复杂场景推演、预案验证、专业训练和辅助决策研究,在部分系统、数据或智能体失控时,能够快速隔离风险、维持最小业务闭环,并从可信基础恢复完整服务。
五是加强人工智能安全测评验证与智能化安全能力建设。应以金融机构自身业务场景和真实安全需求为牵引,区别于单纯满足监管合规或参与外部通用测评,建立覆盖模型、智能体及相关防护技术的持续测试验证机制,动态评估其安全性、有效性和适用边界。同时,积极研究运用人工智能提升网络数据安全风险发现、分析研判、攻击链还原和应急决策能力,建设包含 AI 失控风险在内的智慧应急体系,通过复杂场景推演、预案验证、专业训练和突发事件辅助决策,形成“以 AI 应对 AI”的持续演进能力。
(此文刊发于《金融电子化》2026年9月上半月刊)
声明:本文来自金融电子化,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。