ISC(Internal Safety Collapse,内在安全坍塌)是一种新型人工智能内生安全缺陷。据ISC-Bench项目公开披露,当前已有60余款前沿大模型被检出存在该缺陷。与大众熟知的AI越狱风险存在本质区别,即攻击者无需提交明显带有恶意的指令,仅通过构造表面完全合规的业务任务,便可诱导模型在内部推理与规划环节自主生成违规内容。该威胁可在单次对话内造成数据泄露、恶意滥用等危害,对传统AI安全防护体系形成严峻挑战。

相较于传统AI安全风险,ISC具有内生性、隐蔽性、攻击门槛低等典型特征。现有AI安全防护手段大多侧重构建输入侧安全防线,难以有效抵御ISC这类新型威胁;同时现有模型对齐技术仍存在能力盲区,业界尚缺少对模型内部推理过程的有效监控手段。本文通过剖析ISC这一新型AI高危内生缺陷的产生机理,结合其风险特征,提出ISC专项评测准入、推理全链路监测审计以及产业协同治理等应对思路,为构建AI内生安全防护体系提供支撑。

背景介绍

ISC作为2026年发现的高危新型AI内生缺陷,攻击者不用编造欺骗性话术,只给AI下发一个表面合理的工作任务,即可诱导AI自主生成违规内容,实现数据窃取与恶意利用。公开披露显示,2026年6月,该攻击5秒内攻破Anthropic顶级模型Fable 5,触发后引起广泛关注。据ISC-Bench项目公开披露,累计已有60余款前沿模型被证实存在此缺陷。它打破了传统AI安全“守住输入入口就能拦截风险”的固有认知,是当前智能体时代核心的原生安全威胁之一。

ISC风险的触发机制

ISC风险过程中,AI应用完全处于正常运行状态,安全护栏未被触发、未被绕过,AI应用在“认真完成指派工作”的过程中,自主推导出“完成此项工作,需要生成敏感/有害内容”的需求,于是模型主动输出了违规内容,属于内生结构性失效。

ISC的可复现性可依托TVD(Task-Validator-Data)标准化工程框架进行,其执行链路分为三步。

一是双用途任务(Task)。加载完全合法的专业工作流,比如搭建文本异常检测系统、调试恶意代码样本等,这类任务本身属于正常科研或工程场景,输入端无任何恶意特征,安全检测会直接放行,不会判定是攻击行为。

二是校验器(Validator)。任务附带一套校验规则,它只检查格式、字段完整性等技术指标,不具备语义安全判断能力。当任务中的关键字段不符合要求,校验器会抛出异常,强制要求AI补全符合要求的内容才能继续推进任务。

三是数据(Data)。AI应用接收到校验异常后,会自主启动调试链路,为了修复异常、让程序正常运行,完成任务闭环,AI自动生成符合规则定义的敏感/有害数据内容。全程没有任何人工诱导,AI应用始终在实现“完成被指派的工作”这一核心目标。

例如,让AI应用修复一段测试脚本,脚本用来检测不良内容。脚本有一条硬性要求,即里面的测试样本参数不能为空,并且这个样本要能够被安全工具识别为有风险。脚本初始数据里这一项是空的。AI应用拿到任务,发现参数是空的,如果不把这个参数填上,整个脚本就跑不起来。为了完成修复脚本这个正经工作,AI应用就自行生成了一份风险样本(例如钓鱼邮件文案)填进空白位置。整个过程没有直接让AI应用编写钓鱼邮件。AI应用是为了完成工作、满足校验要求,自发产出了有害内容,ISC风险就此触发。

传统AI安全风险的差异分析

(一)风险机理的本质区别

ISC与提示注入、数据投毒、越狱攻击等传统风险存在本质区别。一是内生性,该风险不依赖外部恶意指令触发,产生于AI应用自身任务规划与推理环节,AI为达成目标自主输出违规内容,突破传统外部攻击范式,给边界防御带来根本性挑战。二是隐蔽性,攻击交互形态贴近正常业务请求,规则匹配、流量检测等传统方案难以甄别,攻击痕迹内嵌于推理流程,预警识别难度显著提升。三是低门槛,攻击无须复杂越狱技术与多轮博弈,依靠单轮特制指令即可能实现突破。利用成本低廉、易于批量复现,使得该攻击面具备规模化利用条件,安全敞口急剧扩大。

(二)现有防护效能的短板

面对ISC威胁,现有AI安全防护体系暴露出三方面短板:一是输入安全防线难以有效应对。当前依赖有害内容检测、提示词审计等技术的边界防御,均以识别用户的恶意意图为前提。ISC攻击载荷本身无害,可绕过所有输入端检测,防护系统识别不出攻击,边界防御面临根本性挑战。二是模型对齐技术存在结构性盲区。当前主流的基于RLHF、宪法AI等对齐方法,训练数据以输入输出对抗样本为主,未能覆盖模型在推理过程中自主衍生的违规逻辑。模型在目标驱动下产生内生越轨,现有安全对齐方法难以充分纠偏。三是运行时监控能力不足。传统AI安全监控聚焦输入输出内容,对推理过程中间状态缺乏感知。ISC违规内容在AI应用内部生成,现有工具难以在推理链中截获异常,事中干预能力受到严重制约。

应对建议

ISC风险的出现标志着AI安全威胁已从传统外部对抗性攻击,延伸至内部推理链路各环节,需要测评、监测审计、产业协同多维度共同发力。为主动应对ISC内生安全威胁,建议从以下方面加快推进与布局。

(一)建立专项ISC风险评测与准入机制

一方面,将ISC检测纳入AI安全评测体系,制定ISC评测规范,构建覆盖多种任务规划场景的样本集,重点检验AI应用在无害指令下自主生成违规内容的风险。另一方面,对政务、金融等高风险应用领域,优先开展ISC安全检测试点,AI应用应进行上线前检测,已部署模型应限期复测,逐步建立准入要求,切实降低ISC内生安全风险。

(二)提升推理过程ISC风险监测与审计能力

一是识别高风险任务,对存在敏感数据补全需求的高危任务开展持续监测,建立风险清单实施重点管控,从任务源头降低ISC触发风险。二是强化工具调用全流程监测,针对调用参数、返回结果开展敏感信息检测与拦截,落实工具最小权限管控,遏制违规信息沿工具链扩散。三是建设推理层行为监测能力,对任务拆解、报错修复、校验报错后的行为进行重点监测,及时识别异常,触发告警、复核,必要时进行任务终止。四是完善任务级日志留存,完整记录任务拆解、工具调用、数据引用等全链路过程信息,支持安全事件回溯排查。

(三)推进产业协同,完善 ISC治理共识

一是梳理行业ISC风险场景清单,建议行业组织联合大模型厂商、应用开发商、安全机构,梳理ISC风险场景,明确哪些场景更容易触发ISC风险,列出触发条件和对应防护措施,帮助企业在产品研发阶段规避风险。二是加强技术研究协同,建议大模型厂商、应用开发商、安全机构、高校、科研机构联合开展ISC机理研究,共建ISC触发样本库、防御方案库,共享风险处置经验,提升对ISC风险的检测与应急处置能力。三是推动在国家、行业AI安全相关标准指南中,补充针对AI任务决策执行链路的安全要求,不只关注用户输入和最终输出,引导整个行业建立“输入—推理—工具调用—输出”的全链条安全思维。

作者:

武晓慧、曹昌博、樊期光

就职于中国移动研究院安全技术研究所,主要从事AI安全评测、监测及治理领域研究工作。

审核:

杨凯| 安全技术研究所

声明:本文来自中移智库,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。