以DeepSeek为代表的GenAI的优秀性能表现、本地部署及推理成本的显著降低等特性极大加快了大模型在千行百业的落地应用,重点行业纷纷尝试将大模型接入自身业务系统,利用AI的力量加速技术创新、提高生产效率,创造差异化市场竞争优势。在基础大模型百花齐放的同时,辅助驾驶、AI智能体(Agent)、Agentic AI等创新应用更是如雨后春笋般不断涌现,切实融入具体应用场景与业务流程。
企业和个人在尽情享受GenAI带来的丰富红利的同时,也面临着由此带来的各类潜在安全风险,例如隐私数据泄漏、监管与合规挑战、道德困境、数据投毒、供应链安全等。特别是对于企业用户来说,对人工智能工具和服务的使用越广泛和深入,其所面临的新的网络安全、数据隐私和业务连续性的挑战就越严峻。
国际数据公司(IDC)于近日正式发布了《中国大模型安全保护市场概览,2025:全方位安全检测与防护构建可信AI》(Doc# CHC53639325,2025年7月)报告。本次报告中IDC结合全球统一定义以及中国市场特色,将中国大模型安全保护市场划分为7个细分领域,即:构建安全大模型、保护大模型数据存储、大模型可用性检测、保护大模型接口、大模型访问控制、大模型输入内容控制、大模型输出内容控制。通过对中国大模型安全保护市场的广泛和深入地调研,IDC对以上各细分领域的代表厂商进行了全面梳理:
面对人工智能的飞速发展,企业往往面临两难的境地,既要积极拥抱AI,快速采取行动,力争在瞬息万变的市场中抢占竞争优势,又要避免高速行驶的“AI列车”对企业带来安全隐患。因此,IDC向广大技术买家提供以下几点建议:
评估企业现有网络安全策略,是否需要因为人工智能的应用而更新或替换。企业现有安全策略在制定时往往并没有考虑AI,特别是GenAI可能带来的特殊风险。因此,企业需要重新评估、修改和补充现有策略,使其能够清晰应对AI风险,同时能够适应AI技术飞速发展的趋势。
数据安全尤为重要,企业需要通过技术与管理多维度避免数据泄漏或滥用。大模型的部署、训练和应用过程可能会与分布在企业各处的多种类型数据集成和交互,企业需要利用专业的安全网关、API防护、访问控制和数据安全工具/产品确保数据访问、传输和应用过程中的审计、合规与安全。
大模型输入输出内容的审计与合规不容忽视。虽然GenAI技术的飞速发展正在持续改善其存在的幻觉、偏见、道德伦理、政策合规等多方面问题,但这些问题并不会在短期内由大模型自身完全避免或解决。因此,企业需要借助专业的安全工具和产品对大模型的输入输出内容进行全面检测和审计,并根据数据分类分级情况进行内容脱敏、过滤或干预,形成大模型内容安全护栏。
大模型日常应用过程中可能面临传统网络攻击和提示词注入攻击等新型威胁。目前,众多技术提供商纷纷推出大模型防火墙、大模型API网关等专业产品,对大模型接口、MCP、A2A进行有效防护,避免异常算力消耗、模型滥用、协议漏洞利用等风险。
企业需要利用专业安全工具和服务对大模型进行持续的风险评估。采用系统化、自动化的攻击检测、压力测试、红队攻击模拟等方式持续评估大模型可用性,及时识别大模型错误配置、安全漏洞等风险,并及时调整和完善企业大模型的安全策略和防护措施,保护已部署的大模型不被漂移、操纵和利用。
减少企业中影子人工智能和不受监管的大模型的使用。企业需要及时检测和监控所有正在使用的AI工具以及相关的模型、数据、软件等,对异常行为和潜在风险及时采取应急响应,并对员工进行AI相关政策和技能的培训。
IDC中国网络安全市场高级研究经理赵卫京表示,尽管众多企业纷纷接入大模型,但确保大模型在部署、训练、应用过程中的数据安全、监管合规、业务连续性等安全检测与防护仍是一个新兴领域。全球主要的网络安全厂商、云计算服务商、大模型技术提供商纷纷推出针对性的产品和服务,帮助客户应对传统网络攻击和新型威胁的共同挑战。这一市场将伴随AI技术的飞速发展而快速成长。
声明:本文来自IDC咨询,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。