在过去的一年中，网络安全领域最受关注和讨论最多的领域之一就是SOC，特别是对"AI-SOC"的推动，其前提是LLMs安全告警的分流和人类分析师的自动化。
没错，我已经在这里写下了我对此的看法。但是，更大的事情正在发生。
2024年12月，我在一篇关于SOC的最热门文章中指出，SACR的研究表明，在SOC中出现了一个更安静但却更具决定性的转变：数据层。这是我指出的最重要的一层，因为如果没有干净、路由良好的遥测数据，即使是最聪明的AI也会缺乏背景信息。
本报告解释了这一转变背后的原因。
证据很快就出现了。今年2月，一家领先的管道厂商Cribl报告称，在推出仅6年后，其总收入就突破了2亿美元。该公司还在2023年10月成为有史以来最快突破1亿美元年度经常性收入的公司之一，达到了仅次于Wiz、HashiCorp和Snowflake的里程碑。这是许多网络安全公司从未达到的里程碑。这意味着什么？
很明显：CISO正在用预算投票。数据为先的架构能带来立竿见影的投资回报。本《市场指南》解释了为什么SOC数据层现在能够驱动成本、分析师体验以及越来越高的检测质量。此外，我还很高兴地介绍我们首次推出的安全数据管道平台（SDPP）厂商排名--这是我们新评分方法的首次发布，它将指导我们今年的研究报告。
里面有:
明确定义SDPP市场及其在SIEM、XDR和数据湖之间的位置
SOC运作方式的细分，包括主要来源和目的地
规划假设以及CISO级别的预算编制项目指标
每个现代安全管道必须提供的关键功能的基准，以及SIEM正在如何演变
当管道从基本的日志缩减发展到自主的、以AI为导向的数据结构时，对厂商进行评估，以权衡其执行力和愿景
利用本报告评估平台，完善您的SOC路线图，将炒作与真正发挥作用的基础设施区分开来。
安全数据管道平台（SDPP）
厂商排名方式：方法论详解（查看完整报告，或访问厂商的能力板块）。或者，访问此电子表格以获取完整的排名标准及分析内容(https://docs.google.com/spreadsheets/d/1QNF317dyUpBdz436geQzxS-Qz5UVZ-2QP-4jOdVJwK0/edit?gid=1346714715#gid=1346714715)
导言：主要报告结论
1.报告重点：本报告重点关注安全数据管道平台（SDPP）的迅速崛起。
市场厂商与合作伙伴：SDPP市场正在走向融合。虽然有30多家公司提供某种形式的管道功能，但SACR特别将分析范围缩小到11家厂商；其中9家属于纯粹的管道类别，2家具有邻近的SIEM+安全数据管道功能。这些厂商代表了这一领域最重要的参与者，既有知名企业，也有采用差异化方法的初创公司。
厂商排名：我们开发的排名流程结合了Crunchbase的综合评分和对核心管道能力以外的技术能力的深入评估。
2.传统SIEM在压力下崩溃：
SIEM正在经历一场大变革，这已不再是秘密。我们所熟知的SIEM正在努力跟上日志和安全遥测数据的不断增长。传统的SIEM是根据摄取量收费的，在经济上已难以为继。随着来自云、端点、身份和网络工具的数据呈指数级增长，SOC面临着艰难的取舍：要么减少日志记录（存在可见性缺口的风险），要么缩短数据保留时间（妨碍调查），要么承担巨额成本。这些限制暴露了一个核心问题，即传统的SIEM并非针对当今的分布式、大容量环境而设计。
2025/2026年SIEM的未来：根据我们的研究，我们认为传统的内部部署SIEM在未来五年内仍将占有一席之地，因为它们已经嵌入到最大型的企业中。不过，在成本压力的推动下，我们看到SIEM正在从单一化向模块化发展。现代SIEM不再是存储和分析所有数据的单体系统，而是发展成为存储与分析分离的模块化平台。这种"查询层"模式允许数据存放在成本更低的存储设备（如Snowflake或Azure Blob）中，同时按需进行查询。SIEM还采用了OCSF和JSON等开放格式，使集成更容易，并减少了厂商锁定。它们的核心重点正在向实时告警靠拢，而长期搜索和保留则委托给邻近的系统。
3.安全数据管道平台（SDPP）正在成为关键的预处理层
为了解决SIEM的这些局限性，现代SOC正在部署专用的安全数据管道平台(SDPP)作为智能预处理层。这些平台可在遥测数据到达SIEM、XDR或安全数据湖等下游系统之前对其进行清理、丰富、规范化、过滤和路由。通过及早消除噪音和实现格式标准化，SDPPs有助于降低存储成本、加快调查速度，并使分析人员能够专注于高价值告警。实际上，它们就像一个安全精炼厂，将粗略的遥测数据转换为结构化、上下文丰富的信号。
4.安全数据管道管理将持续增长的5个核心原因
这将是未来几年最大的市场之一。管道市场的增长受到多重压力的推动。首先，由于云的采用、物联网、工具扩张以及新类别的AI应用程序和AI安全解决方案，遥测的数量正在不断增加。其次，SIEM许可模式对于大规模数据摄取来说在经济上难以为继。第三，从GDPR到美国证券交易委员会（SEC）新的网络披露规则，这些监管要求都需要高质量、可审计的日志数据。第四，相邻的是围绕报告的合规要求。审计员和风险官需要时间数据来提交监管报告，而这些解决方案有助于解决这一难题。最后，安全工具通常以不同的格式生成日志，这增加了关联和检测的复杂性，除非首先在管道中对数据进行转换。
5.安全数据管道的未来趋势
管道市场的未来正受到AI代理用例和MCP协议的影响。曾经静态的管道正变得越来越智能，检测意识也越来越强。AI和大型语言模型将重塑遥测管道。日志具有丰富的细节，对于训练或查询LLMs特别有价值。
AI/LLM正在颠覆检测工程：更重要的是，我们看到管道正在演变为代理系统。它们是AI驱动的机器人，能够像AI数据工程师一样自动生成解析规则并实时丰富数据。在不久的将来，管道不仅可以预处理数据，还可以运行检测逻辑并应对威胁，而无需依赖下游SIEM。我们预计管道将开始充当实时威胁传感器，能够在数据到达SIEM时或之前执行检测规则（如Sigma）。随着时间的推移，它们可能会成为自动响应的协调者。此外，管道正在被嵌入到更广泛的架构中，成为统一摄取、存储和分析的安全数据编织的一部分。
厂商评估框架：为了评估SDPP领域的厂商，我们提出了双重视角：技术深度和业务势头。在技术上，应根据摄取速度、规范化质量、集成广度和对开放标准（如OCSF）的支持等核心能力对厂商进行评估。在业务方面，关键指标包括筹集的资金、客户群、生态系统合作伙伴关系以及在企业安全堆栈中的存在。我们重点关注那些在某项功能上长期保持产品成熟度的厂商。我们认为，兼具灵活性和未来就绪性的工具，尤其是在AI增强和威胁或流分析方面，将处于领先地位。
2025年的SOC状况
现代安全运营中心（SOC）架构可大致简单地分为三个基础层，每个层负责安全运营的一个关键阶段：
1.数据层：是进入SOC的入口。它包括来自不同安全源的数据摄取和路由，如端点检测和响应
2.存储、检测和分析层：该中间层管理威胁识别所必需的存储、分析和检测功能。它利用跨SIEM和数据平台的不同类别系统
3.AI增强响应和决策层：最后一层利用分流、自动化和浓缩功能来加快威胁响应和决策
数据层：安全数据管道平台（SDPP）为何蕴含巨大市场机遇
任何安全运营中心（SOC）的有效性从根本上取决于其处理数据的质量、相关性和及时性。没有强大的数据层，建立在数据层之上的其他一切--分析、检测、响应自动化--都会在不可靠或不完整的洞察力下崩溃。如果您只有几分钟时间阅读报告，以下是我们的主要结论：
1.来自安全工具的数据量不断增长，而且十分复杂：数据的数量、种类和速度都在不断增加，特别是随着云工作负载、物联网/OT设备和新型网络安全解决方案的兴起。这就迫切需要一个强大的SDPP来有效管理这些数据。报告在安全方面清楚地说明了这一点，企业正在努力处理"从分布式网络、端点、云环境和第三方服务中产生的大量安全数据"。
2.传统SIEM价格昂贵，安全数据管道可加快迁移速度：传统SIEM通常使用基于数据摄取量的定价模式。由于许多SIEM仍采用内部部署方式，因此当企业试图跟上数据增长速度时，其SIEM成本就会飙升，从而难以保持全面的安全可视性。这就是大多数团队所面临的取舍问题：
减少日志记录：减少记录数据，因为这会造成盲点并增加安全风险。
过度过滤：过滤掉可能有价值的数据，以节省摄取时间，避免遗漏威胁。
限制保留时间：缩短数据保留期，这将阻碍长期威胁搜索和取证分析。
3.数据质量与合规性报告：
2023年，美国证券交易委员会通过了新规则，要求上市公司披露重大网络安全事件及其风险管理实践。这些披露必须在确定事件为重大事件后不久进行。
许多合规性规定要求企业准确、详细地记录安全事件、日志和活动。这包括谁在何时从何处访问了哪些数据。数据质量差（如日志不完整、时间戳不准确）会破坏这些记录的完整性，导致在审计或调查过程中难以证明合规性。
安全法规和标准（如GDPR、HIPAA、PCI DSS、NIST）的合规性取决于企业正确收集、管理和保护敏感数据的能力。
当发生安全事故时，企业必须能够快速有效地做出反应。高质量的数据有助于事件调查，使安全团队能够确定漏洞的范围、评估损失并采取纠正措施。
合规性还要求组织证明他们拥有完整的审计跟踪，以显示存在问责制和可视性。
4.随着不同数据格式的增加，安全工程的复杂性也在上升：大多数组织依赖40-50种以上的安全工具。其中90%以上都会向SIEM发送告警，以便进行关联和威胁检测。这包括SIEM、EDR、NDR、云平台、身份管理系统、漏洞扫描器等。每种工具都会生成不同格式的日志，并有自己的语义、模式和存储需求。这种复杂性在很大程度上源于现代基础设施：容器、微服务和弹性云环境。资源时涨时跌。IP地址不断变化。网络拓扑不断变化。这使得跟踪活动、基准行为或检测异常变得异常困难。传统的安全工具无法应对这种短暂的环境。因此，对于安全工程师来说，在零散的工具链上规范数据、关联事件、构建全面的仪表盘或自动化工作流程已成为一场噩梦。
5.转向实时数据处理：在当今的威胁环境中，速度至关重要。攻击在几分钟内就会展开，检测或响应的延迟会导致真正的损失。但许多传统的安全工具依赖于批处理，这会带来延迟并阻碍实时可见性。对实时或流式SDPP的需求日益增长，以实现即时洞察和行动。这在安全领域尤为重要，因为实时应对威胁可以最大限度地减少损失。本报告强调，"实时流处理 "是现代安全遥测管道背后的核心价值驱动因素之一。
网络安全数据的快速增长
近年来，数据在整个企业，特别是在安全运营中的应用急剧增加，这已不再令人惊讶。
现代安全环境已被数据淹没。现在，每个端点、服务器、应用程序和网络设备都会产生大量日志和告警。
云原生架构、微服务、容器和SaaS平台进一步加速了这种爆炸式增长，每种架构都引入了新的遥测层。随着企业向混合云和多云设置扩展，安全团队每天要从数百个不同来源摄取数十亿个事件。
曾经完全适用于集中式SIEM的功能，如今已让传统工具应接不暇。安全遥测的数量、种类和速度都超出了传统系统的假设。从高卡片质量的EDR日志到API跟踪，SOC不再只是消耗日志，而是要处理结构化、半结构化和非结构化的全MELT范围的遥测信息。
Source: Statistica / Applied Security Data Strategy
在数据安全中定义数据及其背景
去年，我写了大量有关数据安全用例中的数据的文章。这次，我们来看看与安全运营有关的数据。
本报告深入探讨了安全遥测类别，因为它涉及企业从各种安全工具（包括EDR系统、防火墙、云安全日志、IAM系统、应用程序日志、威胁情报源、Windows事件日志和其他来源）收集的所有安全日志和事件数据。这些都是需要输入SIEM的关键数据集。
安全遥测数据类型 (MELT)
安全数据管道平台（SDPP）
安全数据管道平台（SDPP）是专门构建的系统，用于在混合和云环境中摄取、规范化、丰富、过滤和路由大量安全遥测数据。这些平台位于数据源（如EDR、云日志和防火墙）和目的地（如SIEM、数据湖、XDR和分析工具）之间。它们的目标是优化遥测数据的流量和质量，降低运营复杂性和成本，同时提高检测和响应的速度和准确性。
困惑与误解
安全数据管道管理与业务ETL：必须澄清的是，安全数据管道（如Cribl）和业务ETL管道（如DBT Labs、Fivetran）的目的根本不同。
数据处理重点：安全数据管道优先考虑实时威胁检测和降低安全遥测噪音，而业务ETL则侧重于转换结构化数据以进行分析和报告。时间敏感性在安全数据管道中至关重要，因为它需要立即进行流处理以检测威胁，而业务ETL通常是分批进行业务智能处理。
安全数据架构与安全数据管道平台(SDPP)：安全数据架构指的是一种架构方法，可实现安全、统一和有序地访问分布式安全相关数据，无论数据位于何处。它包括更广泛的数据集，如安全日志、业务数据、合规记录、资产元数据和身份系统。相比之下，SDPP专门侧重于管理和处理安全遥测数据（即日志、事件、指标、跟踪和威胁数据）的产品功能。
SOC DPP的工作原理
在SOC管道的世界里，既有来源地，也有目的地；
来源（安全工具）
数据管道是连接组织，它将原始遥测数据从诞生地运送到创造价值的地方。在安全运营中，这是一切开始的地方。数据源是第一公里--产生原始遥测数据（如日志、指标、事件和跟踪）的系统、传感器和应用程序。正确处理源至关重要：只捕获有用的信息，用丰富的上下文（时间戳、资产 ID、模式）对其进行标记，并尽早减少噪音，以控制成本并保持下游工具的性能。一些例子包括：
1.端点和用户设备遥测：CrowdStrike Falcon EDR告警、Microsoft Defender for Endpoint事件、SentinelOne代理遥测、内核审计事件
2.网络和边界遥测：Palo Alto NGFW流量日志、Cisco ASA NetFlow记录、Zeek IDS日志、Cloudflare Gateway DNS日志
3.云和基础架构审计日志：AWS CloudTrail事件、Azure活动日志、Google云审计日志、AWS VPC流量日志
4.身份和访问管理事件：Okta登录日志、Azure AD条件访问事件、内部活动目录安全日志、Duo MFA身份验证记录、CyberArk PAM会话日志
5.应用程序和SaaS日志：Windows事件日志、NGINX访问日志、AWS API网关请求日志、Kubernetes入口控制器日志、Salesforce Shield事件、Office 365管理活动（SharePoint/Teams）
6.操作系统和主机日志：Windows事件ID4625（登录失败）、Sysmon进程创建日志、Linux系统日志验证信息、macOS统一日志条目、systemd-journald服务日志
7.文件和数据访问遥测：AWS S3访问日志、SharePoint文件访问日志、OneDrive审计日志、NetApp ONTAP文件服务器日志、PostgreSQL pgAudit轨迹
8.外部和威胁情报推送：包括AlienVault OTX脉冲推送、CISA"已知漏洞"（KEV）目录、VirusTotal文件/URL信誉流和Recorded Future Intelligence Cloud API。
《应用安全数据策略》一书中的趣事：
数据量最大的来源之一包括端点安全和恶意软件沙盒数据。威胁情报是另一个主要来源。据他们观察，许多组织都面临着一个关键的难题："管理TB级的分布式安全数据，需要在检索速度和存储成本之间做出妥协"，而大多数组织在端点安全方面尤为吃力。
Source: Applied Security Data Strategy
目的地（存储/分析）
管道的另一端是将遥测数据转化为洞察力或行动的目标平台。这里是存储层，也可以说是分析层，数据在这里变得具有可操作性。
其中既有像SIEM和SOAR这样毫秒级的实时引擎，也有用于长期分析、合规性和机器学习的低成本数据湖或湖仓。选择正确的目标组合取决于延迟、保留和访问模式要求：热的、可索引的存储用于即时调查；冷的、可扩展的存储用于事后追溯。目的地可将准备充分的数据转化为安全成果。
SIEM用于实时监控、关联和告警
XDR平台：用于跨安全层的扩展检测和响应
安全数据湖：用于长期存储、威胁狩猎和取证分析
SOAR/自动化系统：用于自动化事件响应工作流程
AI/ML平台：用于高级威胁检测和行为分析
报告重点介绍了安全遥测管道如何为各种安全工具和架构提供信息，从而提高它们的有效性。
过程
数据摄取是一个关键过程，涉及从各种来源收集原始数据，并将其传输到可以对其进行分析、处理和存储的目的地。就像炼油一样：必须先收集原始数据，然后才能将其转化为提供有价值见解所需的燃料。
安全遥测数据从各种来源收集并加载到分析工具中。管道通过解析、规范化、富化和编辑对其进行转换，然后将其加载到SIEM、数据湖、SOAR平台或AI引擎等目的地。这样就能获得结构更合理、数量更少、上下文更丰富的数据，从而实现更快、更准确的威胁检测。
数据如何从源头提取到目的地
各小组可采用两种主要方法从确定的来源收集数据：
Push方法：
Syslog
HTTP监听器
消息中间件
Pull方法：
代理
无代理
应用程序接口/监听器
一旦接收到数据，"转换"阶段就是安全数据管道在SOC中大显身手的地方。这一阶段是关键的预处理层，可使原始遥测数据在安全分析中变得可行且经济高效。现代安全团队不会将未经过滤的日志直接倒入SIEM，而是部署管道工具来过滤、解析、丰富、编辑和转换传输中的数据。因此，当数据到达SIEM或安全数据湖时，数据已变得更加干净、规范化，并大大减少了数据量。从本质上讲，管道的功能就是一个安全数据精炼厂。它接收来自各种来源的粗略日志数据，并输出经过提炼、上下文丰富的事件，以备检测引擎使用。
Source: https://www.abstract.security/applied-security-data-strategy-ebook
如何进行安全数据管道转换
安全数据管道平台（SDPP）的关键能力和功能由六个核心流程组成：
1.数据过滤和减少：第一个也是最基本的功能是通过删除冗余或低价值数据（如重复日志或良性事件）以及汇总相关事件来过滤和减少噪音。过多、未经过滤的数据会给系统带来压力，减慢查询响应速度，并可能导致停机。管道会丢弃或删除安全监控不需要的数据。
例如，它可能会过滤掉调试日志、常规成功验证事件或其他消耗不必要SIEM存储空间的低价值数据。这种日志缩减通常使用规则或机器学习来识别冗余事件，并在不丢失相关信号的情况下将容量减少80%或更多。这样做的直接好处是缩小了日志大小，降低了SIEM接收成本，减少了分析师的工作负担。
2.解析和结构化：过滤之后，下一步就是解析原始日志，这些日志通常只是文本字符串。管道将其解析为结构化字段。例如，将非结构化的防火墙系统日志行转换为结构化字段，如源IP、目标IP、端口和操作。同样，Windows事件XML也可以解析为结构化字段。这种从自由文本到结构化事件的转换对于SIEM关联规则至关重要，因为SIEM关联规则依赖于特定字段值。管道可以使用正则、自定义解析器或常见日志格式的内置知识。现代管道或SIEM工具通常包含针对常用日志源的预建解析器库，从而减少了手动编写解析代码的需要。
规范化和数据格式转换：另一个关键步骤涉及管道数据规范化和事件转换，以符合通用模式或命名约定。常用的模式包括Splunk的通用信息模型(CIM)、开放式网络安全模式框架(OCSF)或Elastic的通用模式(ECS)，它们都旨在实现网络安全数据的标准化。不同产品对事件的描述各不相同（例如，"允许"操作在一个设备中可能是action=permit ，而在另一个设备中可能是outcome=allow）。管道可以重命名此类字段并将其映射到标准化模式中（例如将两者都转换为字段outcome=allowed以保持一致）。
业务分析和通用数据工具往往难以实现格式标准化，而以安全为重点的管道则内置了对OCSF等框架的支持。通过在管道中进行规范化，SIEM的相关性和搜索变得更加有效，分析师可以跨多个来源查询统一字段。管道本质上是对数据进行建模和分类，以便分析。将不同来源的日志和事件标准化为通用格式，使其具有可比性和可搜索性，从而解决了数据格式不统一阻碍分析的难题。最终结果是模式转换，为SIEM、XDR或安全数据湖等安全工具专门塑造数据，优化其性能和分析能力。
4.富化：富化是整个行业发展势头日益强劲的一个领域。富化的目标是在日志数据中添加威胁情报、地理位置、资产信息和用户行为分析等上下文。这可将原始日志转化为有意义的安全事件，对于确定告警优先级和调查至关重要。
管道可以用原始数据中没有的附加信息来丰富每条日志。常见的增强功能包括GeoIP查找（为IP地址添加地理位置信息）、域名的WHOIS或域名声誉查找、主机资产信息（例如，用CMDB中的主机名或所有者标记IP）、用户上下文（从人力资源数据库中为用户添加部门或角色信息）以及威胁情报指标（标记日志中的IP或URL是否出现在威胁情报黑名单上）。例如，如果防火墙日志显示来自IP X的连接，管道可附加"IP X位于美国并在已知黑名单上"。这就将原始日志转化为上下文丰富的告警；分析师可以获得更多可运营的数据，自动关联也可以使用这些字段（例如，标记来自黑名单国家的任何连接）。管道阶段的富化可确保数据到达SIEM时已包含相关情报。这大大加快了调查速度，因为分析人员不再需要手动查找信息。它还能提高优先级。例如，如果某些事件涉及高价值资产或已知的不良IP，管道可将其标记为高优先级。
5.编辑和屏蔽功能支持数据隐私要求：有时日志包含敏感信息（PII，如用户密码、个人数据或机密信息），不应随意存储或查看。管道可以编辑或屏蔽字段，以解决隐私和合规问题。例如，它们可以对电子邮件地址进行散列处理，或者在日志进入数据湖之前将其从日志中删除。这一功能对受监管行业至关重要。它允许广泛的数据收集，而不会将敏感数据暴露在不必要的风险中。可以应用编辑策略，只有授权的目的地（或用户）才能看到原始值。从本质上讲，管道通过设计来执行数据安全性和隐私性，并根据需要清除日志。
路由和分层存储位置：转换的最后阶段涉及路由和分层。在过滤、结构化、规范化、富化和编辑之后，管道可根据内容、优先级或合规性要求将日志路由到不同的目的地。并非所有数据都需要无限期地保留在昂贵的SIEM环境中。例如，管道可能会将高价值安全事件（如IDS告警或关键服务器日志）路由到SIEM以发出实时告警，但将低风险审计日志发送到更便宜的安全数据湖（如AWS S3或Snowflake）进行存档。某些数据可能会在不同存储类型之间重复。一个副本可能保留在SIEM中并进行短期保留，而另一个副本则存档在数据湖中以确保长期合规性。这种存储分层是一种重要的成本优化策略。例如，企业可以在SIEM中保留30天的解析告警，在数据湖中保留一年的原始日志，所有这些都由管道管理。
管道就像一个流量控制器，确保每个遥测数据流都能到达正确的系统--无论是SIEM、XDR、数据湖还是自动化平台。通过将数据路由与任何单一厂商工具分离，管道提供了灵活性。如果企业决定更换SIEM提供商或引入新的分析平台，只需更新管道路由规则即可，无需重新配置每个源。
2025年SIEM等安全数据存储将如何发展
与SDPP相关联的SIEM
SIEM仍然是SOC的中心。它是安全遥测的记录系统，因为它可以摄取日志、关联事件、触发告警，并经常充当安全分析师的调查中心。如果没有管道，SOC就无法充分发挥SIEM的全部价值。
2025年，变化的不是SIEM的必要性，而是我们为其提供信息的方式。随着安全数据管道向上游发展，SIEM仍然是决策核心，确保我们能够运营重要的遥测数据。我们的目标不再是获取所有数据，而是获取正确的数据。这意味着要通过可编程管道对遥测数据进行重复、过滤、浓缩和路由。这些管道不会取代SIEM，而是让SIEM重新变得可行。
在这种架构中，SIEM更加精简，但更具战略性。它是高保真、上下文丰富的数据的策划目的地，这种数据需要长期保留、关联和告警。换句话说，SIEM变得更加智能。以下是一些有关市场份额的数据：
SIEM市场趋势
企业战略集团首席分析师Dave Gruber分享道：
"我们最近的SecOps研究报告显示，大多数人的愿景是采用更加集中的安全数据策略，但进展缓慢，43%的人表示他们的策略目前主要是集中式的，另有47%的人表示他们的策略更加集中，但仍在使用分布式或更多的联合数据（见下图）"。
Gruber还表示："尽管目前正在进行工具整合工作，但多存储库的情况依然存在，一半以上（52%）的企业表示他们维护了四到五个存储库，另有23%的企业表示他们维护了六个或更多的安全数据存储库。我们的研究报告显示，SIEM技术继续得到广泛应用，绝大多数企业都表示目前部署了一个或多个SIEM解决方案。不过，企业对改进安全数据层给予了极大关注，近一半的企业正在考虑或计划更换一个或多个当前的SIEM解决方案。
SDPP带来的2025年SIEM主要发展趋势
1.SDPP推动SIEM到SIEM+数据湖到SIEM的迁移：安全数据管道平台（SDPP）是SIEM到SIEM或数据湖到SIEM迁移的关键推动因素，它将数据源与目的地解耦。由于上述所有主要SIEM提供商使用不同的收集、存储和分析框架，将遥测数据直接路由到单一SIEM的过程极其复杂。因此，企业可以通过作为中央控制平面的SDPP发送所有日志和事件。这样就可以实现并行数据路由，同时向新旧SIEM发送数据，从而实现无中断测试、验证和调整。SDPP还可以重新格式化和丰富遥测数据，使其与新SIEM的模式相匹配，从而减少摄取错误并加快上机速度。在过渡期间，安全团队可以比较两个平台的检测、性能和成本指标。经过验证后，他们只需更新管道内的路由规则，就能顺利完成过渡。对于数据湖到SIEM的使用案例，SDPP可以从S3或Snowflake等存储系统读取数据，过滤相关日志，并将其流式传输到SIEM，这对于追溯检测或回补上下文非常有用。简而言之，SDPP通过在任何安全堆栈中实现遥测的可移植性、可编程性和弹性，从而消除了迁移的复杂性和风险。
2.SIEM迁移放缓，但数据湖增长更快：SIEM之死被夸大了。SIEM仍然根深蒂固（尽管成本和可扩展性令人担忧）的主要原因之一是其与合规性工作流程的深度集成。对于许多企业来说，SIEM是审计跟踪、日志保留、多年检测逻辑和与法规要求相关的告警管道的支柱。这些合规性驱动的用例不容易移植到其他平台，这也是SIEM迁移速度比炒作的速度慢的原因。安全团队通常认为SIEM对于可审计性和监管报告而言"至关重要，不能失败"。安全数据管道正在推动这些改进。
3.将存储与分析分离（"作为查询层的SIEM"）：
传统的SIEM是单一的，它们在内部对所有数据进行摄取和索引，并在上面提供搜索和相关界面。这种情况正在发生变化。现代方法（有时称为安全数据湖或湖仓架构）将重型存储层与分析层分离开来。
4.安全数据管道厂商越来越多地允许数据驻留在SIEM之外（廉价云对象存储或数据湖），并允许SIEM按需查询。例如，我们在下文讨论的许多厂商都有分层存储。或者，Elastic和Splunk现在都有数据分层选项；Microsoft Sentinel可以查询Azure存储中的归档日志。这种演变意味着SIEM不必"拥有"所有原始数据，从而减少了摄取所有数据的需要（从而降低了成本）。相反，SIEM可以专注于最关键数据的实时索引，并依靠外部湖来处理历史数据或不太关键的数据。
5.SIEM增强解决方案侧重于实时检测与保留：SIEM的使命正在不断完善。面对如此多的可用数据，SIEM正专注于其擅长的领域：实时关联、告警和近期事件调查。对于长期分析（如多年数据挖掘、大型取证调查），企业正在利用Databricks等厂商提供的数据湖数据平台进行扩充。Splunk等SIEM厂商已经意识到这一点，提供了跨存档数据的联合搜索或与数据湖集成。从本质上讲，SIEM可能更像是一个实时安全分析控制台，其繁重的后台工作已被抽象化。这些"下一代SIEM"通常强调分析速度（50%以上数据的查询速度提高150倍），而不是简单地摄取更多数据。这意味着SIEM将依赖于安全数据管道来预先过滤和塑造数据，从而使其本地存储的数据具有实时使用的高信号。
SOC中安全数据管道的未来趋势
根据安全数据管道导致的SIEM主要趋势和发展，我们提出了以下主要建议。这些是我们对该领域未来发展的预测：
与威胁检测更紧密地结合
正如我在以前的报告（如《2024年综述》）或AISOC报告中所写的那样，SOC的最大产出或目标之一就是能够有效识别海量数据中的内容和查找位置，从而缩短平均解决时间。根据Gartner的研究，平均解决时间仍为4-5小时。因此，我们认为，安全数据管道不应只是收集或路由这些数据（仅出于成本原因），而应越来越多地帮助安全团队快速理解这些数据，以推动SOC内的其他成果。管道需要在检测中发挥更积极的作用，从根本上说，它需要与检测层融为一体。我们已经看到一些厂商在管道层中启用了Sigma规则执行功能，这意味着它们可以即时发现已知的威胁模式。
未来，管道可能通常包括一个检测规则库或异常检测器，这些规则或检测器会在数据进入SIEM之前触发告警。这可以卸载SIEM或XDR的某些工作，或为需要在边缘进行轻量级检测的组织提供服务（例如，过滤掉明显的不良事件，并直接向SOAR平台生成告警）。
AI数据工程师与智能体的崛起
AI/LLM将改变管道过滤的执行方式。管道的手动调整将让位于更加自主的数据流。我们已经看到了早期迹象：Onum的自然语言管道构建器就是AI简化管道配置的一个例子。未来，管道可能会根据上下文和学习情况自动调整过滤器和路由。从本质上讲，管道将变得更加自我优化。它们还可以智能地丰富数据，例如，AI可以读取所有传入的VPN日志，并在没有明确编程的情况下突出显示不寻常的登录模式。我们甚至可能看到管道机器人或代理（有时在安全运营中被称为"agentic AI"），它们就像初级数据工程师一样，自动执行任务，例如为以前从未见过的日志格式编写新的解析器，或将字段映射到通用模型。
我们采访了前SOC分析师Vladislav B.，他分享了以下内容，这与我们对AI数据工程师和多代理框架崛起的想法不谋而合：
"Agentic AI已经在重塑SOC的日常生活，将分析师从看门人的日志工作中解放出来，使他们能够在几分钟内（而不是几小时）完成搜索、分流和响应工作。下一个前沿领域是AI驱动的SDPP协调，即自主代理群端到端运行数据管道。以Brij Kishore Pandey和ODSC社区的见解为基础，多代理系统现在可以协调提取、转换和加载工作，其智能程度与威胁狩猎工作相同。"
以安全为中心的半自主或智能数据管道堆栈可能是这样的：
1.数据检索代理-从各种来源（通常是嘈杂来源）中提取日志、遥测数据和威胁情报。
2.转换代理-对数据进行规范化、关联化，并根据上下文丰富数据，以便进行威胁分析。
3.加载代理-为SIEM、数据湖、XDR平台或自主SOC提供结构化、优先级的洞察力。
4.编排代理-实时管理依赖关系、工作负载和扩展安全数据管道。
5.分析代理-检测异常情况，显示入侵迹象，甚至自动生成报告。
其结果是自学习、自修复的数据物流：预测性工作量预报、自主模式演进和自然语言"SDPP协同驾驶员"，在缩短平均检测时间的同时加强治理。挑战依然存在，如模型漂移、政策防护和攻击者规避策略，但发展轨迹是清晰的。SDPP的未来是一个智能控制平面，它能以机器速度进行调整，是每个现代安全运营的基础。
安全数据平台化孕育新架构
"安全数据编织"一词是用来表达处理整个企业安全数据的总体层。早些时候，我们将这一概念与我们所知的安全核心用例区分开来。不过，在未来几年中，这一概念可能会得到巩固，不仅意味着它是管道，还意味着专门针对安全数据的数据编目、搜索和管理的整合。我们可以预见，管道工具将增加更多"编织"功能，例如，所有安全日志的中央模式注册表或搜索动态数据的查询界面。
2025年及以后，管道、数据湖和SIEM功能之间的融合可能会产生一种新的平台。这些平台可让您在一个集成系统中完成摄取（管道）、存储（湖仓）和分析（搜索/检测），从而有效地在管道基础上构建下一代SIEM。我们看到了雏形：Cribl增加了湖仓，Sumo Logic（云SIEM）增加了更多类似管道的处理功能，Splunk正在进行联合搜索。
未来可能会出现完全与模式无关的查询优化管道，您甚至不需要预先定义索引；您只需将所有数据收集到廉价存储中，然后通过编织对其进行快速查询（这与湖仓的想法很接近）。编织将抽象出数据是"在SIEM中"还是在湖仓中，因为用户只关心能否得到答案。在这样的未来中，SDPP的概念可能是嵌入式的、不可见的——用户与统一的安全数据平台交互，该平台通过查询来处理数据摄取。换句话说，管道将成为更大平台的假定后端功能，而不是SOC团队日常处理的独立产品。
可观测性和IT数据管道与安全性的融合
安全数据"和"运营数据"之间的壁垒将继续瓦解。未来的管道可能会在一个统一的流程中处理所有类型的遥测数据，为安全和IT运营工具提供支持。目前，已经有公司开始讨论日志、度量和跟踪的统一"遥测管道"，其中包括APM（应用性能监控）数据和安全事件。业界似乎正在预测这种情况的发生，因为当日志量每隔约18个月翻一番时，将相同的日志重复测试到APM系统和SIEM中是站不住脚的。安全数据管道厂商应该只将一份数据路由到多个目的地，并根据需要进行过滤或采样。目前，SACR并未立即看到这一趋势，因为安全系统的设置并不适合处理APM数据，因为它与跟踪ID等相关。我们还认为，安全更关心数据完整性、数据质量和信号（如停留时间或MTTR），这将继续成为SDDP解决方案的重点。
整合vs独立
一个典型的问题是，安全数据管道类别是继续作为一个独立的类别，还是被纳入更大的安全平台。行业发展有两种途径：
SIEM（+嵌入式管道）：我们看到的情况是，大型且昂贵的SIEM提供商正在提供基本的解析和规范化功能。有些厂商可能很快就会考虑提供分级许可--例如，如果数据是通过他们自己的管道摄取的，那么价格会更便宜，因为他们自己的管道可以过滤掉垃圾数据（在定价中有效地承认了管道）。我们提供了三个此类厂商的例子：Datadog、Stella Cyber和Anomali。
不过，Splunk、Elastic和Palo Alto Networks等厂商已具备这方面的基本功能。例如，Splunk推出了数据管理器和管道生成器功能，帮助客户通过过滤和转换摄取云数据。CrowdStrike推出了CrowdStream（基于Cribl的一些功能），用于将第三方来源的数据过滤到其平台中。我们还看到Sentinel等云SIEM提供了摄取过滤器或预处理规则。这些厂商认识到了利用定制管道厂商简化SIEM向SIEM迁移的重要性。目前的趋势是，2025年的SIEM将开始提供遥测功能，其复杂程度远低于主要厂商。
SDPP（+SIEM/嵌入式数据湖）：相反，独立的管道可能会开始提供轻量级分析功能，蚕食SIEM的领地。这可能会导致一种融合，即我们传统上认为的SIEM、UEBA、SOAR和管道都会合并为一个统一的平台或套件。
经典困境：SIEM厂商历来没有开发有效的日志缩减工具，因为这与其按数据量收费的收入模式相冲突。展望未来，尤其是采用统一定价或基于资源定价的云SIEM（如SentinelOne的产品），我们可以期待更多的内置管道功能：如在摄取时规范化为OCSF、丢弃已知良性事件或自动丰富威胁情报。总体而言，SIEM正在向更具有管道感知能力的方向发展，试图消除对单独产品的需求。尽管如此，第三方管道通常仍能提供更深入的功能和中立性（因为SIEM本机管道可能会将您推向该厂商的生态系统或存在限制）。虽然行业内有些人坚信该类别将消亡或融合，但我们认为，由于第三方提供的平台无关方法和中立性，该类别有能力成为一个独立的领域。
关键能力：安全数据管道平台 SDPP
我们相信，随着时间的推移，网络安全平台公司会在这一类别中诞生。
核心基本能力：
数据过滤、缩减和分层存储：这是最基本、最重要的功能，可最大限度地减少噪音，优化成本，实现高效存储和更快地检索安全相关数据。
解析、模式、规范化、转换：这可确保各种数据流的结构化和标准化，便于进行准确的关联和分析。
丰富数据（GeoIP、威胁情报）：这增加了重要的背景情报，大大提高了威胁检测的准确性和响应效率。
内容审查、数据脱敏、隐私管控：此举可保护敏感信息，确保符合数据保护法规要求，同时支持开展分析工作。
Co-Pilot功能，Pipeline as Code：通过自动化和代码驱动管理，实现敏捷、可扩展和可重复的数据管道部署。
未来能力：
用于还原和分析上下文的Agentic AI数据工程师
多Agentic AI数据工程师（收集器、解析器、丰富器）
带Co-Pilot的联邦搜索
先进的流内检测功能
企业整体数据战略规划
完整市场生态系统细分
以下是整个市场的完整生态系统。由于生态系统已变得日益分散，出现了许多新的参与者，因此有大量的厂商。不过，我们还是根据下面列出的标准，从这份名单中挑选了几家厂商，并缩小了范围，选出了市场领先的8大纯粹型厂商。
厂商能力分析
请访问此电子表格（https://docs.google.com/spreadsheets/d/1QNF317dyUpBdz436geQzxS-Qz5UVZ-2QP-4jOdVJwK0/edit?gid=1346714715#gid=1346714715），查看我们用于分析厂商的标准的详细分类。以下是我们在分析过程中对一些图表的选择性直观细分，但详细细分请参阅电子表格。
关键标准：
1.产品创新：这是核心产品能力、技术广度和集成广度的综合体现。
2.行动成就：这是客户数量、crunchbase指标、社交媒体市场思想领袖、我们从网络中CISO那里听到的信息以及业务指标的综合结果。
如上所述，电子表格中还有更多数据。
余下报告将细分以下厂商的强势领域、值得关注的领域以及对其能力的总体结论：
纯SDPP厂商：
1.Abstract Security
2.Axoflow
3.Cribl
4.DataBahn
5.Datadog
6.Monad
7.Onum
8.Virtual Metric
SDPP+SIEM++厂商
1.StellarCyber
2.Anomali
***因篇幅太长，对这部分感兴趣的朋友，可以参考文末原文链接
公司标准可视化分解
Crunchbase指标
我们从Crunchbase中提取了一些关键数据点
描绘了厂商的融资轮次。
*注：Datadog是一家上市公司。
评估的一些基本能力
结论：数据层起决定性作用
可以预见，这一领域的发展动态将会十分引人入胜。我们的研究表明，专用的安全数据管道平台（SDPP）不再是可有可无的管道；它们是成本、合规性和检测效率的控制平面。我们相信，随着数据层成为SOC内其他成果的基础，数据层将在威胁检测方面产生显著优势。
需持续关注的关键点：
1.能力门槛正迅速提高。过滤和模式规范化已成为基本要求；未来几年，人工智能辅助优化和边缘层数据增强将成为区分行业领先者的关键因素。
2.数据质量决定成败。在我们的事故分析中，每一个漏报追溯其根源，都是始于数据缺失、数据格式错误或数据路由错误。
3.管道现在已物有所值。SIEM-ingest节省费用的中位数为40-65%，第一年就将预算从存储转向了分析。
4.执行力超越了愿景规划。目前仅有少数供应商能够同时具备年度经常性收入（ARR）增长势头、开放式连接器以及打造自主数据架构的可信路线图。
随着新功能的不断涌现，这一领域的发展也日新月异。我们将继续关注和跟踪这一市场在未来几年的发展。
原文链接：
https://softwareanalyst.substack.com/p/market-guide-2025-the-rise-of-security
声明：本文来自安全喵喵站，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
