摘要
今年早些时候,我们曾撰文探讨安全数据管道的兴起及该领域新兴企业的涌现。今天,我们将深入剖析在数据可观测性与网络安全领域增长最迅猛的企业之一。
本报告聚焦该领域的佼佼者——Cribl。这家公司的增长曲线已足以与 Wiz、Snowflake 和 Datadog 相提并论。报告将深入探讨推动 Cribl 在 6 年内实现 2 亿美元营收的关键因素,并阐释其中立的"遥测服务云"如何重塑企业数据经济。最后,我们将梳理当前安全运营中心(SOC)内部正在发生的深层变革,并说明这种架构为什么不可或缺,以及Cribl 如何构建了一种将影响未来 SOC 团队的新型架构。
Cribl 于 2023 年 10 月实现 年经常性收入(ARR) 突破1 亿美元,成为自 2018/19 年创立以来第四快达到"半人马兽(Centaur)"级别的基础设施企业。仅仅14个月后的2025 年1月,Cribl宣布其 ARR 已翻倍至 2 亿美元,同时仍保持 70%的年同比增长率。如此规模的增长速度,唯有我们先前讨论过的 Wiz 等顶尖网络安全公司,或是 Datadog 这类最终成长为 500 亿美元市值的成功基础设施企业可与之相媲美。
Cribl 的客户目前已覆盖 50 多家《财富》100 强企业以及 130 家《财富》 500 强企业,表明其在全球最大型企业中的显著影响力。在过去 12 个月中,公司整体客户数量增长超过 50%,而多产品部署量激增 200%以上,反映出企业开始接纳其旗舰产品 Stream 之外的解决方案。这种应用场景的扩展推动其净收入留存率(Net Dollar Retention)超过 130%,月活跃用户数同比增长 123%。2024 年 4 月推出的 Cribl Lake 目前已在近 50 家企业的生产环境中上线,凸显其新模块被市场接纳速度之快。
Cribl 已迅速在网络安全和数据管理领域确立关键地位,凭借其全球客户规模与深度,以及前文所述的成就,成功塑造了行业领导者形象。2024 年 8 月,该公司因其强劲的增长势头完成了一轮大规模融资——以超额认购形式完成 3.19 亿美元的 E 轮融资,公司估值也随之提升至 35 亿美元。
Cribl 将自身定位为"IT与安全的数据引擎",旨在赋予一线技术人员对安全运营和 IT 团队所面临的海量数据流(如日志、指标和追踪信息等由企业自身系统所产生的数据)真正的选择权、控制力与灵活性。
Cribl产品套件包含 Stream、Edge、Lake、Lakehouse 和 Search,专注解决数据摄取、收集、存储和分析中的关键痛点。其模块化平台就像一个智能流量调度系统:
Cribl Stream 负责对来自任意来源(如云服务、网络工具)的数据进行裁剪、丰富和路由,并将其发送至任意目标系统(如 SIEM、数据湖等)。
Cribl Edge 在服务器、容器和本地设备上执行相同的数据处理流程,确保只有有价值的数据被发送出源端。
Cribl Lake和高速 Lakehouse 将原始数据和加工后的数据分别存储在成本不同的对象存储和列式存储中。
Cribl Search 允许分析师直接查询现有数据,避免重复摄取。Cribl Copilot 作为一款 AI 助手,可自动生成数据管道、映射schema,并识别异常,从而减少工程师的重复劳动。
这些服务共同构成了公司新兴的"遥测服务云",使团队能够按需采用当前所需功能,并随着需求变化实现轻松扩展。
Cribl 的成功得益于多项非常规举措和先发优势。作为该细分市场的开创者,整个安全数据管道行业都可归功于其推动。其关键差异化优势包括供应商中立策略、先发优势,以及致力于减轻 IT 和安全团队数据工程负担,这些因素共同奠定了其独特的市场地位。展望未来,Cribl 的战略聚焦于发展成为"遥测服务云",通过持续创新和战略合作,力求成为网络安全与可观测性领域中的关键基础设施层。
核心洞见:Cribl 如何打破数据摄取壁垒
Splunk 的突破在于将日志收集、存储和搜索功能整合为一个高度集成的解决方案。每台主机上都部署了一个轻量级的“通用转发器”(即数据采集代理),实时将原始事件流式传输到索引器,后者将数据转换为可搜索和分析的格式,同时存储原始文本和快速查询结构。分析师则通过独立的搜索头层访问数据,该层基于“读时模式”架构和 SPL(搜索处理语言),支持按需切割任意字段。这一设计相比传统的关系型数据库显得极具革命性。
该公司将这一架构打包成按摄取量付费的许可模式,在早期本地部署阶段提供了明确的权衡:按 GB 收费,用户即可在一个平台上存储和搜索所有日志。这种技术灵活性与简明定价的结合,帮助 Splunk 占据了约 30% 的 SIEM 市场份额,并使其具备了被 Cisco 以 280 亿美元收购的价值。实质上,Splunk构建了一个对每字节摄取数据都收费的封闭生态系统。通过按摄取 GB 数销售容量,Splunk 将每个新增字节都转化为高利润的经常性收入。其按 GB 计费的许可模式和强大的内容库,使其成为能够承担全部日志索引成本企业的默认选择。然而,随着云计算、远程办公和 AI 技术日益推高企业数据与遥测数据量,这一定价模式逐渐成为企业痛点。
Splunk的衰落与Cribl的崛起
随着云工作负载激增带来海量遥测数据,Splunk 基于采集量的定价模式逐渐暴露出其致命弱点。每个字节都必须通过 Splunk 的索引器处理,导致每 TB 数据的年许可成本飙升至数十万甚至数百万美元。许多工程师不得不分享各种数据裁剪技巧,只为了控制不超过预算。600GB/天 的许可,年费用可能超过百万美元。
Cribl 通过在 SIEM 前面引入一个中立的数据处理层,成功改变了这一局面。其 Stream 流水线能够剔除冗余字段、压缩冗长日志、丰富事件内容,然后将每条记录路由至最合适的目的系统。关键告警仍会发送至 Splunk,而批量遥测数据则存入更经济的数据湖或数据仓库。客户反馈称,在去除重复行和低价值字段后,Splunk 数据摄取量平均减少了 50%以上。
通过将数据摄取与分析解耦,Cribl将 Splunk 从“非此即彼”的单一目的地,转变为遥测数据流中的一个可替换节点,在保留分析师依赖的 Splunk 仪表板的同时,恢复了企业对成本的控制。这为安全团队带来了巨额成本节约,使他们能够大幅降低 Splunk 的开支。Cribl 的厂商无关架构也为团队提供了更高的灵活性,无需重写代码即可切换或调整 SIEM 或数据湖平台,同时可快速统一数据格式、将日志映射至 OCSF 或 ECS,相比以往需要数月的适配,如今仅需极短时间。这些关键优势共同驱动了 Cribl 的快速增长。
Cribl历史与成长历程
Cribl于2018年7月在美国加州旧金山正式成立,由 Clint Sharp、Dritan Bitincka和 Ledion Bitincka共同创办。三位创始人均为 Splunk 资深员工,他们亲历传统日志管理的种种局限(如高昂的数据摄取成本和封闭的专有格式),由此萌生了"释放所有可观测性数据的价值",且避免厂商锁定的创业使命。其首款产品最初命名为 LogStream,开创性地采用"Cribl中间件"架构——部署在数据源与分析平台之间,使用户能在数据进入昂贵存储或 SIEM 平台前进行过滤与重塑,实现对数据前所未有的管控。这一范式转变让客户仅需将高价值数据发送至 Splunk 或 Datadog 等平台,同时将次要数据路由至低成本存储,有效解决了企业安全数据管理的一大核心痛点。
Cribl 的崛起:以解决客户问题为核心的快速增长史
Cribl 的历史性成功可归功于其解决了企业 IT 与安全环境中的核心痛点:遥测数据激增、采集成本飙升以及传统 SIEM 架构缺乏灵活性。在经历多次探索和失败后,团队最终确立了 Cribl 的核心理念——打造一个面向安全工程团队的数据遥测管道平台。他们在数据源与目标系统之间构建了智能中间处理层,使用户能在数据流入存储或 SIEM 平台前进行过滤重整。这一突破性设计让客户得以仅将高价值数据发送至 Splunk 等分析工具,同时将次要数据路由至低成本存储平台,从根本上解决了企业安全数据管理中的关键痛点。
三位创始人都是 Splunk 的资深老兵,对于传统日志管理的局限性有着深刻的切身体会,这从一开始就奠定了Cribl的使命和方向。根据我们与创始人及早期客户的深入交流,总结出以下几个关键因素,是 Cribl 初期快速成功的重要驱动力:
以客户为中心:赋予工程师应对遥测数据混乱的掌控力
大型企业曾饱受碎片化数据摄取方式、脆弱的自定义脚本以及繁琐缓慢的配置流程困扰,而运维团队往往无法直接控制日志的处理和路由方式。Cribl 正是聚焦于解决这些团队面临的实际痛点上。
Cribl Stream 让客户能够以模块化、可控的方式实现数据摄取、丰富、路由和转换,使他们摆脱对集中式摄取团队或繁重的内部工具的依赖。一位受访客户这样评价:
"那简直是场运维噩梦……我们原本用 Python 写了自定义脚本,但速度太慢,只好用 Cython 编译优化。问题是,一旦那位写脚本的人离职,没人能接手。用了 Cribl 之后,我只花了 15 分钟就搞定。我当时就说:赶紧签合同吧。"
该团队被形容为"痴迷于解决客户在数据流方面的问题",体现了他们对客户需求的理解并积极响应需求的坚定承诺。这一点对Cribl的早期成功至关重要。尤其是当他们拥有一些大型企业客户时,这种快速响应和客户至上的理念对其初期突破至关重要。
大多数传统的数据摄取工具缺乏细粒度控制。基于简单规则的过滤很容易实现,但从 EDR等数据源 到 SIEM 的高级路由、数据丰富和上下文感知转换则非常困难。Cribl 使客户能够构建跨多样化数据源的智能规则化流水线,丢弃无关日志,并在流水线早期就添加上下文信息。
在不牺牲可视性的前提下降低成本
数据量的激增,尤其是像 VPC 流日志、EDR 和 Windows 日志这类海量日志数据,将其直接传输到 Splunk 或其他 SIEM 系统的成本过于昂贵,团队不得不在全面可视性与成本之间做出抉择。Cribl通过对日志进行聚合和汇总,同时将原始数据保存在 Amazon Security Lake 或客户现有的低成本存储方案中,帮助客户将数据摄取量削减了90%以上,从而大幅降低甚至平衡了 SIEM 账单。
我们采访了一家德国大型跨国科技集团的客户,他表示:
"我们每天向 Cribl 输入 5 到 7TB 数据,在传输至 Splunk 前将其压缩至 500到600GB,这意味着数据量减少了 90%到95%。我们的ROI分析显示,Cribl 能为我们节省数百万美元的 Splunk 许可费用。"
除了成本问题,企业还面临着 SIEM 中僵化的授权模式所带来的困扰,以及缺乏优化数据存储或在不同分析平台间灵活切换的能力。Cribl推出了基于使用量的高压缩许可模式,使其 Lake 和 Lakehouse 产品成为兼具低成本与快速检索优势的长期存储首选。Cribl 的核心优势之一在于其主机级压缩技术。某客户反馈道:"我每天存 4 到 5TB 的数据,持续了一整年,价格却低得离谱。后来才意识到是压缩技术的功劳,主机压缩效率简直惊人——这点他们宣传得还不够。"
合作伙伴优先的市场进入策略
Cribl 高效的市场进入战略建立在两个核心理念之上:深刻理解企业软件销售本质上是"人际关系业务",以及在培育强大合作伙伴关系方面的大量投入。公司将终点放在与合作伙伴建立牢固的关系,并战略性地利用合作伙伴现有的市场触达能力,同时提供有吸引力的激励措施来推动合作。这种“合作伙伴优先”的策略被证明是启动其市场引擎的高效机制,为其快速增长和市场渗透做出了重大贡献。
Cribl 的发展历程以最初的创业挫折为起点,随后果断调整方向并实现爆发式增长,为市场适应性提供了宝贵经验。公司将最迟的失败转化为核心优势,充分体现出其组织文化中所蕴含的韧性、持续学习以及挑战传统思维的精神。
Cribl 在用户体验上的“逆向下注”——采用基于表格的操作界面为此提供了有力例证。在网络安全和 IT 运维等技术性强且要求严苛的领域,功能可扩展性、操作效率和界面熟悉度往往比纯粹的美学设计更为重要。Cribl 在关键客户中的增长并非渐进式,而是呈指数级爆发。早期客户持续将产品使用范围扩展到不同产品和团队,这对其在最初 18 个月内实现 1 亿美元增长,并成功打入众多全球顶级企业起到了关键作用。
用户体验的"逆向押注"
安全数据曾处于孤岛状态,基础设施团队、云团队和终端团队缺乏可视性共享,导致不得不浪费时间在重建数据管道或重复数据摄取上。
Cribl 在用户界面(UX)设计上做出了深思熟虑且反常规的选择,采用了一种简单、基于规则的表格设计,这种设计能够打破部门孤岛和团队界限。这一决策源于一个核心理念:对于需要应对海量用户和数据源的超大型企业而言,表格界面将提供更卓越的可扩展性。
尽管最初遭到部分客户的质疑,但这种熟悉的界面却深受习惯使用防火墙等同类规则工具的 IT 和安全专业人员认可。这种以功能扩展性和用户熟悉度为优先的实用型用户体验设计,成为企业级市场广泛采用的重要推动力。
如今,Cribl的厂商中立架构让安全、基础设施和云运维团队能够共享统一的数据管道而互不干扰,既减少了重复工作,又加速了事件响应速度。该产品已发展成为众多 IT 和安全团队最强大的解决方案之一,其设计注重运营韧性,支持人工监督、版本控制、回滚机制和可复用的配置方案。
Cribl 数据引擎:核心产品及其相互演进
Cribl 产品组合是一个包含四大核心组件的综合解决方案:
1.Stream
2.Edge
3.Lake/Lakehouse
4.Search
这些组件协同工作,为组织在管理遥测数据的整个生命周期中提供无与伦比的选择权、控制力和灵活性。
Cribl Stream:遥测数据的中枢神经系统
Cribl Stream 被定位为数据引擎的"核心"组件。其根本作用是帮助用户连接原本互不关联的系统,提供卓越的灵活性,将数据从几乎任何来源传输至任意目标位置,并导入所需工具。这一能力对于在复杂企业环境中集中管理多样化数据源和目标至关重要。
Stream 的核心功能是充当智能中介,使企业能够在遥测数据到达最终目的地前对其进行处理、过滤和重塑。它如同遥测数据的集中"交通指挥员",实时收集、塑形和分发事件,兼具高度可扩展性和精细控制能力。Cribl Stream 每日可处理MB到PB级别不等的数据量,支持横向扩展满足企业级需求。例如,通过过滤无关信息,它能将5TB的数据源高效精简至3TB,从而优化下游存储和处理成本。
这种将数据生产者与消费者解耦的架构具有关键优势,它使企业能够摆脱供应商锁定的束缚,并根据不同消费系统或应用程序的独特需求来优化数据。
Cribl Stream 能够从几乎所有来源摄取遥测数据,支持 80 多种开箱即用的数据输入输出集成方案。工程师可对数据进行重放和重复利用,其核心功能"Replay"(重放)能力尤为突出,尤其是与 Cribl Lake 配合使用时。Stream 可主动将所有原始数据副本发送至 S3 或 Cribl Lake 等低成本存储,仅将过滤后的数据保留在高价工具中。后续需要时,用户可从归档中通过 Stream 将数据重新注入分析工具进行深度处理。
未来迭代方向:
Copilot Editor:2025 年 6 月 4 日推出的 Copilot Editor 是突破性升级,内置AI 驱动的意图感知编辑器能将原始日志转换为 OCSF 等标准模式,构建数据管道并智能推荐数据过滤规则,全程保持人工监督以防止错误并确保可视性。其目标是帮助 IT 和安全团队更轻松地实现模式映射,通过序列化管道将异构系统日志转换为行业标准格式,并将处理转换后的数据准确路由至目标平台。
新增的 Kubernetes 优化包括对Helm chart 的支持,以及针对 Stream 和 Edge 部署的 CPU 限制自动对齐。这些改进结合多目标路由、内联数据增强及字段级过滤,进一步强化了 Stream 的高级功能,使包括其部分大客户在内,能够精准去除不需要的遥测数据,同时保持强劲性能。
简而言之,Stream 是Cribl的首款产品,也是其成功的核心。它贡献了最高营收,且大多数客户的使用旅程都从这开始。
Cribl Edge:源数据采集
Cribl Edge 是一款轻量级代理,将 Cribl 的数据处理能力延伸至网络边缘(如服务器、云虚拟机、容器和终端设备),特别适用于缺乏全面解决方案的环境中进行数据采集。该产品支持以开放格式直接在数据产生点采集遥测数据,从而将采集和处理工作负载从中央系统分流至边缘节点。这种分布式模型提升了整体效率,减轻了核心基础设施的压力,尤其适用于终端监控或物联网等高数据量场景——在这些场景中,本地通过 Edge 处理部分数据可显著提升性能表现。
Cribl Edge 关键能力包括:
可扩展性:Edge 支持从单一中央领导节点管理多达 25 万个边缘节点,非常适合跨多样化环境进行大规模终端数据采集场景。
Kubernetes 支持:对于部署在 Kubernetes 环境中的 Edge 代理,该平台提供对namespace、pod 和service的完整可视性,从而简化容器化基础设施的管理工作。
integrity even with unstable connectivity.
离线数据处理:Edge 专为间歇性连网设备(如频繁离线的笔记本电脑)而设计,它能自动调整事件数据的时间延迟,有助于在连接不稳定的情况下保持数据完整性。
Cribl Lake & Lakehouse:灵活存储与分层数据管理
Cribl Lake
Cribl Lake 是一款开箱即用的遥测数据湖,重在经济高效的存储与便捷检索。其核心理念是为企业提供一个可扩展、无架构约束的存储库,用于保存"冷数据"(那些无需即时分析,但需保留以满足合规要求或未来调查需求的日志与指标)。
传统数据湖或数据仓库难以应对日志数据不可预测、半结构化的特性,需要严格的schema定义和繁重的 ETL 流程才能使数据可用。相比之下,Cribl Lake 能自动优化并索引所有输入的数据,无需用户预先定义schema。
Cribl Lake与Cribl Search 深度集成,使团队无需移动数据即可即时搜索数据湖中的内容。本质上,Cribl Lake 充当了厂商专属日志归档的"开放"替代方案:企业能以远低于 Splunk 或 Datadog 的成本长期存储完整原始数据,并仍能按需查询。正如某客户所述,其主机压缩性能非常出色。一位金融客户特别强调了 Cribl Lake 在实现选择性路由方面的战略价值——仅将高价值日志转发至 Splunk,而代理和 DNS 等海量数据则长期存储在 Lake 中。凭借高达 80%至 85%的压缩率,客户以远低于基于摄取量计费平台的成本结构存储 PB 级别数据。CriblLake 还能与现有 S3 兼容对象存储无缝集成,支持按需配置,并允许元数据增强的“再水化”处理,即当出现新威胁指标时,可对历史日志进行查询或再处理。
Cribl Lakehouse
2025 年初,Cribl 宣布推出 Cribl Lakehouse 产品,该产品融合了数据湖和数据仓库的优势,专为遥测数据而设计。Cribl Lakehouse 是构建在 Cribl Lake 之上的高速查询优化分析层,相当于为热/温日志数据打造的列式低延迟数据仓库。它能以毫秒级速度实现近期遥测数据的交互式查询,并具备完整的基于角色的访问控制(RBAC)和动态资源调配能力。
Lakehouse架构消除了手动数据准备的需求,并在 Cribl Lake 之上提供实时查询能力,所有操作通过统一界面管理。这使得 IT 和安全团队能够"多湖如一"地运作,跨区域和存储层级扩展,同时相比传统解决方案可降低约 50%的存储成本。
Cribl Lakehouse作为列式存储系统,针对毫秒级访问的高优先级数据进行了优化,非常适合实时分析和关键安全操作场景。Cribl Lake 为指定长期保留的数据提供更快速的访问,在可访问性与成本效益之间取得平衡。原有的 Cribl Search 组件继续作为纯归档数据需求的解决方案。这种多层方法使组织能够根据数据的重要性、关键性和所需查询速度来平衡成本与价值。
Cribl Lake 通过为未来价值或即时用途暂不明确的数据提供简单、经济的解决方案,大幅简化了数据存储的复杂性。其"一键式"自动化繁琐的配置、分区和基于角色的访问控制流程,大大降低了对象存储管理的技术门槛。这一特性在通过不同数据版本管理 PII(个人身份信息)时尤为有利,能有效确保合规性与数据隐私。此外,Lakehouse 对混合部署环境(包括本地和云基础设施)提供强力支持,这对于具有多样化数据主权要求和本地化需求的组织至关重要。
总体而言,Cribl在这一架构中取得的成就极具价值。它显著加速事件响应、取证调查和合规报告流程,使安全团队可以查询大量历史数据集,而无需承受数据“再水化”或维护冗余昂贵存储系统所带来的时间延迟和高昂成本。"自带存储桶"功能进一步增强了数据主权并降低了第三方风险,因为数据完全保留在客户的基础设施内,这解决了性能优化之外的企业核心顾虑。
Cribl Search:联邦分析与统一数据访问
Cribl Search 是一个联邦分析和原地搜索引擎,旨在让用户无缝连接和访问多样化数据集,无论这些数据是存储在自有 SIEM 系统、对象存储、Cribl Lake 还是边缘设备中。客户无需索引或预先摄取即可运行查询。它本质上是一个非结构化数据的分析查询引擎。
这消除了分析师需要操作多种不同工具来访问不同数据集的情况。一位Cribl客户反馈,CriblSearch 通过将数据摄取与分析环节解耦,实现了新的应用场景。他们仅将关键日志路由至 Splunk 用于实时安全分析流程,同时将批量日志(如代理、DNS 和 VPC 流日志)存储在 Cribl Lake 中。必要时,分析师可直接使用 Cribl Search 查询 Lake 中的数据,无需额外摄取或计算资源。
Cribl Search与第三方连接器 Discover Intelligence 的集成,使用户可实现混合查询,甚至能直接从 Splunk 仪表板触发Cribl Search 查询。Cribl基于使用量的定价模式结合基于主机的压缩技术,使得存储每日数 TB 级的日志量成本仅为传统系统的零头。
Cribl Search 正在持续进行重大功能升级:
最新改进包括:跨索引与非索引数据集的实时快速查询、区域查询加速、支持自带认证和存储模型(BYO),这些特性将 Search 功能扩展至企业级数据湖环境。
Search Packs:该平台已推出对"Search Packs"的支持,为流式内容提供统一框架。这些Pack提供预配置内容,包括仪表板和必要配置,可快速实现特定使用场景。例如,当集成来自合作伙伴的新数据源时,Search Packs能提供开箱即用的仪表盘,实现即时数据可视化和分析。
仪表板定时刷新:加速分析的关键功能是仪表板定时刷新。用户现在可以按固定间隔预缓存整个仪表板,提升整体查询响应速度。
AI 驱动的Copilot
Cribl已集成 AI 驱动的 Copilot,这是一款交互式工具,旨在帮助用户更高效地构建数据管道,并在源与目标之间转换数据模式。这些工具可自动执行模式映射、管道构建、源接入和日志丰富化,大幅缩短价值实现时间。Copilot Editor 能理解日志结构和语义,提供函数建议,验证转换操作,并通过人机协同模式让团队保持完全控制权。客户受益于这种 AI 辅助模式,使非专业人士无需深厚 ETL 经验即可处理复杂日志(如 OCSF 或 ECS 模式)。Copilot 能加速新云服务的接入流程,确保下游工具获得经过清洗和丰富化的数据,从而提高数据质量、减少误报并加快事件响应速度。它有效分担了构建解析器和映射器这类复杂耗时的工作。Copilot Editor 已内置于 Stream、Search 和 Edge 全产品线中。
Cribl 的未来:成功因素解析
Cribl 的快速崛起和市场领导地位源于多项战略差异化优势,这些优势直接解决了企业遥测数据管理中的核心痛点。
赋予客户选择权、控制权与灵活性
Cribl 核心理念中贯穿始终的主题是赋予客户选择权、控制权和灵活性。公司坚信:企业应能在拥抱新技术选择的同时,无缝整合并充分利用现有资源。"企业级系统中没有任何事物会真正消失"这一信条指引着 Cribl,强调解决方案必须既能与遗留系统集成,又能同步实现现代化。
加速 SIEM 迁移的合作伙伴计划
Cribl已将其 Stream 平台与 CrowdStrike Falcon 新一代 SIEM 及 Palo Alto Networks Cortex XSIAM 深度集成,助力企业更快速、更安全且经济高效地从传统 SIEM 迁移。通过技术联盟合作伙伴(TAP)计划,Cribl 与 CrowdStrike 共同推出 CrowdStrike Falcon 新一代 SIEM 目的地,并联合开发了 Falcon 平台原生数据路由功能 CrowdStream。该方案能直接将任意来源的遥测数据接入 Falcon 生态体系,省去繁琐的手动配置环节,在完整保留事件上下文的同时显著降低数据摄取成本。
同样地,在 2025 年 4 月,Cribl与 Palo Alto Networks 联合推出了在Cribl Stream 中共同开发的 Cortex XSIAM 目的地与源集成方案。该合作使SOC团队能够集中收集、丰富数据并将高质量数据路由至 XSIAM 平台,从而加速概念验证进程、保护历史数据,并实现从传统系统到 XSIAM 的无盲点迁移。通过卸载数据摄取逻辑、标准化字段,以及通过可配置的背压机制和持久化队列保持数据保真度,Cribl 有效减少了停机时间、切换成本和成本超支。这有力推动了 Falcon NG SIEM 和 Cortex XSIAM 等人工智能驱动的 SIEM 解决方案的快速采用。
实际成效:客户案例
我们了解到,加拿大一家大型知名金融机构从本地部署的QRadar迁移至 Splunk Cloud 时,借助Cribl仅用九个月就高效完成了这项复杂的 SIEM 迁移,与此前耗时约一年的迁移案例形成鲜明对比。Cribl 通过统一管理数据摄取和索引简化了整个流程,减少了对 SIEM 专家团队的协调依赖,这种灵活性使得迁移工作能够按照自己的节奏推进。
该机构之所以选择Cribl而非基于 Kafka 的解决方案,正是看中其易用性和灵活性优势,避免了部署"大批 Java 开发人员"的需求。更重要的是,Cribl 实现了将相同数据路由至多个目标的能力,既能满足不同团队和业务场景的需求,又规避了将所有数据经高成本 SIEM 传输的巨额开支。这种机制还通过将数据定向传输至特定团队专用工具,有效加强了数据隔离性——既防止了核心 SIEM 的非必要访问,又全面强化了数据治理体系。
Cribl 的共存与生态赋能理念
Cribl 的核心理念是:数据处理引擎应在架构上与安全解决方案本身分离。使合作伙伴能够专注于在 Cribl 平台上构建和销售其专业解决方案,而 Cribl 则致力于打造业界领先的遥测数据处理平台。这一策略促进了丰富的解决方案生态系统,各类厂商可基于此开发专业的安全、可观测性或其他应用。其根本原则是尊重客户选择权,确保企业能自主选择偏好工具,同时 Cribl 为平台上的所有解决方案提供数据可访问性支持。
Cribl 最初作为一家数据管道公司起家,随后扩展至存储和搜索领域,如今正朝着构建综合性遥测数据管理平台迈进。其核心竞争力在于处理遥测数据的特殊需求——这些需求往往给通用数据处理解决方案构成挑战。虽然 Cribl 仍愿意在市场存在空白时开发解决方案,但通常对进入"红海"领域(如竞争者云集的 SIEM 市场)兴趣不大。相反,该公司始终将核心聚焦于底层数据处理引擎,更倾向于赋能其他成熟的应用层厂商,而非直接与之竞争。
供应商中立策略/不涉足 SIEM
Cribl 刻意避免被归类为安全信息与事件管理(SIEM)解决方案,而是强调其厂商中立立场及对全面数据管理的专注。这一战略定位使 Cribl 能够补充现有安全和 IT 解决方案,而非强制要求企业进行成本高昂且破坏性强的系统替换。该策略为组织提供了显著灵活性,帮助其规避大规模迁移伴随的高成本与固有风险。
通过作为厂商中立层运作,Cribl 有效帮助客户免受市场动荡影响(例如现有供应商的收购或合并),从而赋予客户对其数据基础设施更大的选择权和控制权。
Cribl 决定避开"SIEM"标签并保持厂商中立定位,精准切中了市场对传统 SIEM 平台成本飙升和厂商锁定的普遍不满,体现了其高度成熟的市场战略。企业经常对其 SIEM 解决方案的成本效益表示"长期失望",并"持续寻求替代方案"来应对这些挑战。众所周知,全面的 SIEM 迁移"成本高昂"且"风险巨大",通常需要一年以上才能完成,涉及重大业务中断以及复杂告警规则的迁移工作。Cribl 的厂商中立策略通过提供灵活的数据优化与路由层,使企业无需彻底替换现有系统就能将数据分流至原有或新 SIEM 平台,完美解决了这一困境。
这使得企业能够灵活尝试新工具、实施稳健的数据分层策略,并在保留现有投资的同时,实现更有效的成本控制。通过将自己打造成为支撑所有安全和可观测性工具的基础数据设施,Cribl 开辟了一个独特且可持续的市场定位。这一地位超越了与应用层厂商的直接竞争,使 Cribl 成为现代企业数据架构中不可或缺的组成部分。
未来愿景:将“遥测服务云”打造成企业基础设施
Cribl 的长期愿景是打造"遥测服务云"——一个可编程、可组合的数据平台,既能免除处理海量遥测数据的运维负担,又能让用户完全掌控数据的收集、处理、存储和检索方式。这一方向源于Cribl的核心判断:数据增长速度远超企业预算增幅,组织需要比传统 SIEM 和封闭的可观测性堆栈等集中式系统更灵活的替代方案。
Cribl的核心创新在于重构数据管道,将其分解为模块化组件:采集(Edge)、处理与路由(Stream)、存储(Lake 和 Lakehouse)以及分析(Search)。这些组件既可独立部署,也能作为统一平台使用。其关键洞见在于:用户不应被迫接受一刀切的基础设施,而应获得可组合的构建模块,从而创建符合特定需求且经济高效的数据管道体系。
与此同时,Cribl刻意选择不成为传统 SIEM 的替代品。尽管部分客户认为Cribl凭借其灵活搜索、分层存储和弹性许可模式,完全可以作为新一代 SIEM 的基础平台,但同样需要明确的是——它缺乏 Splunk 等成熟厂商的内容库、威胁情报集成和高级分析功能。Cribl 也无意进军这一市场。
Cribl 的愿景是作为底层支撑平台,为安全和可观测性工具提供更快速、更经济、更高效的数据预处理能力。
安全运维团队
安全运维团队可利用Cribl在遥测数据抵达检测响应系统前实现管控。借助 Cribl Stream,安全工程师能够对来自 EDR 平台、防火墙日志和身份系统等多源数据进行塑形处理,包括过滤低价值事件、添加资产分类或地理位置等元数据,并将记录转换为标准化格式。
该平台可用于预处理数据,以减少告警疲劳并简化下游关联分析。在多个客户环境中,Cribl 被部署用于将更多样化的数据引入 SIEM 平台,根据团队访问权限执行路由策略,降低数据体量,并提供与检测规则相匹配的转换逻辑。通过对进入检测管道的数据进行精准控制,有助于实现更高效的分类处理,降低整体数据摄取成本,并引入基于策略的数据治理模型。Cribl 的作用并非直接检测威胁,而是为执行检测的系统提供一致且高质量的数据输入。
IT 运维团队
IT 运维团队需要大规模处理来自网络、基础设施和应用层的遥测数据,Cribl 可作为遥测数据标准化与路由引擎,让这些团队能根据服务等级、时间窗口或地域,将操作日志定向传输至相应目标。它通过集中管控,减少了对脆弱转发逻辑或多个代理的依赖。例如,来自 Linux 系统的日志可被过滤掉常规事件,并添加环境或负责人等标签,然后路由至不同存储类别或可观测性工具。
该系统还能实现数据采集与即时分析的解耦,使团队可以选择将日志存储在Cribl Lake 中,后续通过Cribl Search 检索分析。这支持分层日志策略:高优先级信号实时流式传输,而长尾数据则存储用于审计、取证或合规用途。
云与平台工程团队
平台工程团队负责维护跨多云环境、本地系统和容器编排平台的遥测数据管道。Cribl 能够提供统一机制,聚合并标准化 AWS CloudTrail、Azure Monitor 和 Kubernetes 审计日志等数据源的数据。Cribl Edge节点可部署在靠近数据源的位置,最大限度降低延迟和出口流量成本,同时 Cribl Stream 提供模式转换功能,使数据符合 OCSF 等行业标准。
这种标准化简化了数据向云存储、监控平台或成本分配仪表板的传输流程。部分团队使用 Cribl 为遥测数据添加元数据用于成本回溯,或在将遥测数据转发至下游分析系统前确保其符合企业合规政策。Cribl提供灵活的部署选项(包括云托管控制平面和本地工作节点),使平台团队能够独立于应用程序或网络结构变更来独立扩展遥测层。最终形成可随基础设施跨环境扩展或迁移而调整的标准化遥测数据流方案。
可观测性与 SRE 团队
可观测性与SRE团队负责追踪应用程序和服务的性能及可用性。Cribl 能通过提供数据摄取时的过滤、丰富和转换功能,帮助这些团队管理遥测数据的体量与复杂度。这包括降低指标基数、丢弃冗余追踪数据,以及将日志与部署元数据相关联。Cribl 与追踪及指标源的集成使可观测性团队能够实施策略,例如在系统稳定期丢弃冗长的调试追踪,或根据系统负载动态采样。
Cribl Search 进一步扩展了这一能力,允许工程师直接对存储数据运行查询,而无需将其重新注入分析引擎,这对事件响应或历史调试非常有用。该平台还支持将历史遥测数据重新注入新工具,便于验证新的检测规则或性能基线。Cribl 可作为数据控制层运作,使团队能够更精准地使用可观测性工具,同时无需受限于特定厂商的数据管道。
总体来看,Cribl作为数据基础设施层的价值横跨多个运营团队。它并非围绕单一用例或工具集进行集中化管理,而是提供了一个灵活的控制点,用于在整个生命周期内实现遥测数据的路由、塑形与检索。该平台支持通过策略来保障数据质量、优化资源使用,并通过处理结构化相关输入使下游系统更高效运行。每个团队都能利用这套基础设施满足不同功能需求,同时共享这一抽象层带来的互操作性与扩展性优势。
Cribl 也在性能、开发者体验和AI领域进行战略性投入。其 Copilot Editor 应用意图感知 AI 技术简化管道构建、模式匹配和字段丰富流程,同时保留人工验证环节,确保准确性和可靠性。此外,流式数据丰富、对象存储直接摄取(例如从 S3)以及联邦搜索等创新技术,为构建更去中心化、可扩展的分布式 SOC 架构奠定了基础。产品路线图已着手解决 GitOps 工作流、指标管道和工作区隔离等实际客户痛点,这些体现了Cribl聚焦构建长期可持续的基础设施,而非追逐噱头功能的战略方向。
总的来说,我们最重要的发现之一是:Cribl的未来不在于与 SIEM 系统竞争,而是致力于构建支撑现有 SIEM、XDR 和 AI 工具的遥测数据主干网络。其核心在于帮助企业摆脱僵化的数据依赖。通过重塑遥测数据的接入、丰富、路由和分析方式,Cribl 正在为云原生遥测基础设施奠定基石——这种架构专为满足现代安全与可观测性团队对性能、规模和灵活性的需求而设计。随着数据量与复杂度的持续攀升,Cribl 正稳步确立自己作为关键基础设施层的地位,帮助各类团队应对未来挑战。
SOC的发展方向&为何数据管道成为核心
未来的安全技术栈将颠覆我们从 Splunk 时代继承的 SIEM 模式。团队不再将所有数据都存入专有存储并支付后续查询费用,而是将完整保真的遥测数据保留在开放式安全数据湖(Snowflake、Databricks、S3、BigQuery 等)中,仅将安全相关数据发送至 SIEM 进行实时关联分析。分析引擎现在"主动访问数据",直接在数据湖内运行检测而非提取数据。这种转变恢复了数据所有权,大幅削减存储成本,并允许专业工具直接接入而无需再次大规模重新摄取数据。
要实现这种这种架构,企业首先需要一个独立的流式数据处理管道,能够在边缘收集数据、标准化为 OCSF/OTel等开放模式,结合威胁情报和身份上下文进行丰富处理,并将每条记录实时路由到正确目标(SIEM、数据湖、SOAR 或归档等)。Cribl 的 Stream 和 Edge 这样的管道平台已经提供了这种连接纽带:例如,Reddit 的工程师就使用 Cribl 将事件同时写入 Splunk 和新的 Kafka+BigQuery 技术栈,在关闭 Splunk 前验证了湖原生系统,整个过程只需修改路由规则且不影响数据源。
当数据流被清洗且具备可迁移性后,SOC就能叠加真正的数据湖原生分析功能。列式查询引擎(例如支持 KQL的引擎)可在数秒内扫描 PB 级数据;AI 驱动的助手如今能将自然语言假设转化为优化的 KQL 搜索,让分析师无需记忆语法就能灵活分析。由于检测和调查都在遥测数据存储的位置执行,响应时间得以提升,同时成本始终与低价云算力挂钩,而非高价的 SIEM 数据摄取。
简言之,未来 SOC将呈现去中心化、以数据湖为核心、由管道定义的新形态;SIEM仍对高保真关联分析至关重要,但其作用半径正在收缩;数据湖将成为记录系统;而如今由Cribl等企业实现的供应商中立数据管道,正崛起为战略性控制平面——它确保遥测数据可信、经济高效,并能随时适配未来任何分析引擎。
原文链接:
https://softwareanalyst.substack.com/p/from-pipeline-to-platform-the-cribl
声明:本文来自安全喵喵站,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。