在AI技术快速发展的智能化时代,数据驱动已然成为网络安全技术创新至关重要的 “武器”,特别是对于网络安全运营团队而言,AI模式下的体系化风险分析能够为降低企业网络风险提供可行的建议,但这一切的前提是拥有强大的数据基础。然而,在现代企业环境中,如何有效地整合并科学利用海量的网络安全数据一直都是困难重重:数据孤岛大量存在,多源数据长期无法整合,成为长期制约企业网络安全能力提升的“头号难题”。
当前,安全运营团队致力于为大模型分析引擎提供更多有用的数据,这些引擎有望提供威胁情报并实现更明智的运营决策。然而,不断增长的网络安全数据规模使得分析师很难使用传统数据平台来找到正确的数据、对其进行转换并以有用的形式进行归档。在此背景下,一种创新的数据编织(Data Fabric)架构理念或许成为能够有效破解这一难题的关键所在。
什么是数据编织?
研究机构Gartner在2024年数据分析与人工智能技术成熟度曲线(中国版)报告中指出,曾经风光无限的“数据中台”已经正式落入泡沫破裂低谷期,因为从技术视角分析,数据中台代表了物理式集中的数据管理架构,侧重于物理化的统一归集和数据搬运,而随着当前数据规模指数级增长,其已难以应对“跨源异构”数据的整合,并且投资巨大,回报周期长。
从实际应用角度出发,对于正实施数字化转型战略的大型企业,或者想要更快、成本更低落地数字应用的中小型初创企业来说,一种更灵活、更敏捷,也更低成本的数据编织(Data Fabric)技术架构开始受到广泛关注。而在网络安全领域,数据编织技术也有望成为企业组织新一代网络安全能力构建的基石。
Gartner 分析师表示,传统数据连接架构是“人找数据” 模式,存在诸多弊端。用户需耗费大量时间精力,在多个分散的数据源中搜寻所需数据,不仅效率低下,还增加了数据泄露与误操作的风险。而数据编织技术则是以 “数据找人” 为设计核心,借助智能算法与动态分析技术,在恰当的时间节点,将适配的数据主动推送至需求方,从而显著提升数据流转效率,同时降低人为因素导致的数据安全隐患。
数据编织(Data Fabric)并不是一个具体的产品,而是一种极具前瞻性的大数据管理架构理念。它旨在打破数据孤岛壁垒,整合多源业务信息,具备高度的灵活性与弹性扩展能力,支持用户在任何时间、地点,通过任意终端安全访问所需数据。在实际应用中,数据编织技术需要深度融合AI、机器学习与数据科学技术,倡导通过智能化手段实现海量数据的动态整合与访问,精准挖掘数据间潜藏的业务关联。在这种创新的管理体系中,数据不再因物理分散而难以监管,而是通过统一逻辑视图实现集中管控。
与传统的中台式管理模式相比,数据编织架构为企业数据体系建设和数据管理架构提供了一种全新的思路,其关键技术突破是通过数据虚拟化技术,创建逻辑数据层,在单点逻辑集成了分散在不同系统中的数据,为数据消费者提供一个统一的、抽象的、封装的逻辑数据视图,无需物理搬运数据即可实现数据的统一访问与管理。用户通过这个逻辑视图,可以查询和操作存储在异构数据源中的数据,把多个异构数据源当成一个同构数据源使用,无需关心数据的位置、类型和格式,最终实现类似数据中台的统一集中化的数据访问和管理。
重塑网络安全数据利用模式
具体到网络安全防护领域,数据编织技术有望成为企业在进行网络威胁和暴露面风险管理流程中,负责数据摄取、存储、分析利用和规范化管理的基础性组件。从架构角度来看,它致力于统一各类安全数据,提升整体安全能力,就如同人体的中枢神经系统对于整个身体的作用一样,在网络安全技术生态系统中占据核心地位。
通过数据编织技术,安全运营团队能够对所有相关的安全数据进行统一分析利用,这些数据还会结合基础设施状态和威胁情报得到丰富和增强。与传统的数据湖或数据仓库不同,网络安全数据编织能够提供将多个数据片段相互连接,形成具有高度价值的上下文情境视图,对于特定的攻击事件场景分析具有重要意义。在这个过程中,“数据 + 数据 = 情境”,而情境能够帮助安全团队做出更准确的处置决策。
以某大型金融企业为例,其网络安全团队整合所有安全运营数据的过程中,需要对接防火墙、入侵检测系统、漏洞扫描工具等近百种不同的安全设备和软件。每个设备和软件都有各自的数据格式和接口规范,团队为了实现数据的收集,投入了大量人力定制化开发接口,但仍时常面临因 API 变更导致的数据收集中断问题。这不仅影响了数据的及时性,还使得安全分析工作无法正常开展,增加了企业面临的网络风险。
而在数据编织模式下,其所有安全运营数据的摄取将由自主且由人工智能驱动的代理来完成。这些代理就像是智能 “侦察兵”,其主要任务是检测新的系统和基础设施。它们可以主动发现数字生态系统中的所有相关数据源,包括以前未知的资产。它们还能够理解数据语义,适应不断演变或变化的 API,并动态建立和学习新的连接,从而显著降低维护成本和运营总开销。
此外,网络安全数据编织的分析引擎将是负责对摄取的数据进行分析和丰富化处理的中央计算系统,其最终目的是创建对网络安全上下文情境的全面感知。这一引擎模拟人工手动从多个工具中整合不同数据集,并深入理解数字生态系统中实际发生情况的过程,帮助安全团队及时发现安全威胁并采取措施进行防范,避免了可能造成的重大损失。
虽然目前网络安全数据编织尚未完全成熟,但了解这一发展方向,有助于企业组织当下更好地探索利用这一创新技术。基于AI代理的智能化数据摄取机制最终将提高安全运营团队的工作效率,确保为网络安全决策提供支持的可见性和遥测数据的实时性、准确性。
应用价值分析
现代企业的数字化基础设施呈现出分散化和短暂性的特点,在现有的数据孤岛林立和多安全工具并行的安全防护模式下,企业想要在与攻击者的对抗中占据主动地位变得越来越困难。而网络安全数据编织技术的应用,有望为企业带来以下改变和优势:
1、提升体系化安全运营的协同效率
如今,企业中存在着大量不同的网络安全技术,每种技术都拥有独特的数据集合。将这些与网络安全相关的数据统一到一个数据结构中,能够打破团队之间的数据壁垒,营造数据共享的环境,从而提升整个安全计划的执行能力。
在某跨国制造企业中,不同地区的分支机构使用了多种不同的网络安全解决方案,包括来自不同供应商的防火墙、入侵检测系统和端点防护软件,这些系统产生的数据也相互独立。引入网络安全数据编织架构后,所有安全相关数据被集中整合,不同团队可以实时共享数据。例如,开发团队在进行新应用程序部署时,可以参考安全团队提供的威胁情报数据,提前进行安全加固;安全团队则可以根据运维团队提供的基础设施变更信息,及时调整安全策略。通过这种方式,企业内部的协同效率将会大幅提升。
2、加速事件响应进程,增强威胁狩猎能力
网络安全事件响应需要获取大量数据,以便对安全事件进行情境化分析,并推断出可能给企业带来风险的活动。大多数孤立的活动本身可能并不代表正在发生的安全事件或威胁,但将一系列行动或事件综合分析,往往能揭示重要的上下文情境。采用网络安全数据编织架构,能够显著提升威胁狩猎和事件响应的效率。
例如,在一次针对某电商企业的大规模 DDoS 攻击中,传统的安全防护系统仅能检测到大量异常流量,但无法快速判断攻击的来源和意图。由于数据分散在不同的设备和系统中,安全团队在进行调查时,需要逐个查看防火墙日志、流量监测数据和服务器日志等,耗费了大量时间。而通过数据编织,安全运营平台能够实时收集和整合各类数据,通过分析流量模式、源 IP 地址、请求内容等多维度信息,迅速识别出攻击的发起者和攻击手段。安全团队根据这些信息,及时采取了针对性的防御措施,成功抵御了攻击,将业务中断时间从原来的数小时缩短至几分钟,有效减少了经济损失。
另外,威胁狩猎是一种主动寻找潜在安全威胁的过程,需要对大量的安全数据进行深入分析。在传统模式下,安全团队往往依靠经验和手动查询来进行威胁狩猎,效率低下且容易遗漏重要线索。网络安全数据编织能够提供统一的数据分析平台,结合人工智能算法和威胁情报,自动发现潜在的威胁迹象。例如,通过对用户行为数据的分析,发现某个用户账号在非工作时间频繁访问敏感文件,且访问模式与正常行为存在显著差异,从而提升狩猎效率。
3、转变风险应对策略,实现主动防御
传统的网络风险应对过程,通常是基于优先级策略来发现和缓解暴露和漏洞。然而,在缺乏缓解因素、基础设施知识和实时威胁数据等上下文情境的情况下,对特定风险的优先级评估可能不够准确,使得风险应对成为被动反应。而引入网络安全数据编织技术后,通过实时分析威胁和资产数据,并与已知威胁和行动进行对比,能够将风险降低转变为主动且预防性的过程。
以某能源企业为例,在未引入网络安全数据结构编织之前,其风险评估主要依赖于定期的漏洞扫描报告。由于扫描周期较长,且无法实时获取威胁情报,导致在发现漏洞后,往往需要一段时间才能确定其风险等级并采取相应的措施。在这期间,企业可能已经面临着潜在的安全威胁。而在引入网络安全数据编织后,系统实时收集资产信息、漏洞数据和威胁情报,通过分析这些数据之间的关联关系,能够动态评估风险等级。同时,通过对历史数据的分析,系统还能够预测潜在的风险,提前为安全团队提供预警,实现从被动防御到主动防御的转变。
应用的挑战与建议
应用挑战
实施网络安全数据编织有望给组织的新一代安全能力建设带来大量战术和战略层面收益,但也存在着数据隐私和保护方面的担忧,主要包括:
1、明确数据的所有权
数据编织技术使用人工智能对各类数据进行分类,并可以使用预测分析中的信息来生成数据目录和知识图。其中需要超出传统安全数据的范畴,获取有关业务部门及其员工行为的数据信息。在当前的信息隐私保护框架内,需要明确谁拥有这些信息或有权使用这些信息。
2、对数据访问的管控
数据编织通常集成来自人类和人工智能识别源的数据,这些源可以是数据库、数据湖、数据仓库、数据流和许多其他形式。从各种来源收集的数据和元数据被集成到数据编织架构中。数据编织的数据和流程由一组共享规则自动编排,因此,提前对信息进行分类并设置共享信息的业务规则至关重要。
3、安全地使用数据
数据编织严重依赖人工智能。人工智能生成模型的可解释性和使用让人对黑匣子内发生的事情产生疑问。这种担忧源于重新解释和统计分析网络安全信息数据的过程,可能会导致数据的滥用。因此,实施网络安全数据编织的组织必须考虑对人工智能模型过度使用数据进行限制。
应用建议
要安全、科学地实现网络安全数据编织并不容易,建议企业在引入网络安全数据编织技术时应遵循以下原则:
1、明确应用的目标与需求
企业首先要明确具体的安全目标以及希望通过该平台实现的用例。这包括详细记录当前面临的安全痛点,确定希望通过自动化增强的流程类型,并深入理解需要缓解的威胁和风险。在明确应用目标的过程中,企业可以组织跨部门的研讨会,邀请安全团队、IT 团队、业务部门、合规部门等利益相关部门共同参与,全面梳理企业的安全防护需求,并进行详细的流程梳理和分析。
以最常见的漏洞管理流程为例,传统的漏洞管理需要人工定期进行漏洞扫描、结果分析、修复建议制定和修复进度跟踪等工作,效率低下且容易出现疏漏。通过引入网络安全数据编织,企业可以实现漏洞扫描的自动化调度、扫描结果的自动分析和风险评级,以及修复建议的自动生成和推送。同时,系统还能够实时跟踪修复进度,及时提醒相关人员进行处理,大大提高了漏洞管理的效率和效果。
2、评估主流厂商的技术方案
在明确目标后,企业需要对市场上的主流技术方案进行评估。重点关注供应商提供的预编织集成功能,以及是否能够提供充分的网络安全上下文情境整合。数据规范化和丰富化能力的广度和深度,将直接决定数据编织技术是否符合企业的综合分析需求。
在评估过程中,企业可以制定详细的评估指标体系,从功能、性能、易用性、可扩展性、安全性等多个维度对厂商方案进行评估:在功能方面,考察方案是否具备全面的数据收集能力,能否支持多种数据源的接入;在性能方面,关注方案在处理大量数据时的响应速度和稳定性;在易用性方面,评估方案的操作界面是否友好,是否提供便捷的数据分析工具;在可扩展性方面,考虑方案是否能够方便地与企业现有的安全系统和基础设施进行集成,以及是否具备良好的升级和扩展能力;在安全性方面,检查方案本身的安全防护措施是否完善,是否能够保障数据的安全存储和传输。
3、稳步有序推进试点应用
在部署初期,企业可以选择一些相对简单且具有代表性的安全场景进行试点。例如,针对企业内部的邮件系统安全,将邮件服务器的日志数据接入网络安全数据编织平台,通过分析邮件流量、发件人信息、邮件内容等数据,检测是否存在钓鱼邮件、恶意邮件等安全威胁。通过这些试点项目,安全团队可以熟悉数据编织的使用方法,发现并解决在数据接入和配置过程中遇到的问题,同时也能够验证平台在实际应用中的效果。
随着试点项目的成功实施,企业可以逐步扩大部署范围,将更多的安全设备、系统和数据源接入数据编织平台,如防火墙、入侵检测系统、终端设备等。在这个过程中,要注意数据的质量和一致性,对不同数据源的数据进行清洗和规范化处理,确保数据能够被有效分析和利用。同时,要建立完善的监控和运维机制,及时发现和解决平台运行过程中出现的问题,保障平台的稳定运行。
由于具有识别和提炼大量数据的能力,数据编织技术可能代表了许多组织新一代网络安全能力构建的未来,为企业在复杂的网络环境中指明了前行的方向。通过明确目标、审慎评估供应商产品,并确保所选技术与企业现有技术基础设施相匹配,企业能够迅速提升安全计划的实施速度和效果。它不仅能够改善威胁检测能力、加快事件响应速度,还能让企业更全面地了解自身的安全态势。在不断演进的网络威胁环境中,如果能够应用得当,网络安全数据编织将成为安全团队主动防御的有力武器,助力企业迈向由人工智能驱动的网络安全运营新时代。
参考链接:
https://www.techtarget.com/searchsecurity/opinion/Making-a-case-for-the-cybersecurity-data-fabric
声明:本文来自安全牛,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。