美陆军分布式通用地面系统(DCGS-A)是2006年开始部署的新一代情报系统,曾被美陆军寄予厚望。十余年间,美陆军在该系统上的投资高达数十亿美元,但该系统的复杂性、在沙漠等苛刻环境下的不稳定性等问题一直饱受一线用户的诟病。2018年3月,美陆军选择国防军工巨头雷神公司与来自硅谷的Palantir公司共同提供可以在战术级有效使用的全新情报分析平台。今年上半年,Palantir在一场激烈的竞争中击败了雷神公司,赢得了美陆军分布式通用地面系统(DGCS-A)全新战术版——“能力更新1”的首批订单。这标志着硅谷首次入围美陆军重大列档项目的承包商阵营。

图1 美陆军士兵正在使用部署在笔记本电脑上的Palantir情报分析产品

1 背景

实际上,部署到阿富汗的美海军陆战队早先通过在战场上绘制简易爆炸装置并跟踪相关情报的紧急请求,临时采购了Palantir公司的部分情报产品,获得了实际用户的一致好评。但当更多部队也要求采购Palantir公司的产品时,陆军阻止了这些订单。争议在2013年流入美国国会,来自加利福尼亚州的共和党议员Duncan Hunter支持彻底取消DCGS-A,并用Palantir公司的产品取而代之,他认为这将节省大量经费并且效率更高。

2016年,Palantir公司正式对美国陆军情报分析系统的采购策略提出诉讼,随后法院裁定支持Palantir公司的中心法律论据,即美陆军违反了联邦采购精简法案,没有进行市场调查,以确定是否有能够满足其需求的商用产品。法官命令陆军认真研究是否存在满足其需求的商业产品。这项诉讼迫使陆军重新考虑其采办计划。因此,美国陆军在2018年选择雷神公司与Palantir公司共同参与下一代战术情报系统的竞争。

美陆军需要一种可以加载到商用笔记本电脑上并且易于部署的系统,要求系统能够在8小时内完成培训。陆军还希望其新版情报系统能够以低传输速率或在断开连接的情况下运行。雷神公司提供的是FoXTEN系统,并称其符合这些标准。Palantir则向陆军提供了其卓越的数据管理平台Palantir Gotham,集成有美陆军所需的各种分析工具。最终,美陆军选择了Palantir的产品。Palantir的工程师们表示,DCGS-A的问题在于,它没有成为一个完整的生态系统。DCGS-A的各种工具虽能有效工作,但系统的后端无法在处理大量复杂数据的同时还能保证前端的易用性。

2 阿富汗战场的表现

Palantir公司的平台被认为有助于应对简易爆炸装置(IED)、叙利亚和巴基斯坦的自杀式炸弹袭击者以及间谍渗透盟国政府的威胁。美国政府是Palantir的最大客户,该公司的软件已经成为“反恐战争”数字战线中最有效的武器之一。例如,海军陆战队已经使用Palantir工具分析阿富汗的路边炸弹,并预测攻击和炸弹的布局。

支持驻阿富汗美海军陆战队所需的数据通常分布在许多来源,之前一直没有统一的界面来访问和分析数据。因此,美海军陆战队(USMC)要求Palantir开发一种可以快速整合这些资源的系统,目的是从整体上提高情报能力并减少查找信息所花费的时间。由于前线部队通常会在带宽较低或根本没有网路覆盖的区域行动,因此系统必须能够在不连接基站的情况下工作。因此,Palantir公司向美海军陆战队提供了能够离线使用的Palantir Forward,该系统能够在恢复与基站的连接时自动同步数据。海军陆战队的分析员能够使用Palantir的数据集成、搜索、发现和分析技术来融合数据,并为前线的海军陆战队提供更多情报。

通过使用Palantir公司的产品,海军陆战队的分析员能够检测天气数据和简易爆炸装置攻击之间的相关性,并将从简易爆炸装置收集的生物识别数据与特定的个人和网络联系起来。如果无法在同一地点集成和同步所有数据,这一切都不可能实现。在阿富汗战场使用的数据包括各种结构化和非结构化数据:DNA数据库、显示运动的监视记录、社交媒体数据、线人的提示、传感器数据、地理数据、天气数据和简易爆炸装置的生物识别数据。Palantir成功的一个重要部分在于有效地将如此庞大的数据整合在一起。

3  Palantir Gotham

前面提到,Palantir为陆军提供的是Palantir Gotham,下面我们对这一产品进行简单的介绍。

3.1、工作原理

(1)将数据融入以人为中心的模型中

Palantir Gotham能够将各种来源的结构化数据(如日志文件和电子表格)和非结构化数据(如电子邮件、文档、图像和视频)整合并转换为单一、连贯的数据资产。

当数据进入平台时,它会被丰富并映射为表示真实概念的对象和关联属性(例如人员、组织、场所、文档和事件)以及这些对象之间的关系,而不是呆板的行和列。这种Palantir Gotham数据模型被称为“动态本体论”,因为它可以随着时间的推移重新定义,能够将许多来源的数据整合成一个连贯的整体。大多数需要数年时间才能完成的大型数据集成项目,Palantir Gotham可以在几周内完成。

(2)标记、保护并跟踪所有数据

创建数据模型后,源数据将持续流入Palantir Gotham。在此过程中会应用安全规则,因此只有授权用户才能访问数据。源系统中的数据与用户添加的内容一起进入平台。用户添加内容的方式可以是手动输入,可以通过电子表格上传,也可以链接对象。当用户使用数据时,Gotham会跟踪、归属和记录用户的所有操作。

(3)统一搜索和发现

Palantir Gotham可提供跨内部和外部数据源的单点搜索。在Gotham的集成应用程序和模块中,用户可以一次搜索所有数据源,研究不同的假设,提出未知的连接和模式,并与同事分享见解。这一由数据、能力和基础平台构成的生态系统增强了整个组织的能力。

在发现过程中,用户可以研究原始格式的数据,也可以通过仅在Palantir Gotham中提供的丰富视图来查看数据。该平台的联合功能可以无缝集成外部系统,因此这些系统可以继续为数据生态系统增加价值。用户可以使用Gotham将外部记录与情报相融合,相关数据可自动呈现给用户查看,从而简化了大规模数据的分析。

(4)知识管理

Palantir Gotham构建了一个版本控制的知识库,可以积累组织的洞见。这些数据存储在Palantir Gotham的修订数据库(RevDB)中。概念上类似于分布式版本控制系统(如Git),RevDB允许分析人员在各个沙箱中建立分支并开展工作,直到他们准备将结果发布到组织。RevDB还揭示了所有数据的来源,并记录了平台中进行的每一步分析。

3.2、系统组成

Palantir Gotham平台主要包括图、表、对象资源管理器等应用程序,以及Ava、档案、运行、Nexus Peering等模块。模块是Palantir Gotham生态系统中的附加功能,可以解锁新的工作流程、洞见和情报信息。

(1)图形

在“图形”应用程序中,数据对象之间的语义关系能够显示为由节点和边缘构成的网络,供用户研究。通过时间轴、直方图和演示功能,用户可以显示事件序列,过滤具有相似特征的对象,分析通过网络的信息流。

图2 阿富汗战场的融合分析功能界面

(2)地图

“地图”应用程序为Palantir Gotham带来了地理空间分析功能。在“地图”中,用户可以导入并整合地图图层和图像,跟踪地理位置对象和事件,并创建按位置标识对象密度的热图。

图3 战场空间感知态势图

(3)对象资源管理器

“对象资源管理器”允许分析人员过滤数十亿个数据对象,以获得感兴趣的子集,以便在其他Palantir Gotham应用程序(如“图形”或“地图”)中进行进一步分析。“对象资源管理器”由Palantir Gotham的Horizon内存数据库提供支持,该数据库可驱动大量数据的交互式工作流。与Apache Spark类似,Horizon允许用户查询数十亿个对象并在几秒钟内收到结果。

(4)浏览器

“浏览器”应用程序可在用户需要时为其提供最有价值的数据。在研究期间,用户应用结构和标签文档,以便在其他Palantir Gothama应用程序中进行分析。“浏览器”的自定义对象视图减少了人力工作,并利用组织数据资产的丰富内容自动显示有价值的信息,运行相关搜索,显示关键数据点,并通过单击鼠标回答分析问题。

(5)AVA

“Ava”是机器学习虚拟助手,它增强了人类从数据中获取意义的能力。其机器学习和人工智能功能利用Palantir Gotham中客户的综合数据生态系统来去除干扰,并展示重要的洞见。

“Ava”全天候工作,连接难以找到的点,并提醒用户注意内部和外部数据系统的潜在连接。这些连接由机器学习算法、动态评分和人工智能提供支持。“Ava”能够基于用户的操作进行校准,以创建使人和数据的潜力最大化的生态系统。通过使用“Ava”的机器学习增强搜索和发现,用户可以减少筛选数据的时间,并将更多时间用于生成情报。

(6)表

通常情况下,大规模数据被推送到数据仓库并由小团队处理,这会产生瓶颈。此外,数据有噪音,使得搜索速度慢且难以分类。“表”可从大规模数据的噪声中获取信号,供所有用户访问,而不仅仅是专业分析人员。

使用“表”,任何用户都可以对Palantir Gotham生态系统中的大规模数据进行高效搜索,并以复杂的方式对其进行过滤以识别关键信号。然后,用户将数据从“表”提取到应用程序(如“地图”或“图形”)以供继续分析。这样,一个生态系统将大规模数据与分析能力结合在一起,因此每一个发现都可以回馈更广泛的Palantir Gotham生态系统。

(7)档案

“档案”允许用户以协作的形式实时共享分析,编写报告和发现情报。通过电子邮件或Web门户共享的静态文档需要人工合成。这些文档之间会造成冲突,难以检索,并与数据本身脱节。“档案”能够捕获Palantir Gotham内部的人类分析和背景,从而使情报更加明确。

“档案”允许用户跨团队和组织实时协作,在Palantir Gotham生态系统中创建实时和动态的情报产品。这些数据支持的产品继承了Palantir Gotham强大的安全模型,可在整个平台上进行搜索和共享。

(8)作战

“作战”模块允许用户实时协作以计划、执行和报告作战行动。作战规划和情报收集通常发生在孤岛中,协作有限。由此产生的作战图时效性较差。在“作战”模块中,一个名为“Palantir Gaia”的增强型地图应用程序提供了共享的实时地图,可以实时跟踪地面上发生的事情,以便每个人都可以处理相同的信息。用户可以将其他Palantir Gotham模块和应用程序中的对象直接拖放到“作战”中,以便计划和情报收集与分析一致。

“作战”模块包括Palantir Mobile,它使Palantir Gotham能够在现场进行实时的分布式作业。当情况不断变化,如在自然灾害之后或在执法行动期间,Palantir Mobile可实现现场操作员和基站之间的实时协调。通过Android或iOS设备,用户可以提交现场报告,上传照片和视频,跟踪队友的位置,搜索和研究集成到Palantir Gotham的数据。

(9)NEXUS PEERING

“Nexus Peering”模块使组织能够在全球范围内同步数据,提高远距离应用的性能,同时促进安全协作和一致的数据访问。“Nexus Peering”使Palantir Gotham能够应对网络故障和间歇性连接。

无论是出于策略,网络还是安全原因,每个组织都会断开用户交互数据的站点。在这种情况下,情报很快就会过时、重复或不准确。“Nexus Peering”保留了跨站点共享数据的一致性、完整性和安全性,以防止情报崩溃。该模块通过同步或“对等”来捕获和合并来自其他站点的变更,并将无法自动解决的冲突变更排入队列以供人工审核。“Nexus Peering”模块适用于数据模型、边界和安全模型,支持单向或双向对等,以及部分或完全的数据共享。它完整保留每条历史记录,在点对点传输时对数据进行跟踪以防覆盖或重复。

4 面临的挑战

美陆军计划在10年内为下一代战术情报系统授予多个交付订单。因此,对于雷神公司而言,美陆军选择Palantir进行首轮交付并不意味着该公司将来不会被考虑。雷神公司在公开声明中表示其将继续积极争取未来的交付订单。

对于Palantir自身而言,它也必须解决互操作性和终端用户的分析定制这两大关键问题才能成为卓越的战场情报平台。

首先,Palantir必须能够与不同的分析套件互操作。真正的战场情报问题需要各种方法,包括定性和定量,并需要不同的工具进行适当的分析。全源分析师在战场环境中进行情报分析时,需要使用大量工具,如使用Analyst Notebook创建链接图,使用ORA进行网络分析,使用ArcGIS创建地图,使用Palantir Gotham查找链接报告。其中许多工具都有专门的算法和分析格式,无法以一种综合格式轻松复制;ORA的社会认知地图无法轻易复制,很少有系统可以像Analyst Notebook这样创建这么好的可视化链接图。因此,一个分析套件根本不可能提供执行战场情报所需的所有分析功能。

Palantir必须能够将数据与不同系统集成。这意味着它必须选择并将数据导出为易于摄取的格式(如JSON和csv),并加载和解析来自不同分析套件的本机格式。一个不易与其他系统互操作的封闭系统将无法为战场情报分析员解决真正的情报问题。Palantir要想比DCGS-A更成功,它必须与许多分析套件都具有高度的互操作性。

其次,也许更重要的是,如果Palantir要在DCGS-A没有成功的领域取得成功,它必须允许分析员用自己的数据编写代码。战争正变得越来越数字化,随之而来的是信息爆炸式增长。随着情报分析越来越多地结合机器学习、大数据和交互式可视化,情报系统需要将这些先进的技术和方法整合在一起。

许多用于机器学习和高级可视化的最佳工具都是开源的,并使用Python、R和Julia等语言编写。因此,分析员不仅需要轻松地使用这些工具来支持他们的分析,还需要根据与战场环境相关的特定情报数据定制他们的工具。为了使Palantir系统成功实现战场情报,它必须至少具有一个应用程序编程接口,供分析人员以编程方式轻松地使用Palantir系统提取和提交数据。

李皓昱编译自互联网

2019年7月

声明:本文来自防务快讯,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。