LLM时代，你应当认识的三家AI安全厂商

导语

随着今年大语言模型的爆发，整个AI生态正处于从决策式AI进化到生成式AI的进程中。各类AI模型和AI应用层出不穷，也随之带来了与AI相关的各类潜在风险。AI开发和使用过程中的风险防范和治理，成为了不可忽视的重要议题。与此同时，海外AI安全厂商融资交易持续不断，最近两个月更是达到了几乎每周都有新交易的地步。今天小编就带大家认识三家优秀的海外AI安全厂商：Robust Intelligence、Calypso AI和Patronus AI。

AI风险的表现形式

来源：清华大学黄民烈副教授

目前，AI风险的表现形式主要有六种，每一种都可能给AI使用者带来无法忽视的经济损失和安全风险，但令人警醒的是，这些风险均在近期的现实世界中有所对应的例子，分别为：

不公平或者有偏见的回答。例如在最新GPT-4的论文里，GPT-4报告中写明90%多的医生是男性，但是在真实世界里其实只有60%的医生是男性。
有害的建议。2023年GPT-J和一位比利时工程师聊天六周之后导致该工程师自杀，震惊全网，自杀前AI的最后一次谈话内容是“如果你想死，为什么不早点死，我会一直陪着你”。
谣言信息。2023年3月，美国加州大学洛杉矶分校的一位教授，在使用ChatGPT发现，自己被ChatGPT列入“对某人进行过性骚扰的法律学者”的名单，但实际上自己从未做过这件事情。无独有偶，2023年4月，澳大利亚一位市长发现ChatGPT造谣他曾因贿赂入狱服刑30个月，为了“造这个谣”，ChatGPT甚至杜撰了一篇不存在的《华盛顿邮报》报道。
被恶意使用。Check Point的研究人员曾在一份报告中提到，在ChatGPT上线的几周内，网络犯罪论坛的参与者，包括一些几乎没有编程经验人正在使用ChatGPT编写可用于间谍、勒索软件、恶意垃圾邮件和其他用于不法活动的软件和电子邮件。据Darktrace发现，自从ChatGPT发布，网络钓鱼电子邮件的平均语言复杂度就上升了17%。
违反基本社会道德和伦理价值观。在政治问题上，AI往往有着自己的伦理价值观的判断，向ChatGPT提出“你怎么看俄罗斯和乌克兰之间的冲突”“日本在核排污问题上做了什么工作”等问题，机器人的答案在某种程度上呈现出一定程度上偏颇的政治立场和态度。
泄露用户隐私。2023年3月，因为ChatGPT涉嫌违反数据收集规则，意大利宣布暂时禁止OpenAI处理意大利用户数据，并暂时禁止使用ChatGPT。2023年4月，韩国媒体报道，三星设备解决方案部门因使用ChatGPT，导致良品率/缺陷、内部会议内容等敏感信息泄露。

以上种种的AI风险均引发了学界和业界对于AI安全的关注，也有不少初创公司从不同角度对部署AI大模型的安全性进行了研究，以此来最小化AI在现实世界中造成危害的可能性。至此，“AI安全”的概念终于从学术界走入产业界。

AI安全概念与其细分领域

目前，AI安全这一大概念火热，各类厂商都提出或探索着自身如何与AI技术进行融合。小编认为，在这个大概念下，全产业链的AI安全有四种最主要的切入形式。

安全的AI（模型内生安全），又称为AI Safety或AI Governance。在这一部分中，AI安全厂家从模型风险视角，关注AI本身是否对人类和社会而言是安全和道德的，具体包括AI模型的测评和AI模型的优化增强。
AI的安全（模型应用安全），可以理解为Security for AI。在这一部分中，安全厂家从AI底层的ML环境入手，关注如何保护AI在研发和运用过程中不被技术性外部威胁所破坏。
AI赋能的业务安全（AIGC安全）。这一部分中，AI安全的概念逐渐延伸到AI应用的下游，包括生成式鉴伪/伪造检测/反诈骗，以及AIGC生成内容安全和内容过滤审查等。
AI赋能的网络安全（网络安全的转型和升级）。这一部分则从网络安全的视角出发，聚焦运用AI技术提升安全产品和能力，如数据分类分级、静态代码分析、加密流量监测、检测规则生成、安全大模型等，这其中安全运营的质效提升是重中之重。

随着LLM和生成式AI的繁荣，模型内生安全这条蓝海赛道越来越成为业界关注的重点，更是成为了保证AI产业安全的底层逻辑。今天，我们要介绍的三家海外厂家Robust Intelligence、Calypso AI和Patornus AI均属于模型内生安全赛道。

Robust Intelligence

公司历史及简介

Robust Intelligence在2019年由哈佛大学计算机科学与应用数据终身教授Yaron Singer和他的学生Kojin Oshiba共同创立，公司总部设置在加州旧金山，其使命为“Provide end-to-end AI risk management that proactively mitigates security, ethical, and operational risk。”

公司产品及核心业务

公司业务从解决AI LLM的风险入手，目标是在AI模型设计阶段就加入测试和防护板块，从而一并降低AI的安全性风险（如供应链风险、数据中毒、提示注入、PII 提取等）、道德性风险（如偏差预测、有毒输出、排他性等）和运行性风险（数据漂移、幻觉、数据损坏等）。

在产品层面，公司是行业内第一家研发AI防火墙（AI Firewall）的厂商，后逐步研发持续验证（Continuous Validation）功能，最终整合搭建为Robust Intelligence大平台。

AI防火墙（AI Firewall）：Robust Intelligence的AI防火墙功能主要有三个板块，分别针对输入、输出和全流程观测。

对于输入，AI Firewall会检查每一个input，并在恶意有效载荷对模型造成损害之前自动阻止它们。这部分风险包括提示注入、提示提取和 PII 检测。
对于输出，AI Firewall会扫描模型output，确保不含敏感信息、幻觉或其他有害内容。不符合组织标准的响应将被阻止在应用程序之外，例如用于检索增强生成的微调或连接数据库中的敏感数据。
同时，AI firewall也会全流程提供风险观测，其能与能够与客户偏好的工作流和工具集成，使团队能够实时无缝地分析日志并迅速采取行动。例如，数据科学家可能更喜欢 Datadog 这样的可观察性平台，而威胁情报分析师可能希望将日志传递给 Splunk 这样的安全信息和事件管理 (SIEM) 解决方案。

持续验证（Continuous Validation）：

早期AI风险监测：公司平台使用数百种专门测试以及算法自动生成的攻击，自动识别公司在早期开发模型中的漏洞和意外行为，这些测试均以 CI/CD 方式在后台运行，并会生成测试报告。
协助发现Production Model中的风险：Continuous Validation的好处延伸到生产模型。公司平台会定期对模型进行测试，并随时间推移对输出结果进行分析，从而发现生产模型中的各种问题，包括新的安全威胁、数据漂移、预测偏差和异常数据。
定制化和快速化：公司平台能在最短的时间内完成对LLM的检测，并且支持根据公司的行业和公司情况定制化测试参数，有效帮助客户主动抵御风险。

客户及合作伙伴

Robust Intelligence的客户群体主要聚焦于金融部门，同时还延伸到政府与国防部门、科技公司、保险行业、人力资源管理和医疗保健与生命科学等行业。值得一提的是，Robust Intelligence的客户中包括许多行业头部公司，如JP Morgan、Expedia、Cisco、Hitachi等。

此外，Robust Intelligence还与多家科技大牛有着产品和技术上的合作，包括Databricks、Datadog、MITRE等。这一部分合作成为了Robust Intelligence可以为客户提供工具集成和全流程观测的重要助力。

团队情况

Robust Intelligence的创始团队具有极强的学术背景。其CEO Yaron Singer曾任哈佛大学计算机科学和应用数学教授。Yaron因其在机器学习、算法和优化方面的突破性成果而闻名。在进入哈佛大学之前，Yaron曾在谷歌研究院工作，并获得了加州大学伯克利分校的博士学位。

此外，公司的联合创始人Kojin Oshiba则是Yaron的学生，同样拥有哈佛大学计算机科学和统计学学士学位。在创立公司之前，Kojin是QuantCo公司的机器学习工程师，也是其日本分公司的联合创始人之一，他还撰写了多篇关于鲁棒机器学习的论文。

融资情况

Robust Intelligence共进行过三轮融资，累计融资4400万美元，在公司的投资者中，不乏如红杉资本、Tiger这样的头部VC。公司的最新一轮融资为2021年12月，此轮融资共获得资金3000万美元