前情回顾·RSAC2026动态

安全内参3月25日消息，在AI部署过程中，是否必须让“人在回路中”，还是人类反而会拖慢进程？

这是RSAC 2026大会上一场小组讨论的核心议题。来自谷歌云、沃达丰和贝宝的安全高管探讨了不断演进的AI应用场景，以及如何在各自环境中安全部署AI。

在名为《从威胁到战略：首席信息安全官的AI革命行动手册》的小组讨论中，知名记者James Rundle向这三家巨头企业的CISO提问：安全领导者应如何最佳地适应新的AI格局。谷歌云首席运营官兼安全产品总裁Francis deSouza、沃达丰全球首席信息安全官Emma Smith及贝宝高级副总裁兼首席信息安全官Shaun Khalfan在列，三位嘉宾还讨论了人类在AI驱动安全中的角色。

三家巨头均大量使用AI开展安全工作

尽管“AI革命”旨在解决诸多问题，但由大模型驱动的安全产品在引入的同时，也给安全态势带来了新的问题，或加剧了既有问题。

由于保护AI工具需要极高的安全标准，否则可能因提示词注入而泄露敏感企业文档等信息，AI供应商与客户之间的数据共享安全模型依然相当混乱。安全组织之外的AI进展，例如氛围编程，也带来了新的挑战。如果缺乏适当的人类参与，组织可能过度依赖AI生成代码，从而使首席信息安全官的工作更加复杂。同时有研究显示，许多组织在其AI安全部署方面尚未取得成功。

谷歌在AI领域的实力毋庸置疑，其50%的代码是在开发人员辅助下由AI生成的。沃达丰的安全分析人员正在利用AI自动化多种工作流程，并执行其他任务，例如为技术主题撰写面向董事会高管的摘要。贝宝正在利用AI帮助检测其每月10亿笔交易中的欺诈行为。

Smith表示，沃达丰在意识到自身发展速度落后于AI所带来的提升后，开始推进AI应用，并得出结论：只有由领导层自上而下推动，才能实现AI的正确整合。也就是说，所有人都需要在如何以安全、合乎伦理且负责任的方式实施AI技术方面达成共识。

沃达丰采用了集中式的机器学习平台方案AI Booster，该平台包含一个可复用的中央代码库，使其能够借助预训练模型和定制工具快速部署成熟的应用场景，并对这些流程在业务层面的成效进行跟踪。

Smith表示，沃达丰这样做部分出于业务考量，例如用于跟踪不同项目的价值，同时也为其隐私工程团队提供了一个框架，以便对每个应用场景进行干预，并确保配置了适当的防护措施。

“人在回路上” vs “人在回路中”

在讨论“人在回路中”这一概念时，出现了一个争议很大的观点，即AI工具是否应在部分环节甚至所有环节中引入人类，以确保大模型输出的准确性。

deSouza表示，尽管人类仍是流程的一部分，但以人为主导的防御往往过于缓慢，难以阻止例如由智能体发起的网络攻击。因此，谷歌正转向以智能体主导的防御方式。

Smith对此表示认同：“我完全同意。如果从传统安全控制的角度来看，‘人在回路中’是不可扩展的。那些依赖人类行为的控制，恰恰是我们最不依赖的。”她说，“坦率地说，我们更依赖技术性、自动化且能够随着时间推移不断验证的控制。从长期来看，尤其是在大规模运营环境中，‘人在回路中’并不是解决方案。我还担心，这会让处于回路中的人类承担大量枯燥的工作。”

Smith表示，相比之下，组织应思考如何让人类处于“回路上”，从AI中获取洞察，而不是对这些工具进行控制或监督，因为这种方式本身无法扩展。

她还表示，沃达丰已经构建了一张热力图，用于评估AI结果的置信度以及潜在风险。对于风险影响极高的应用场景，除非具备显著的业务收益，否则沃达丰可能不会采用；而一旦采用，则一定会引入“人在回路中”。

数据安全与协作的重要性

Khalfan强调，应为所有工作建立一层数据安全保护机制。尽管贝宝认可AI工具在工程和技术方面的优势，但他补充说，“同样重要的是为其配套风险与合规框架”。

他说：“当我们思考AI的核心原则时，关键在于数据与安全，同时也包括隐私、透明性和可解释性。当这些原则贯穿于所有工作之中时，它们能够帮助我们在各项努力中保持稳定的基准。”

例如，贝宝的AI模型团队会依据数据敏感性对模型进行分级，明确使用场景，并确定需要部署的控制措施，以保护其中存储的敏感数据。这些控制措施旨在防止模型被篡改以及受到提示词注入攻击。同时，这也意味着需要考虑AI智能体所涉及的多种身份。

Khalfan表示，这还包括与更广泛生态系统的合作，例如安全AI联盟（CoSAI）。这是一个面向全行业的倡议，旨在促进各方协作，并确保AI部署更加安全。该组织围绕多种不同工作流程，提供了大量白皮书和相关文档。

Sophos政府合作及反威胁部门负责人Alexandra Rose在接受外媒Dark Reading采访时表示，安全的AI部署在于鼓励好奇心与创新，同时确保安全。

她表示：“我认为重要的一点是，安全不应成为一个只会说‘不’的领域。关键在于我们如何实现‘可以’，以及如何在确保受到保护的前提下实现‘可以’。”

参考资料：https://www.darkreading.com/application-security/cisos-debate-human-role-ai-powered-security

声明：本文来自安全内参，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。