今天的文章与旧文有关,相关旧文导读

安全对人工智能的需求 — 从机器学习到机器创造

对深度学习的降维攻击 — 人工智能系统数据流中的安全风险

深度学习框架中的魔鬼——探究人工智能系统中的安全问题

“你为什么要和人工智能对着干? 你们安全人员为什么不能拥抱人工智能? 能不能不吓唬人?”

我们发布深度学习系统中的威胁和攻击演示后,这是一个出乎意料,但又常被问到的问题。

当时我脑海闪过的是电影《终结者 I》中的场景:莎拉康纳被凶猛的T800追杀。施瓦辛格扮演的T800 智能机器人不仅仅有人脸识别技术,还有地图和大数据信息,而且还基本上打不死。 这是人工智能追杀人类的经典例子。 在电影世界里,康纳需要对抗人工智能(The Terminator),甚至复制人都需要抵抗智能的银翼杀手(BladeRunner)…  对抗人工智能一直是我们对未来生活想象的一部分,而且一直是正义的需求。

跟PR打过几次交道的我,决定先把回答咽到肚子里。

这个问题需要写文字来回答。

1. 为什么要对抗人工智能

关于为什么要研究人工智能系统里的安全问题,我们在 ISC 2017 大会的时候给过一个冠冕堂皇的回答 —— “因为黑产在用人工智能”。

当深度学习作为一种日益大众化的技术手段,对技术采用的门槛自然会降低,所以人工智能技术不仅仅可以推动自动驾驶,人脸识别,也可以被用来刷帖和破解图片验证码,甚至会被用来收集特定目标信息,精准钓鱼攻击用户,包括你和我。 对行之有效的技术,黑产肯花钱,而且往往出的价钱超过互联网公司对相应技术的投入。 攻防有太多的不对称,这里不再赘述。

用个极端的例子,比如用无人机带着微型炸药来追杀你,它有你过去的行踪轨迹,并会在引爆之前对目标进行人脸识别。 要不要对抗? 这不是科幻,这是2017年已经被展示过的现实。

当你被人工智能追杀的是时候,对抗人工智能是生存的需求。从这个角度看,在网络空间中,安全人员研究人工智能的安全问题是名正言顺的,

2. 对抗人工智能的另一个原因

聊完科幻之后,我们看看现实。 如果你被“杀人无人机”吓到的话,现实其实并没有那么可怕。

作为一个安全人员,我看到的情况挺拧巴的。

一方面我们总听到神一样的深度学习算法,它催发了大量新型应用,从人脸识别到自动驾驶。 各种应用, 从手机登录到移动支付,谁家不添加一个人工智能功能,谁好像就被留在石器时代了。

另一方面,安全圈里经常看到的是类似 “某平台人脸识别惊现重大漏洞” 这样的新闻,或者安全人员用两张纸就可以绕过人脸识别登录, 还有用胶带和导电笔可以破解指纹识别的。 用360团队的例子 — 安全人员可以让著名的图片识别程序把羊的图片认成狼,或者把狼认成羊。 被测试目标程序使用的是谷歌团队的深度学习模型加上 ImageNet 中最强大的数据!

在这个矛盾的世界里,当深度学习浪潮让众多年轻人冲到人工智能这块工地上搬砖的时候,我觉得安全研究人员有义务提醒大家:别忘带安全帽。 人工智能技术也许可以把一个应用加速建成一座美妙的楼阁, 但安全也是应用的一个基石,否则高空作业的同学可能需要配备降落伞。

所以研究对抗人工智能技术也是研究一种保护手段,避免一个顶着人工智能光环的应用被用户轻易愚弄。

3. 风险的源头

为什么会出现智能系统很弱智地被轻易破解或绕过? 难道我们不应该拥抱深度学习引领的这场技术革命吗?

说一个自己的亲身经历: 最近有机会和一个顶级人工智能专家交流 — 顶级是指在ImageNet夺冠N次这个级别的人工智能专家。 当我们展示用降维攻击导致深度学习系统识别出错的时候,人工智能专家立刻反应说:“这不是我们人工智能的错”。 同样,当我们告知一个著名深度学习框架作者,框架的数据处理层有bug,  因为没有对一个库调用做返回值检查, 回答是:“这个库应该确保返回值正常,不是我们的错”。

作为搞安全的老司机,这些回答我不吃惊,而且听起来特别熟悉。

你跟一个搞数据库的讲说他们的软件有SQL注入漏洞,回答往往是 — “这不是我们搞数据库的问题”; 你跟一个服务端开发人员说他写的软件有控制流劫持漏洞,回答是 — “我们客户端(浏览器)做了输入限制,你提供的输入是不可能的,这不是我们的错。”

安全人员听着耳熟吧? 回答没毛病。

可是安全漏洞摆在那里,非要到展示PoC 或 到黑产窃取了用户信息被曝光之后才是毛病?

用两张纸就可以绕过的人脸识别没毛病吗?如果自动驾驶是在这种氛围里开发的,我们该不该上车?

一个算法在实验环境中,在众多假设条件下有精彩的结果当然是好事情。 但做一个被广大用户所使用的应用会遇到很多挑战。 所以在新的应用发布的时候,请不要只看到搞图像语音识别的同学在前台意气风发,大谈人工智能; 你很可能需要抚慰一下在后面灰着脸搭系统和做实现的同学。

4. 如何对抗人工智能

回答了为什么做反人工智能研究,接下来是更复杂的问题 — 如何对抗人工智能。 如果看看2017年的媒体报道,人工智能就如神一样的存在。 弱点在哪里呢?

先从著名的例子开刀。 “你怎么对抗AlphaGo?”,这是一位业界领袖丢给我的一个问题。 AlphaGo碾压人类棋手,如果追杀你的无人机有AlphaGo级别的人工智能,你怎么应对?

如果你作为读者看到这里,仍然把人工智能算法想成神?那在 AlphaGo 面前,你只有束手就擒!

AlphaGo有自己的弱点。

你不信吗? 这个在 AlphaGo 团队的采访里就有答案。

在与李世石对决的比赛里,作为”AlphaGo手臂“的黄士杰最担心的就是自己投错子。 之所以我们无法对抗人工智能,是因为我们的讨论是把它放在一个抽象的环境中,输入和输出都是完美的。如果说黄士杰可以被攻击的话,比如让他看错棋盘落错子,AlphaGo就不再是坚不可摧。

讲到这里,我学生的反应是,“李康老师,你这个不算。哪里有下棋攻击人的 。。。“

不可以吗?

海豚音攻击针对的是智能语音系统的麦克风,对特斯拉的第一个攻击是让摄像头致盲,发射欺骗信号给毫米波雷达。安全世界里这样的攻击数不胜数。

神一样的深度学习要求所有输入都符合一定格式,如果这样可以号称人工智能,那么当“杀人无人机”在头顶盘旋的时候,对它的传感器,摄像头进行对抗攻击不应该很合理吗?

5. 对抗人工智能的方法是把它从神坛上请下来

对抗人工智能的方法是将它从神坛上请下来,给它赋予任何实际应用所需要的血肉之躯。对于人工智能来讲,就是要考虑全系统,包括数据采集,传感器实现,数据处理,以及软件如何与用户打交道等每一个环节。

当我们不再把人工智能应用看成一个抽象的算法,而是作为一个系统来看,我们才能全面讨论它的安全威胁,以及对抗人工智能的方法。这里我只简单介绍几个深度学习算法之外的威胁。

除了刚才提到的对输入输出子系统的攻击,或者对传感器的攻击,还有对系统软件供应链的攻击,包括模型的来源,软件开发环境的安全,机器学习培训数据的安全,数据流处理过程的安全。 参考最近爆出的CPU漏洞,系统硬件的设计实现,以及硬件供应链,任何一个环节都可能引入安全风险。

研究这些风险,从防守的角度,就是如何排除这些风险,从而保护人工智能系统,比如确保自动驾驶系统的安全。 从攻击的角度,就是如何对抗人工智能,例如如何规避无人机的追踪。 在这个后者的角度,人工智能系统越强大,对规避和对抗研究的需求就越强。

施瓦辛格样子的T800 今天也许仍然是想象,但好像离我们也不太远。

参考文献

【1】 某支付平台“人脸识别”惊现重大漏洞  http://www.mpaypass.com.cn/news/201801/16203343.html

【2】 对深度学习的降维攻击 http://www.360zhijia.com/360anquanke/341007.html

【3】 用隐形眼镜和打印机破解三星虹膜识别 https://www.leiphone.com/news/201705/oPlrziXF35KBDNkU.html

【4】两张A4纸破解虹膜人脸识别 http://www.sohu.com/a/200560466_99938933

声明:本文来自CTF黑客呓语,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。