移动支付网（作者 邓泳）讯，“千里之堤溃于蚁穴。”一些人眼无法感知的图像扰动噪声就如同小小蚁穴，将这些噪声扰动叠加到人脸图像上得到的人脸对抗样本，能让所谓技术成熟的人脸识别系统做出错误的识别。现如今，人脸识别技术如同“千里之堤”般被广泛地应用到了金融领域，但人脸对抗样本这小小“蚁穴”已足以引发“溃堤之险”，因此有必要对人脸对抗样本攻防技术对金融领域人脸识别系统的影响进行分析和因应。
01 对抗样本是为何物？
设想一个场景，假如你的人脸出现在一张照片图像中，图像中的你看上去似乎毫无异样，但对这张图像进行人脸识别时，却把你识别成了其他人。其实以上所述并不是设想，而是2019年CVPR论文《针对人脸识别系统的高效黑盒对抗攻击算法》的研究成果。
论文中提到的对抗攻击算法，是对图像添加一定的对抗扰动，得到的图像被称为对抗样本，可以使基于图像的分类模型将图像识别成错误的类别。当对抗攻击的对象特定为人脸识别模型时，则将此类对抗样本称为人脸对抗样本，它能够让人脸识别模型在进行身份识别时做出错误的识别。
对抗样本像是人工智能模型的bug，因为它让人工智能模型“出了错”。但是也有研究认为对抗样本不是bug，而是数据的一种特征，这种特征人眼几乎无法感知，但是人工智能模型却对这种特征非常敏感。利用对这种特征的敏感性，别有用心者就可以发起一些人眼无法察觉、又能让人工智能模型做出谬以千里的错误决定的致命攻击。
若要问对抗样本究竟为何物，不妨在这里“哲学”一下。在思考“我们是什么？”这个哲学问题的时候，会把问题拆解为“我们从哪里来，我们要到哪去？”。因此，“对抗样本为何物”这个问题，可以分解为“对抗样本从哪里来，又要到哪里去？”。
1.1 对抗样本从哪里来？
对抗样本最早于2014年被发现，并且发现多种不同结构的机器学习模型都会被对抗样本影响，这表明对抗样本并不是一种个别现象。一开始，很多人认为产生对抗样本的原因在于模型的高度非线性，但《Explaining and Harnessing Adversarial Example》则证明高维空间的线性行为足以形成对抗样本。
1.2 对抗样本到哪里去？
对抗样本的攻击目标就好比是它的目的地，而且它的目的地并非只有一个。
当攻击目标和攻击的介质有关，根据攻击介质的不同，可以分为基于图像的攻击和物理攻击。其中，基于图像的攻击指的是对图像添加对抗扰动，主要改变的是图像的像素值；物理攻击方式则指的是将通过训练生成的对抗扰动通过一些技术变为实物，人们穿戴该实物之后使人脸识别系统将其识别成其他人。显然，图像攻击由于条件可控，成功率很高；而物理攻击方式的不可控因素过多，所以现在成功实施物理攻击的案例比较少。
根据攻击有无目标人物，可以分为定向攻击（Targeted Attack）和非定向攻击（Untargeted Attack）。定向攻击使模型将对抗样本预测为指定标签（即目标人物的标签）；非定向攻击则使模型将对抗样本预测为非正确标签，即得到的是与原图像的标签不同的其他标签。
根据攻击者对目标模型的了解程度，可以分为白盒攻击（White-box Attack），灰盒攻击（Gray-box Attack），及黑盒攻击（Black-box Attack）。白盒攻击中攻击者掌握模型的所有参数信息、训练阶段的输入以及标签；灰盒攻击中攻击者只了解模型的一部分信息例如训练标签，可训练代替模型以估算数据；黑盒攻击中攻击者对模型结构、参数等一无所知，只能通过输出与模型进行交互。
02 “千里之堤”暗藏“蚁穴”何物？
人脸识别技术能够如“千里之堤”般地被广泛应用，得益于深度学习技术在计算机视觉、图像处理等领域的迅猛发展，大大提升了人脸识别模型的性能。
但是这“千里之堤”中，正暗藏着容易被人忽视的“蚁穴”。目前大多数人脸识别模型的开发者、运营者和使用者更关注人脸识别模型的识别性能，例如识别率、无视率这样的数值指标，容易忽视人脸识别模型自身所存在的安全问题，而对抗样本攻击的产生正是来自于深度学习模型内部结构的高维线性所导致的扰动累加，最终导致深度学习模型输出错误的结果。
2.1 工欲善其事，必先利其器
要想找到人脸识别系统中暗藏的“蚁穴”，就得先了解人脸识别系统的构成。
人脸识别技术正被广泛地应用在金融领域线上业务的身份验证场景，通过采集客户的人脸图像或视频，验证该用户是否为“真人”和“本人”。基于身份验证场景，对人脸识别系统进行粗略地划分，可以分为三个主要组成部分：摄像头、交互活体检测和人脸识别模块，如图1所示。
图1 金融领域的人脸识别系统的主要组成部分
首先，由摄像头采集用户人脸图像或视频。其次，交互活体检测模块通过检测图像或视频中的用户是否完成相关交互指令，来判断用户是否为“真人”。最后，当交互活体检测模块判断用户为“真人”后，再由人脸识别模块完成人脸比对和人脸识别任务，判断用户是否为“本人”。
2.2 “千里之堤”中的“蚁穴”藏于何处？
了解了人脸识别系统的构成，就可以来深挖暗藏其中的“蚁穴”。
首先从人脸对抗样本攻击的形式说起，因为不同的攻击形式其“藏身之处”也会不同。人脸对抗样本攻击的形式主要分为两种，数字图象的对抗攻击和物理形式的对抗攻击。
图2 人脸对抗样本的攻击环节
如图2所示，数字对抗样本攻击藏身于交互活体检测和人脸识别模块的数据传输通道中，主要通过数据包劫持，将通过交互活体检测的真实人脸图像替换为数字人脸对抗样本图像，从而直接攻击人脸识别模块，使其做出错误的身份识别。
物理对抗样本攻击则在摄像头前发起。攻击者佩戴实物化的对抗样本道具出现在设备的摄像头前，此时设备摄像头仍可以正常采集图像。因为实物化的对抗样本道具，如眼镜、帽子，都会被认为是正常的人脸属性，不会被检测为异常，并且不影响攻击者完成交互动作，因此可以正常通过交互活体检测，最后让人脸识别模块得出错误的身份识别结果。
03 “蚁穴”虽小，不可不防
就在今年年初，一家科技公司利用人脸对抗样本技术，生成了眼部的干扰图像，并将其打印出来贴在眼镜的框架上。当攻击者戴上这个眼镜之后，就能破解受害者的安卓手机人脸识别解锁，且被攻破的安卓手机达19款之多，覆盖了目前国内份额前五的国产手机品牌。同样被攻破的还有十余款金融和政务类App。
由此可见，人脸对抗样本攻击攻破人脸识别系统已不是个别案例。通过迁移学习的方法，人脸对抗样本不仅能够攻击手机解锁，还能攻击各类基于人脸识别登陆的金融账户，例如手机银行账户、基于人脸识别的ATM取款机等，造成账户信息泄露和财产损失。
3.1 小小“蚁穴”，足以溃堤
对于人脸对抗样本攻击，在数字对抗攻击方面，可以采取传输加密等方式对数据包劫持进行防御，因此能较为有效地防御数字对抗攻击。
但是在物理对抗攻击方面，攻击者只是佩戴了相应道具并在摄像头前进行呈现，呈现方式与物理介质攻击类似，不同的是物理对抗攻击的道具一般为眼镜、贴于人脸面部的小块纸片或眼影纹身等，这些道具通常被认为是正常的人脸属性，不会被检测为异常，也不影响攻击者完成交互动作，从而能够正常通过交互活体检测，同时还能让人脸识别模块做出错误的身份识别，造成用户个人信息的泄露和财产损失。利用这些泄露的个人信息，再结合人脸对抗样本，攻击者又可以进行线上开户、优惠补贴冒领、注册空壳公司等业务的办理，造成影响范围更大、程度更深的危害。因此，小小“蚁穴”，不可不防。
3.2 如何防御对抗样本的攻击？
针对人脸对抗样本攻击的防御技术主要分为两类：完全防御技术和检测防御技术。
（1）完全防御技术
完全防御技术的作用域在图1中的人脸识别模块，它使得防御后的人脸识别模块能够将对人脸抗样本做出正确的识别，可以无视对抗样本的干扰。主要方法有算法鲁棒性增强、梯度掩码、预处理等。人脸识别模块中的核心部件是人脸识别模型，人脸比对和人脸识别任务也主要由人脸识别模型来完成，算法鲁棒性增强法能够使训练出的人脸识别模型具有针对人脸对抗样本的鲁棒性和泛化能力。具体方法包括对抗训练、知识蒸馏和集成梯度等。
梯度掩码法是通过隐藏人脸识别模型训练中的梯度信息，从而使得攻击算法很难通过梯度求解的方法攻击模型，达到抵御对抗攻击的效果。
预处理方法作用于人脸识别模型之前。首先通过一些图像处理方法，例如滤波去噪、图像压缩等，去除或减弱人脸对抗样本中的对抗扰动。然后，再将处理完的图像送入人脸识别模型中进行人脸比对和识别。
（2）检测防御技术
检测防御技术的思想是识别出输入图像是否为人脸对抗样本，当检测为人脸对抗样本，则终止人脸识别业务并报出终止原因。检测防御技术在人脸识别系统中的作用可以与图1中的交互活体检测并行，只有当两种检测都通过之后，业务流程才会进入到人脸识别模块中。
典型的对抗样本检测包括有监督的发现方法与无监督的发现方法。有监督方法需要生产大量的人脸对抗样本，对数据进行标注后形成训练数据集，然后再进行有监督的训练，从而得到一个人脸对抗样本分类器，能够区分哪些图像是对抗样本，哪些是正常人脸图像。
无监督方法则是通过距离度量、最近邻分类和主成分分析等方法来发现人脸对抗样本。
3.3 固堤之路，任重道远
目前，金融领域的人脸识别系统主要应用于身份验证场景。例如在银行业，线上开户、业务办理、支付转账和金融账户登陆等业务场景中，都使用了人脸识别技术作为身份验证的辅助手段，因此成为了被攻击的重灾区。针对人脸识别系统的安全加固一直在进行，在不断提升对既有攻击方式防御能力的同时，又出现了例如人脸对抗样本攻击这种新型的攻击方式，并且它与以往针对人脸识别系统的攻击形式也有所不同，需要研究新的防御方法以“对症下药”。因此，提升人脸识别安全的“固堤之路”，任重且道远。
但是，目前国内的企业和研究机构对人脸对抗样本的研究和产出还不多，主要工作为发布了相关识别检测产品/工具和数据集，以及举办人脸对抗样本攻防的相关竞赛。
对于对抗样本的相关研究逐步涌现，国内有关人脸识别安全方面的标准陆续发布出台，但仍未形成对人脸识别应用的对抗样本攻击检测技术的要求和规范。
在相关检测和测试标准方面，ISO/IEC JTC 1/SC 37（生物特征识别分技术委员会）已发布了共计 121 项标准，涵盖了指纹、人脸、虹膜、静脉、数字签名、声纹等模态，形成了较为完备的标准体系，但关于人脸识别系统的对抗样本攻击检测的相关标准还尚未制定或公布。
随着人脸对抗样本攻防技术的研究不断深入，相关技术的发展正趋向于稳定。因此，对于人脸对抗样本攻防技术，人脸识别系统的开发者、运营者、使用者需要关注以下两点：1、人脸对抗样本攻防技术水平呈现螺旋上升的趋势，在对现有攻防技术进行研究的同时，也要持续关注新型攻防技术的发展；2、需要学术界和产业界携手制定、完善相关标准和测试方法指引，帮助人脸识别系统的开发者、运营者、使用者及时提升防御人脸对抗样本攻击的能力，从而规避或减少因对抗攻击造成的人脸识别安全事件。
作者系中国工商银行软件开发中心 邓泳
声明：本文来自银行科技研究社，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
