近期,美国国家标准与技术研究院(NIST)公布了有工业界黄金标准之称的全球人脸识别算法测试(FRVT)结果,排名前五的算法被中国包揽,冠军算法的成绩已经达到千万分之一误报下的识别准确率超过99%。

然而,全球人脸识别算法测试(FRVT)终归是一个比赛,就像去参加一场奥数竞赛,有一定天赋的人加上后天的训练,就有可能取得好的成绩。在实际生产、生活环境中,人脸识别还面临着诸多干扰因素,比如光线、遮挡、表情等,举个例子,大太阳底下的你,可能无法用脸“刷”开手机(光线);带了口罩的你,几乎无法用脸给手机解锁(遮挡);大笑的你,也可能用脸解不开手机的“锁”(表情)。

能解决掉上述这些干扰因素,就是一款好的人脸识别系统或产品?其实不然,这些因素是外在的干扰,更像是考试里的附加题,并不能作为一个评价产品质量的绝对指标。那么,什么才是评价人脸识别系统好坏的指标呢。首先,要说说人脸识别的应用场景。现如今,人脸识别主要用在“1:1”和“1:N”两种场景下:所谓“1:1”,就是识别“你是你”;所谓“1:N”,就是识别“你是谁”。“1:1”场景常见的应用有人证核验、刷脸支付、刷脸解锁等;“1:N”场景常见的应用有人脸识别闸机、智能安防、客户识别等等。

搞清楚人脸识别的应用,在实际产品采购和交付时,供需双方还是会存在诸多困扰和问题。需求方的困扰可能是“我说‘人脸识别’,是你说的‘人脸识别’吗”、“我有需求,但我不了解如何评价一个人脸识别系统”、“他们宣传的功能和性能可信吗”;而供应方可能也存在同样的问题,“我生产的‘人脸识别’产品,是你要的那个‘人脸识别’吗”、“我怎么证明我的产品靠谱”、“你们想了解哪些功能和指标”。

中国人工智能产业发展联盟(以下简称“联盟”或“AIIA”)是在国家发展改革委、科技部、工信部、中央网信办四部委指导下的行业组织,成立于2017年10月,现已经拥有近400家成员单位。作为人工智能产业的领军组织,联盟评估认证工作组已经开展了大量研究,围绕市面上日渐增多的“人脸识别闸机”、“人证核验系统”开展了评估规范的编制工作,并已经定稿。这些评估规范由中国信息通信研究院、深醒科技、中科博宏、云从、易启科技、旷视、微软等单位主导编写,百度、腾讯、中国移动、中国联通、中国电信、360、依图等单位参与讨论,凝结了国内外人工智能领域专家的集体智慧。

评估规范在给供需双方建立“统一语境”的同时,也规定了相关人脸识别系统或产品的指标要求和评估方法,主要包括基本信息披露、系统成熟度评估两大方面,涉及人脸注册失败率enrollment failure rate(EFR)、正确识别率correct recognition rate(CRR)、错误接受率false acceptance rate(FAR)、错误拒绝率false rejection rate(FRR)、人脸识别平均响应时间face recognition average response time、欺骗接受率deceptive acceptance rate(DAR)、活体检测liveness detection等诸多核心指标,以及评价与产品特性相关的功能、性能、安全指标。基于人脸识别的人证核验系统评估规范的目录见下图。

图:基于人脸识别的人证核验系统评估规范目录

近期,中国人工智能产业发展联盟将就“基于人脸识别的闸机系统”、“基于人脸识别的人证核验系统”开展评估测试,不仅将为被测产品提供测试报告,还将为通过测试要求的产品颁发相应证书。我们相信,这次评估不仅仅是一次简单的考试,更是让人脸识别产品供应方脱颖而出的好机会。而本次评估测试的结果,也将成为需求方采购一款人脸识别系统或产品的重要参考。

AIIA“基于人脸识别的闸机系统”、“基于人脸识别的人证核验系统”评测咨询:

颜媚,18811793158,
       yanmei@caict.ac.cn;
石霖,13581563677,
       shilin1@caict.ac.cn。

 

声明:本文来自人工智能产业发展联盟AIIA,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如需转载,请联系原作者获取授权。