《MIT 科技评论》全球十大突破性技术之一，蚂蚁金服刷脸支付的算法和难点

《麻省理工科技评论》发布了 2017 年全球十大突破性技术榜单，其中刷脸支付上榜。“在中国，人脸识别系统现在应用于授权支付、设备访问以及罪犯追踪。”该项技术被认为是在“成熟期”。而蚂蚁金服被列举为三家主要公司其中的一家。

背景

蚂蚁金服以世界领先的人脸比对算法为基础，研发了交互式人脸活体采集与识别技术和图像脱敏技术，并通过蚂蚁金融云实现高并发和高可靠性的系统安全架构，以此为依托的人脸验证核身产品已经成功产品化，在支付宝等和网商银行等身份验证场景广泛应用。在最新的测试报告中，该技术人脸识别准确率已达 99.6%，再配合眼纹等多因子验证，准确率为 99.99%，远超肉眼识别 97% 的准确率。

自支付宝引入人脸识别技术后，在用户登录、实名认证、找回密码、商家审核、支付风险校验等场景，该技术作为主要身份验证方式全面应用，自 2015 年底上线至今已服务超过 1.5 亿用户。与传统基于密码等身份验证方法相对比，人脸识别技术在安全性、可靠性、识别性能和用户体验方面的都得到了大幅提升，对实现互联网金融场景下具有现实意义。

针对蚂蚁金服的人脸识别技术，InfoQ 采访了蚂蚁金服生物识别技术负责人陈继东。

陈继东博士现任蚂蚁金融服务集团全球核身平台部总监和资深专家，负责生物识别技术研发与应用。带领团队将人脸识别技术在网商银行和支付宝等金融场景成功上线并大规模商业应用，使蚂蚁金服在生物识别智能技术及应用方面保持世界领先。陈继东曾任人人游戏大数据研究中心首席数据科学家，EMC 中国研究院大数据实验室主任。

《麻省理工科技评论》发布了 2017 年全球突破性技术榜单，其中刷脸支付上榜，而蚂蚁金服是这一技术的代表性公司。作为蚂蚁金服生物识别技术的负责人，请问您对这件事有什么看法？这是否也意味着中国的人脸识别技术在世界范围内都处于领先地位？

综合来看，该榜单描述是比较准确的。上榜的突破性技术是刷脸支付，而不是人脸识别。对突破的定义是“给人们带来高质量的科技解决方案”。所以，它不只在于技术本身，更是在强调应用场景，如何应用技术来改变人们生活。强调技术的应用也正好是蚂蚁金服技术研发的定位。除了技术本身之外，我们更看重技术的应用如何带给人们平等的金融服务。身份识别和身份验证是所有金融服务的基础，因此基于人脸识别的在线身份验证对数字普惠金融服务起到很重要的作用。

以人脸识别为代表的计算机视觉技术在过去几年取得了很大进展，主要得益于深度学习技术的深入应用、计算能力的增强以及海量数据的爆发。但是人脸识别技术是近两年才开始真正的全面商用，刷脸认证和刷脸支付也正处于刚起步的阶段，还有很多新的场景可以应用。

2016 年云栖大会上，蚂蚁金服展区开张了一家“未来咖啡馆”，客人对着摄像头刷刷脸，就能完成支付。据悉，刷脸支付很快就将落地真实场景。

在人脸识别研究领域，一批杰出的华人研究学者是推动技术不断发展的重要力量，可以说在世界范围内，中国的人脸识别技术不管是技术还是应用都处于领先地位。刷脸支付由蚂蚁金服与中国人脸识别技术公司 Face++ 合作研发，在人脸识别核心比对算法的基础上，蚂蚁金服开发了具有专利的活体检测技术，并结合其基于金融云的风控防攻击安全策略等多个维度的核心技术，能够提供金融级的准确度和安全性。

您可以聊聊这几年蚂蚁金服在人脸识别领域的投入和发展吗？在整个人脸识别领域中，处于什么样的位置？

蚂蚁金服几年前就开始在人脸识别领域投入资金和人才，同时也在其他生物特征识别技术研发方面有持续投入，生物识别技术已成为蚂蚁金服技术体系和安全风控体系中的重要组成部分。蚂蚁金服从 2015 年开始将人脸识别技术应用于支付宝用户登录、实名认证、找回密码、支付风险校验等场景，迄今已有超过 1.5 亿用户使用，据我们所知，这是目前国内外用户量和访问量最大的人脸识别系统，更是在金融领域全球范围内第一家大规模商用的在线系统。

蚂蚁金服的人脸识别技术

人脸识别常用的算法模型您能不能简单介绍一下？蚂蚁金服又采用了什么样的算法策略呢？

通常大家说的人脸识别是指人脸比对算法，又分为 1:1 比对（verification）和 1:N 识别（identification），其算法核心是让机器自动判断不同人脸图片之间的相似度。人脸识别系统的研究始于 20 世纪 60 年代，80 年代后随着计算机技术和光学成像技术的发展得到提高，在这一技术发展过程中涉及到的算法模型既有基于人脸局部特征点的识别模型，也有基于全局特征变换或几何特征的识别模型，还有基于 2D 或 3D 模板建模的识别模型。目前人脸识别技术已经全面转向了基于卷积神经网络（CNN）的识别模型。

除了识别模型的准确性之外，人脸识别还有一个重要环节就是活体检测，也就是确保机器要识别的人脸图片是来自一个活体人脸，而不是照片、视频或面具等伪造的人脸，因此活体检测技术也是人脸识别成功应用的关键。活体检测涉及的算法也非常多，同时又与传感器技术关系非常紧密，比如指纹识别可以通过电容 / 电感传感器检测活体，虹膜识别可以通过红外摄像头检测活体。由于红外摄像头在在智能手机上的普及率还很低，目前活体人脸检测技术主要依赖一系列软件算法，包括基于动作交互的识别模型，以及基于图像分析的识别模型等。

蚂蚁金服在人脸识别和活体检测两方面都在同步推进，也同时在研发如眼纹识别和声纹识别等用于增强人脸识别的多因子生物特征识别技术。此外还基于大数据分析技术研发基于用户行为和不同场景的智能识别模型，从而形成一整套完备的身份识别解决方案

您能介绍下支付宝刷脸支付服务的人脸识别请求并发量峰值能达到多大？单日请求数能到什么数量级？蚂蚁金服又是使用什么样的技术架构做业务支撑的呢？

金融级人脸识别的技术要求和难点，我们总结以下几点：

1. 高安全性：人脸活体检测技术（防止照片伪造、视频、面具以及专业软件工具等攻击）
2. 高准确率：极低误识率下（<0.001%）的高识别通过率（90% 以上）
3. 高可用性：海量并发人脸比对服务（tps="">1000）
4. 高实时性：人脸比对结果实时返回（响应时间 <100ms）

支付宝的人脸识别，除了达到金融级的准确度和安全级别外，还需要极高的稳定性、可靠性和极低的实时响应。我们基于蚂蚁金融云的基础架构，实现了高可用、动态扩展的服务框架体系，来保证刷脸服务能够满足双十一、新春红包等高并发峰值要求。

蚂蚁金服是如何做数据回流的可以跟我们介绍一下吗？

数据回流确实是改进算法识别精度以及提高产品用户体验的有效手段，我们在严格遵守蚂蚁金服数据安全和隐私保护等相关规范的前提下，通过记录用户刷脸过程中的一些关键参数信息（如光照、距离、角度、时长等）来验证和分析人脸识别在各种真实环境下的鲁棒性，再基于这种实际场景下的分析结果进一步对算法和产品进行针对性改进，做到完全数据驱动的产品开发和优化闭环。

人脸识别的难点所在

能否介绍一下蚂蚁金服的人脸识别底库数据量级，单次从人脸检测到返回比对结果的耗时，以及人脸识别的准确率？准确率的适用范围？准确率是只针对汉族而言，还是所有种族（少数民族、白人、黑人）？在不同种族的人脸识别范畴，是否有什么难点？如何解决？

蚂蚁金服刷脸服务目前只针对中国大陆公民的支付宝实名用户。截止到目前，支付宝全部 4.5 亿实名用户中已经有三分之一使用过刷脸服务登录账户，实名认证，找回密码，或者在高风险交易中进行身份验证。人脸识别全流程（以刷脸登录为例）的通过率在 95% 以上（其中没通过的用户中还包括很大比例的主动退出）。不同种族的人脸具有更大的多样性，会给人脸识别系统的准确性带来挑战，但是目前基于深度学习的识别模型已具备处理海量数据的可能，如果能不断对不同种族的人脸数据持续训练和学习，这一问题也能很好的解决。

您能分别谈一谈人脸检测、活体检测、图像脱敏、人脸比对这几个方面当下的发展和难点么？对于配戴眼镜、口罩、面具，或者手持照片、视频刷脸的行为，如何处理？

人脸检测：人脸检测算法是目前最成熟的人脸识别技术分支，准确性和轻量化都已满足商用，除了能作为后台服务使用，也广泛应用在智能手机、数码相机等前端设备上。目前的挑战是低光照环境以及大角度侧脸条件下的人脸检测。

活体检测：活体检测技术在过去几年也有很大发展，已经能解决绝大部分照片和视频攻击，但活体攻击手段也在不断演进，特别是各种人脸相关建模软件合成或变换的人脸越来越逼真。人脸活体检测技术将是持续攻防和不断改进的过程。

图像脱敏：图像脱敏会带来信息损失，与提高人脸识别精度形成矛盾，蚂蚁金服研发了一套独特的单向变换脱敏技术，能够比较好的解决这个问题。目前学术上这方面的成果不多。

人脸比对：目前机器的识别能力已经超过人眼，但是低光照、夸张表情、重度化妆和整容、年龄老化、双胞胎仍然是人脸比对需要持续解决的问题，随着数据的不断累积和训练，性能也在不断提升。

挑战

您能谈谈目前人脸识别领域面临的最大挑战是什么吗？能否从人脸识别的算法和工程两个角度聊一聊各自的挑战？

算法方面仍然要不断提高人脸识别和活体检测的准确性，识别的难题上面已经提及，活体检测需要防范不断演进和出现的新型攻击方式。

工程方面的挑战主要在用户体验和系统的稳定性及可靠性，不断降低用户的使用门槛的同时保证极致的刷脸体验，涉及交互文案、设备兼容、算法加速、参数自适应等多方面。由于人脸识别核心是图像特征提取及比对，这是 CPU 密集型的计算应用，面对支付宝上亿用户的身份验证需求，特别是在双十一、新春红包等高并发峰值的情况下如何保证刷脸服务的性能和高可用性是系统方面的挑战。

蚂蚁金服人脸识别产品从 2015 年 7 月正式上线，在此之前做的都是小规模的测试，进行快速产品优化和迭代。我们发现，真实场景是十分复杂的，用户会在室内和室外，白天和晚上各种光线，不同角度和姿势下使用刷脸，有的是躺在床上刷脸，有的甚至在敷面膜的时候刷脸，如何解决各种复杂真实环境中的刷脸体验，尤其是用户达到亿级规模的时候，保证普通用户能够便捷的通过是很大的挑战。这不单单是算法问题，更是涉及从产品、交互、用户体验、环境参数适配，安全策略，高并发系统架构等一系列问题，这是一个系统工程。经过一年多的产品优化，现在能保证在各种复杂的环境下仍有不错的刷脸体验和安全性。

未来目标

您可以聊一下人脸识别在刷脸支付之外，未来还可能应用在哪些地方吗？

身份验证已经变成了互联网金融的基础设施，甚至是整个互联网 + 的基础设施。基于人脸识别的身份验证方式可以在数字世界中更好的证明“你是你”，提升便捷性和安全性。另外信用体系是整个社会的基础服务，而身份识别和身份验证又是信用体系的基础，所有的信贷类服务的核心基础就是要知道个人的信用等级，当然其前提还是要证明“你是你”，否则评价出来的信用等级也有可能变成别人的了。除了信用和金融的应用，安全领域也是人脸识别的重要应用，全国多个城市火车站上线了人脸识别验票、北京机场刷脸出关。

蚂蚁金服未来几年在人脸识别领域希望达到的阶段和目标可以介绍一下吗？

首先在技术上不断保持世界领先地位，驱动各个业务场景更深层次的应用，形成 AI 驱动、数据驱动的良性循环，同时不仅仅应用在中国，也随着蚂蚁金服国际化的推进，将人脸识别技术应用到全球，为世界上更多的用户提供既安全又便利的刷脸产品和服务。

您怎么看待整个人脸识别行业未来几年的发展？

人脸识别行业目前整体上还只是起步阶段，如前面讲的，要应用到各行各业和各个用户群体，还有很长的路要走，不管是国际还是国内，还没针对人脸识别的行业标准，目前的人脸识别相关产品使用上还具备一定门槛，没有达到普适性的程度。但是随着技术的持续投入，产业环境的不断成熟，以及相关标准不断出台，相信未来几年会迎来人脸识别行业应用真正的爆发期。

寄语

对于想转行人脸识别的新人，您有什么建议？是否门槛太高，很难切入？

人脸识别是一个系统工程，除了算法本身，产品、交互、工程都需要深入研究和探索，从算法到线上服务再到用户体验，从实验室性能到实际场景系统性能，仍然有很多挑战性问题需要解决，在各个环节都有很多可以切入的点，重要的在于是否真正解决了用户的问题。

感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ， @丁晓昀），微信（微信号： InfoQChina ）关注我们。