人脸识别

    城市公共交通

    Hi,您好,欢迎使用百度人脸识别服务。

    本文档主要针对 城市公共交通行业相关场景,描述百度人脸识别产品的相关 架构方案。如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:

    • 在百度云控制台内 提交工单,咨询问题类型请选择 人工智能服务
    • 如有需要讨论的疑问,欢迎进入 AI社区 与其他开发者们一同交流。

    1、业务背景

    随着人脸识别逐渐广泛的应用,轨道交通行业也逐渐试点及落地一些刷脸项目。应用人脸识别,不仅可以提升用户使用体验,也可更加精细化管理,解决丢卡、串票、二次核验困难等情况发生。

    随着国家相关部门及省市等文件的出台,人脸识别在公共交通方面的应用,也将愈加积极与紧迫。

    1.1 主要场景及需求:

    • 地铁:刷脸支付过闸、工作人员通道核验、老人儿童核验
    • 高铁:实名制进站验票、刷脸验票进站
    • 有轨电车:刷脸验票
    • 城市公交:刷脸验票、老年刷脸乘车、学生刷脸乘车
    • 观光汽车:刷脸验票(多次搭乘)
    • 长途汽车:刷脸验票

    1.2 面临的场景困难

    • 人脸底库大:公共交通乘客人员基数动辄几十万、几百万。甚至千万级,传统的1:N方案难以保障高精度识别,涉及到频繁的支付,业务操作更需要谨慎。
    • 人员流量大:存在早晚高峰时段,通闸速度要求高,识别速度需要有效保障,不可显著低于刷卡形式。
    • 稳定性要求高:设备和业务程序需要经过严格测试,如出现现场问题,将引发较大的人员通行堵塞。

    1.3 场景特殊要求

    • 网络条件:网络环境不一定十分稳定,如果出现断网、网络抖动情况,对核验效果会有很大影响。
    • 数据隐私:必须要求离线化部署,人脸信息统一进行局域网部署,或者集中化专线管理。
    • 识别精度:涉及支付核验,对于识别精度要求更高,容错率很低。

    2、业务架构

    上图为整体产品及技术架构的方案示意图,下面进行拆解分述。

    2.1 人脸采集与业务关联

    相比于传统的卡证形式,人脸的录入需要进行一个必要的采集过程,需要确保采集人脸的质量同时,还要确保实名录入、账户与人脸有效关联等问题。我们为您提供了一系列产品方案,用于快速集成应用。

    2.1.1 APP采集

    通过轨道交通相关APP,进行「人脸二次关联操作」,将账号与人脸信息进行关联,作为后续消费的主要依据,同时也充当了账号+密码、或账号的作用。

    • 优点:使用百度手机端采集SDK,可以有效提升采集的用户体验,及采集图片的质量,确保入库的图片符合后续识别的要求,如模糊度、遮挡、光照等。同时APP方式也可使用SDK本地化的有动作活体校验,配合云端活体检测接口,做到二次活体核验,避免作弊。
    • 缺点:用户安装成本高;推广成本高;开发成本较高,需要强行推动用户在APP中进行刷脸验证。

    相关产品链接

    2.2.2 H5/PC Web采集

    主要应用与H5方案、微信公众号或小程序、PC Web站点。

    • 优点:用户接入成本低,覆盖渠道广,便于宣传推广。
    • 缺点:安全性差,活体检测容易遭到攻击;仅具备浏览器权限,对于图片的质量把控不容易很严格,容易造成采集的人脸图片质量不佳,影响后续业务应用效果。

    相关产品链接:

    2.2.3 固定设备采集

    使用在柜台或者固定地点的设备,需要用户自助或者在被指导情况下,进行配合录入人脸。

    • 优点:因为是单独定制的设备,具备更好的镜头效果、更流畅的业务应用运转效果;同时可以让用户充分进行配合,录入图片质量更好。
    • 缺点:初期建设成本高;采集人数有限,用户很难全部到指定地点操作;维护和人员指导成本高。

    相关产品链接:

    2.2.4 实名认证

    用户在初次录入人脸时,需要确保是「真人」的同时(通过活体检测实现),也要确保是「本人」,故需要在用户首次录入人脸并关联账户时,做一次远程的 实名认证。此认证需要链接公安居民身份库,进行权威官方数据核验,可以使用下方身份验证API,使用官方直连数据服务。

    另外如使用固定设备采集方式,也可以要求用户使用身份证进行1:1身份对比,保留实际采集到的那张生活照照片。

    相关产品链接:

    • 身份验证API ,具备身份验证公安官方数据源资质。
    • 离线识别SDK ,如需要采集照片和身份证芯片照对比,请使用【证件照模式】

    2.2.5 业务关联构建

    录入人脸后,需要与系统中已有的账号ID进行关联,并先进行业务数据库构建,此时需要储存的原始数据包括:

    • 人脸数据(保留原图,便于后续更新模型时刷库)
    • 人脸-ID的关联映射表
    • ID-支付账户-支付信息的关联映射表
    • 上述两表做关联

    2.2 前端设备模块

    在闸机、核验卡口等身份核验的关键位置,需要布设人脸核验设备,此设备一般采用定制化研发,形成一个整机,并与通行管理的设备联动应用。

    以下简要介绍一下核验设备的几个核心部分构成及作用。

    2.2.1 镜头

    镜头外设一般为四种选择:

    • 单目可见光:成本低,活体安全性差,如有人看守下首选。
    • 双目近红外:有IR活体,RGB做识别,成本相对较低,是安全性和成本的平衡选择。
    • 3D结构光:RGB+Depth活体,安全性高,技术稳定成熟,但成本较高。
    • ToF:RGB+Depth活体,安全性高,技术相对稳定成熟,但成本较高。

    参考链接

    2.2.2 主板

    主板的选型,一般要考虑一下几个因素:

    • 功耗:涉及整机的散热及产品稳定性
    • 兼容性:与SDK的兼容性,避免使用特别特殊的选型
    • 芯片推荐:Rockchip、MTK、高通、NXP

    2.2.3 设备整体

    此处主要有一些注意事项:

    • 整体散热
    • 信号(如使用无线网络)
    • 各项接线的稳定性
    • 架设角度(一般推荐与垂直方向相差10°—15°)

    2.2.4 离线SDK

    需要在设备前端动态实时地获取人脸信息,SDK需要具备以下几个核心能力:

    • 离线人脸检测
    • 离线质量判断
    • 离线活体检测
    • 离线活体检测
    • 离线识别比对(一般为后端统一对比,但也可在前端进行小库查询)

    性能方面,如rk3288,整体全流程耗时在300ms左右。

    产品链接:

    2.3 局域网人脸私有化部署

    因为使用超大库检索,我们推荐使用私有化部署包,应用大模型进行特征比对环节的处理。

    私有化部署包具备以下几个特点:

    • 大模型,精度更高。十万分之一误识率下,准确率99%以上
    • 服务器部署形态,可直接构建后端整套人脸识别服务
    • 完全离线形态,可满足数据隐私和安全性要求
    • 预设基础业务逻辑接口,包含人脸对比、人脸搜索、人脸库管理、活体检测二次核验接口

    产品链接:

    2.4 业务逻辑模块

    此模块主要包括以下几个常见能力:

    • 刷脸与支付的业务关联:进出站扣费逻辑、去重逻辑、阈值设定等
    • 人脸管理逻辑:更新、删除人脸;关闭人脸支付等

    3、应用策略

    3.1 人脸底库构建

    3.1.1 分组方式

    以身份证ID尾号,或者手机尾号作为组命名依据,将整体大人脸库分为若干个小组。

    3.1.2 用户ID定义

    用户ID可使用身份证ID、手机号码,或者系统单独定义的ID

    3.1.3 模型替换与刷库

    特征抽取模型的更换,涉及到要将所有原图重新刷一遍特征值(不同模型的特征值不能通用),所以为了后续的长期维护,请务必要保留用户采集注册的人脸原图。

    3.1.4 底库图片例行更新

    如果用户在识别过程中,人脸得分非常高(95分以上),且质量较好,可使用识别过程中的图片,更新用户的底库原图。通过对底库的持续动态更新,不断修正识别的效果。

    3.1.5 注意事项

    • 注册图片一定要质量较好,详细请参考:如何保证图片采集质量
    • 不要使用身份证的芯片照注册,如需要通过人证对比来采集图片,请使用实际采集的生活照

    3.2 超大库人脸库检索

    3.2.1 最佳库大小

    单个分组库大小,最好不要超过30w,如果分组可足够精细,推荐最佳不要超过5w。

    3.2.2 预检索

    可基于以下几点进行数据库维度的预检索,查询到固定的组,将实际检索的人脸库锁定到这个组上。这个数据库预检索的方案,包括:

    • 基于手机蓝牙
    • WiFi探针
    • 相关证件

    3.3 活体检测选型

    详细请参见:活体检测选型

    3.4 人脸采集质量

    详细请参见:

    上一篇
    人脸实名认证
    下一篇
    手机刷脸登录