产品简介
如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:
1. 概述
业内首创核心技术,通过普通单目摄像头输入RGB图像,输出人体16个核心关键点的三维坐标信息,实时检测跟踪并精准估算人体三维姿态。
2. 兼容性
支持 Android 5.1+ 支持 iOS 9.0+
3. 核心功能
3.1 人体三维坐标估算
实时检测画面中的人体,精准定位16个核心关键点,包含头部、四肢、腰部等主要部位,并可对关键点进行持续跟踪。 人体关键点分布如下。
当前3D肢体SDK共计输出16个人体关键点,点位顺序以MPII顺序为参考,具体点位顺序0-右脚踝、1-右膝、2-右 股、3-左股、4-左膝、5-左脚踝、6-盆骨、7-胸部、8-脖子、9-头部、10-右手腕、11-右手肘、12-右肩、13-左 肩、14-左手肘、15-左手腕。
当前SDK输出为人体16个关键点的3D坐标,其中x,y为屏幕坐标归一化值,z为相对于人体根节点(人为规定关键点 6为根节点)的相对深度,单位为mm。
3.2 人体姿态检测跟踪
精准估算人体关键点的空间位置,实时捕捉人体位置及姿态信息,适应转体、侧身、四肢躯干遮挡等复杂运动情况。
4 应用场景
4.1 体育训练及康复
通过摄像头捕捉追踪人体在一段时间内的姿势变化,检测人体姿态是否达到预期的角度、幅度、速度,辅助健身锻炼、体育训练、舞蹈练习、康复训练等应用。
4.2 虚拟形象
通过真人驱动,让虚拟形象具备类比真人的肢体动作,并支持与3D人脸特效、手势识别等功能结合应用,让虚拟形象更加灵活生动,可用于虚拟IP驱动、肢体驱动类游戏、远程授课或播报等场景。
4.3 人体行为识别
通过摄像头捕捉追踪人体的动作变化,根据肢体动作或变化角度判断人体动作行为,可用于无人车、机器人、视频监控等行为分析需求场景
5 特色优势
5.1 业内首创技术
通过普通单目摄像头输入单帧RGB图像或连续视频画面,即可实时、准确估计人体关键点的三维信息,无需特殊设备支持。
5.2 性能优耗能低
检测精准,识别快速,在iPhone 8 plus上可达80 fps+,CPU占用率<50%;低端嵌入式平台速度可达25 fps+。
6 鉴权方式
6.1 在线鉴权
本SDK采用在线鉴权方式,此种鉴权方式SDK会联网校验App授权信息。优势在于申请较为简便。适用于网络环境较稳定的应用场景;在线鉴权是通过线上系统或线下方式获得license鉴权文件,根据license使用说明将文件放在指定位置后,进行SDK使用的方式。
6.2 License使用
license以dumixar.license文件的方式提供。
6.3.1 Android
- 将文件dumixar.license放置在assets根目录下
- 鉴权初始化
使用能力前,务必先调用
Authenticator.init
初始化,否则能力无法正常使用。初始化示例如下
// 需要预先加载动态库,否则将无法初始化
System.loadLibrary("auth");
Authenticator.init(getApplicationContext(), new IAuthCallback() {
@Override
public void onSuccess() {}
@Override
public void onError(String errorMessage, int featureCode) {}
});
注:鉴权初始化必须要最先进行
6.3.2 iOS
- 将文件dumixar.license添加入Bundle资源中
- 鉴权设置License初始化
NSData *data = [NSData dataWithContentsOfFile:[[NSBundle mainBundle] pathForResource:@"dumixar" ofType:@"license"]];
NSArray *features = [BARSDKPro setLicenseData:data onlineFeatures:^(NSArray *onLinefeatures) {
} unsupportedFeature:^(NSInteger unsupportedFeature) {
}];
注:鉴权设置License初始化必须要最先进行