SDK核心能力
图像识别跟踪
单目SLAM
人脸互动
肢体互动
互动引擎
高精度贴合、虚实融合,耗时低、多机型覆盖,运动中稳定跟踪
查看视频
跨平台覆盖机型广,主流机型体验流畅,实景跟踪、使用门槛低
查看视频
精准定位面部特征点,皮肤级高贴合3D人脸道具,光感试妆、眼镜试戴
查看视频
基于普通手机摄像头,实现全身关节点实时动作捕捉,支持全身肢体AR特效
查看视频
SDK 2.6Easy版、3.0Pro版实时物理模拟、虚实互动游戏体验,接口友好、交互能力丰富
查看视频
DuMix AR SDK
SDK版本介绍
能力类别
能力点
能力说明
Easy版
Pro版
Core版
Unity版
界面
UI界面自定义
Easy版可替换UI界面素材;Pro版不限制界面布局,可灵活自定义UI界面。
环境感知
和跟踪
本地图像识别
通过本地相同图检索触发AR场景,本地部署方案约可支持1000张识别图。
云端图像识别
通过云端相同图检索触发AR场景,云端部署方案不限制识别片数量。
图像跟踪(2D tracking)
通过图片特征点实时检测,实现运动状态下的稳定跟踪。
即时跟踪(单目SLAM)
通过即时跟踪,实现实景中3D物品放置,用于虚拟形象和物品展示互动。
空间方位感知(IMU)
通过手机陀螺仪(IMU),实现手机姿态实时检测和周围空间方位的感知。
ARKit平面检测和跟踪
iOS端支持调起ARKit能力,实现水平和竖直平面检测和跟踪。
AI人机交互
和对话
人脸互动和特效(Beta) 人脸贴纸通过商务洽谈定制支持,请联系ar_business@baidu.com提交需求
人脸静态和动态贴纸,人脸基础美颜滤镜,包括美白、大眼、瘦脸。
肢体互动和特效(Beta) Pro版本预计11月支持
通过人体骨骼点动态检测,实现人体跟随特效,推掌、跺脚等动作触发特效。
手势识别(Beta) 除手掌外,更多手势预计11月版本支持
通过人手姿态识别,实现手掌、点赞、比心、比V等手势动作识别触发特效。
人像分割(Beta)
通过人像和背景实时分割,人像结合全景图实现百变背景等特效拍摄场景。
语音识别
调起百度开放的语音识别能力,用于AR场景中识别用户的语音指令。
语音合成(TTS)
调起百度开放的语音合成(TTS)能力,用于AR场景中文本信息转语音播报。
3D互动
和特效渲染
渲染系统
支持Pod/GLTF模型、图片、音视频、全景图等格式素材的渲染。
材质系统
支持Pod模型的phong材质效果,支持GLTF模型的PBR材质效果。
动画系统
支持读取Pod/GLTF模型动画;支持模型刚体动画,包括平移、缩放、旋转等。
粒子系统
支持粒子效果配置,实现樱花雨、孔明灯、喷火、云雾等粒子特效。
滤镜系统
支持8*8色卡色彩风格滤镜,可按素材场景需求独立配置。
互动系统
支持joystick虚拟摇杆,封装常用点击、划屏等手势功能,支持自定义触屏交互。
物理系统
支持速度、加速度、力、碰撞检测、射线、刚体约束等能力,实现AR物理小游戏。
音/视频播放
支持本地及网络音视频播放,格式包括mp3、mp4,以及HLS协议直播流。
脚本系统
支持lua脚本开发,可基于API自定义逻辑处理、互动玩法等。
SDK
基础功能
拍摄和录制
支持AR特效照片拍摄和微视频录制,可存储至本地相册或分享至社交网络。
机型屏蔽
反馈不支持机型信息,供客户端进行入口级或功能级屏蔽。
外链跳转
支持配置URL外链。
合作咨询:请发送邮件至ar_business@baidu.com,描述您公司的业务场景、市场预期、能力需求、产品方案、合作方式及所需支持。

提供多种开发环境

选择一个开发环境,了解SDK接入

开发资源

多种帮助和支持,快速创建AR应用

使用流程

1.创建应用授权

应用授权,需在百度云注册账号并完成实名认证

2.下载SDK

按照开发环境和所需选择下载DuMix AR SDK

3.跑通AR Sample

实现AR功能,跑通AR Sample

4.集成/部署APP

将DuMix AR SDK部署到您的APP

5.发布AR内容

通过SDK能力进行内容制作,并发布至自有App