AR SDK基础版介绍
所有文档

          AR开放平台

          AR SDK基础版介绍

          AR SDK基础版介绍

          如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:

          • 在百度云控制台内提交工单,咨询问题类型请选择人工智能服务
          • 如有需要讨论的疑问,欢迎进入AI社区
          • 与其他开发者们一同交流,百度AR开发者交流QQ群:472081119

          简介

          百度DuMix AR SDK开放能力中,基础版SDK主要包含2D识图和跟踪,SLAM实景定位和跟踪等核心能力,主要应用场景包括互动营销、教育科普、实景小游戏、虚拟车展等。

          版本记录

          移动端 SDK

          含Android、iOS

          发版时间 版本号 版本说明 升级端
          2020年5月 4.7.2 升级渲染引擎和相关接口 双端
          2019年6月 2.6.1 支持ARplay引擎支持空间小游戏。 iOS
          2018年9月 2.6 剥离OpenCV库 iOS
          2018年8月 2.5 试用授权升级为正式授权,支持在线获取应用授权,原试用授权下线;支持识图调起SLAM和IMU类型AR内容,iOS端支持识图调起ARKit类型AR内容 双端
          2018年7月 2.4.1 新增加载本地内容接口 双端
          2017年7月 1.0 支持识图跟踪触发AR,支持SLAM实景放置触发AR,支持手机姿态IMU触发AR内容,支持语音指令和语音播报,支持试用版鉴权(限500次调用) 双端

          说明:2.5以上版本,线上应用授权上线,试用授权下线,试用APP需更新至新的鉴权方式,AR内容平台上试用APP的内容资源需迁移至正式APP下。

          Unity SDK

          发版时间 版本号 版本说明
          2018年8月 2.0 支持2D肢体动作检测和特效触发能力,开放Asset Store案例
          2018年7月 1.2 支持百度AI开放平台-图片识别能力,开放Asset Store案例
          2018年5月 1.1 连续识图实例Sample;图片跟踪算法优化,提升弱纹理跟踪效果;本地识图算法优化,提升远距离触发率;支持Unity中图像跟踪内容预览
          2018年3月 1.0 支持SLAM实景放置,图片跟踪,本地识图

          能力介绍

          感知跟踪和智能交互

          能力 说明
          云端识图 通过本地或云端的相同图检索功能,识图触发AR内容,本地部署约支持1000张识别图,云端部署不限制识别图数量,用于幼教卡片、商品包装、线下宣传海报等识图触发等场景
          本地识图 通过本地或云端的相同图检索功能,识图触发AR内容,本地部署约支持1000张识别图,云端部署不限制识别图数量,用于幼教卡片、商品包装、线下宣传海报等识图触发等场景
          2D图片跟踪 通过对图片特征的实时检测和定位,实现运动状态下的实时稳定跟踪,用于AR名片、虚拟沙盘展示、AR产品说明书等场景
          SLAM实景放置 通过对相机当前捕捉的实景进行实时地图构建和跟踪,实现将3D道具放置在实景中,用于虚拟车展、幼教科普等场景
          IMU感知触发 基于手势姿态在空间中触发和放置AR内容,如正对屏幕触发
          语音指令 支持调用语音识别能力,实现预设关键词触发交互,用于实现语音指令输入相关的智能交互场景
          语音播报 支持调用语音合成能力,实现预设文案的语音播报,用于内容介绍,或交互反馈

          说明:语音识别和语音合成需接入百度语音SDK相关能力。

          3D渲染和互动引擎

          移动端SDK,支持通过自研3D渲染引擎技术,将增强内容与真实环境融合叠加,所支持的AR增强内容素材格式如下:

          渲染引擎 说明
          3D模型 支持glTF格式的3D模型和动画渲染能力。
          2D图片 JPG、PNG格式,支持配置图片、按钮等素材。
          序列帧动画 JPG、PNG格式,支持多图连播的帧动画。
          视频 MP4格式,同时支持本地和在线视频播放。
          透明视频 MP4格式,支持扣除背景的视频素材播放,用于动漫IP和绿幕拍摄内容。
          本地音频 MP3格式,支持本地音频播放。
          天空顶 JPG、PNG格式,静态天空背景场景特效,可用于星空、梦幻天空等场景。
          全景图 JPG、PNG格式,天空盒全景图特效,可用于看车内饰、任意门等玩法。
          实时光照 支持配置3D模型真实感光照效果。
          动态阴影 支持配置3D模型动态阴影。
          粒子特效 支持雨、雪、花瓣、火焰、烟雾、孔明灯等粒子特效。
          实时滤镜 提供多种实时滤镜效果,可配置滤镜开关,可配置是否作用于3D模型。
          模型交互 自定义模型交互响应,支持单指移动、双指旋转、双指缩放、单击事件、长按拖拽;可配置交互热区,对全场景和单个模型;可配置移动轨迹 ,直线移动和弧形轨迹移动,支持配置移动中始终面向屏幕;设置旋转角度,限制旋转角度和旋转轴向。
          交互事件 视频交互,支持点击事件触发播放、暂停、循环播放;动画播放,支持按指定顺序或动画时序触发播放;音频交互,支持点击事件触发播放、暂停、循环播放;支持多种音效同时播放,例如:背景音乐和交互反馈声音;图片交互,支持点击事件触发外链、图片隐藏;外链,支持配置URL外链,跳出AR体验场景。

          基础功能

          基础功能 说明
          录制 提供录屏功能,支持录制环境音。
          拍照 提供截屏功能。

          应用案例

          查看更多案例展示

          互动营销

          可口可乐城市罐

          百度与可口可乐联合打造的一次重磅创新营销,融入内容形态支持全媒体(图片、语音、视频、3D模型动画等)的突出优势,以AR技术解密12座不同城市的风土人情。线下2亿+曝光,匹配线上百度App开屏、原生GD推广资源,获得销量与口碑的双赢,成为业界标杆。

          bj-2c0f07935057d92e9c9ef33724f5db970d3fdb10.png

          欧莱雅男士&变形金刚IP合作

          借势《变形金刚5》强档上映,欧莱雅男士结合影视娱乐IP的跨界合作,通过AR技术与之零距离互动,营销变“型”势不可挡。

          识别图:

          adf03d26a01edd9ec804e8da3c8a4fee46c13fde.png

          体验方式:打开最新版百度App,点击搜索框右侧相机入口,选择AR,对准图案即可体验。

          效果图:

          bj-0101fd413fbebaa1467b636dcce68eb9b9b3b24a.png

          商品包装案例-中秋月饼礼盒

          通过商品包装触发AR,赋予礼品之外的科技象征意义,拓展企业文化赋能的新营销模式。

          识别图:

          694b10658eccb7e75563b30080879da26d296a79.png

          体验方式:打开最新版百度App,点击搜索框右侧相机入口,选择AR,对准图案即可体验。

          服装特效案例-AR文化衫

          T恤上印制了维密翅膀,看上去跟普通T恤无异,但当你使用手机百度APP扫描时,就会出现相应的维密翅膀模型,可滑动产生粒子效果。

          识别图:

          539c33aa8c2719320fc69662c39e6e117e0161a7.png

          体验方式:打开最新版百度App,点击搜索框右侧相机入口,选择AR,对准图案即可体验。

          效果图:

          bj-b284eb2b5bf7fc82ffce8ace8bc46fea53ce1f03.png

          教育科普

          奇巴布App【AR课堂】爱奇艺旗下儿童教育应用

          AR的情景教学,真实还原了海底世界和热带雨林中的动物以及交通工具等等。小朋友不仅可以身临其境的学习百科知识,还可与自己喜爱的动物同框留影,家长可以拍照记录孩子与动物互动的美妙瞬间,在孩子感受到知识趣味性的同时也达到增进亲子关系的效果。

          5244ad6f3f448a8c990598da8f27251f278ce5f0.png

          实景小游戏

          AR游戏《荣耀飞车》

          百度AR基于荣耀8X新机的强劲性能,为其量身定制了一款AR桌面互动、赛车竞速类游戏《荣耀飞车》,以高精度贴合、耗时低、运动中表现稳定的2D跟踪能力和稳定度高、兼容性强的全新SLAM技术为游戏带来流畅的操控性和更具感染性的表现力。

          bj-4d3cd4484d7cf83bf2b4c4957b46faa073ce6fd5.png

          AR打年兽

          2018年春节期间,根据“驱年兽”的历史传说,将AR功能和打地鼠游戏模式相融合,首次采用百度AR自主研发的SLAM方案、推出“打年兽,赢宝箱”春节活动,丰富了百度App的AR玩法,让用户体验具有趣味性的AR游戏。

          bj-cc0d9227323b9a56a4d76e65d427b68328441bc6.png

          虚拟车展

          易车【AR看车】专栏

          以业内领先的AR技术和渲染能力,为易车度身定制了《AR看车》专栏。一比一车型还原、高精度实景贴合,突破性地实现了线上观车的新体验!

          • 通过SLAM实景放置+3D渲染能力,实现实景定位和跟踪,查看车外观

          bj-b554744f41856bd3039198dad2b5158fe4e36d89.png

          • 通过IMU+全景图能力,查看车内饰

          bj-d2185a9a38784ead3e035a28d94324818768def4.png

          开始接入

          点此获取应用授权,点此下载SDK,查看SDK集成文档,查看教学视频

          点此查看AR场景开发指南

          欢迎进入技术论坛交流,百度AR开发者交流群QQ:472081119。

          下一篇
          Android SDK 基础版