Rokid 赵维奇 突破移动AR
2020-03-01 188浏览
- 1.突破移动AR：移动AR到AR眼镜 应⽤用演进的实践与挑战 不不同路路径 赵维奇 ROKID AR眼镜软件负责⼈人
- 2.主要内容 • Rokid以及R-Lab • AR (增强现实）设备 • Rokid AR 眼镜系列列产品 • AI + AR • AR SDK & 最佳实践
- 3.ROKID & R-Lab
- 4.⼀一 、ROKID 以及 R-Lab Rokid 成⽴立于2014年年，总部位于杭州，是⼀一家专注⼈人机交互技术和⼈人⼯工智能软硬件产品开发的科技创 新型企业，产品涵盖智能家庭机器器⼈人，智能⾳音箱，增强现实(AR) 眼镜，以及⼈人⼯工智能应⽤用与服务。 Rokid拥有国际领先的⾃自主⼈人⼯工智能技术研发和创新能⼒力力，核⼼心技术包括语⾳音唤醒，语⾳音识别，⾃自然语 ⾳音处理理，图形识别等，北北京和美国硅⾕谷R-Lab均设有研发实验室，⽤用于⼈人⼯工智能理理论，算法研究以及前 瞻性技术探索。
- 5.
- 6.赵维奇 Lead Software Engineer, Rokid 创客，产品创新先锋，连续创业者，创业导师 Mobile, VUI, AI, AR/VR, IoT, Edge Computing
- 7.AR (增强现实) 设备
- 8.移动AR vs AR 眼镜
- 9.不不同的AR浏览⽅方式 基于光学原理理的 穿透式AR 基于视频合成技术的 穿透式AR
- 10.不不同的AR浏览⽅方式 基于光学原理理的 穿透式AR 基于视频合成技术的 穿透式AR
- 11.移动 AR AR 眼镜 VS 视场⻆角(FOV) 15° 或者 更更⼩小 30° 或者 更更多 AR 浏览⽅方式 基于视频技术的穿透式AR 基于光学/视频的穿透式AR 交互逻辑 以app为中⼼心 以场景为·中⼼心 使⽤用⽅方式 ⼝口袋->解锁-> 打开应⽤用 所⻅见即所得 交互⽅方法 ⼿手持设备 + 触摸 触摸屏 + ⼿手势 + 语⾳音 + 眼动
- 12.ROKID AR 眼镜系列列产品
- 13.ROKID Glass 给予企业AI-赋能的AR解决⽅方案 • • • • • • • • 单⽬目 micro OLED 显示 视场⻆角 FOV 30° 超级轻盈紧凑 Android 7.1 ⽀支持WiFi / Bluetooth 连接 RGB 相机 & IMU ⽴立体声 语⾳音助⼿手
- 14.ROKID Vision 移动平台的通⽤用混合现实⽅方案 • • • • • • • 双⽬目 micro OLED 3D显示 视场⻆角 FOV 40° 连接电脑和⼿手机 双屏异显 RGB 相机 & IMU ⽤用于本地SLAM的双⻥鱼眼相机 3D 沉浸⾳音响系统
- 15.AI + AR = ？
- 16.AI 赋能AR:增强AR理理解，连接AR感知与交互 AR 感知 IMU，RGB相机，深度相机， ⻨麦克⻛风， … 赋能 AI AR 理理解 物体识别，⼈人脸识别，⼿手势识别，语⾳音助⼿手，… AR 交互 触摸控制，⼿手势，3/6⾃自由度交互，语⾳音交互，…
- 17.AR 感知 RGB 相机 ⼈人脸识别 物体识别 语⾳音助⼿手 室内导航 ROKID Glass WiFi / 蓝⽛牙 IMU ⻨麦克⻛风 AI 赋能 AR 理理解能⼒力力 AR 交互 触摸板 语⾳音交互 头部跟踪
- 18.ROKID Vision 双⻥鱼眼 相机 6DoF AR 感知 RGB 相机 3D 显示 双屏异显 SLAM算法 语⾳音助⼿手 眼镜端数据接⼝口 AI 赋能 AR 理理解能⼒力力 AR 交互 IMU ⼿手机传感器器 触摸屏(⼿手机) 头部跟踪 WiFi /蓝⽛牙 语⾳音交互
- 19.SDK，⼯工具 & 最佳实践
- 20.Glass SDK
- 21.
- 22.物体识别 • 物体识别 SDK • • 多⼈人脸检测/跟踪/识别 世界级性能 • • • 准确率99.8% 4⽶米内响应时间⼩小于200毫秒 物体识别 移动 App • • ⼈人脸特征数据管理理 在线 / 离线同步
- 23.物体识别 • • • • 本地识别API ⽀支持导⼊入任何训练数据集 实时探测和识别任何⽬目标物体 ⽀支持各种多媒体信息叠加
- 24.语⾳音助⼿手 • • 可定制中⽂文语⾳音⼈人⼯工智能系统 • • 200+ 语⾳音技能 • • • • Handfree系统导航 NLP, ASR, TTS… ⽀支持在线 / 离线 服务 ⾃自动化⼯工具 智能答复定制化 个性化推荐 What’s the weather like today?
- 25.室内导航 • • ⽆无需额外硬件部署 ⽆无线信号和传感器器，不不依赖 GPS • • 定位和导航功能 室内3-5⽶米准确定位
- 26.交互 SDK & ⼯工具 • • • 多模态交互接⼝口 AR眼镜 UI SDK • • 显示标记对⻬齐⼯工具 定制对话框 AR眼镜app设计指南
- 27.多模态交互 按钮 Back Home Volume Up/ Down Voice assistant Short-press Slide backward Slide forward Power on/off 触摸板Long-press:menu 头部控制 Confirm Back Up / Down Left / Right
- 28.定制交互接⼝口
- 29.• 弹窗组件 • ⽂文字 • 语⾳音 • ⽂文字+图⽚片 • 语⾳音+图⽚片 • ⾃自定义按钮数量量 • 通知栏组件 • ⽂文字 • ⽂文字+图⽚片
- 30.设计指南和开发优化技巧 • 眼镜设计指南 • 开发技巧 • 保持眼镜显示可穿透 •Android:Activity Background Color •Unity:Camera Background Color
- 31.Vision SDK
- 32.DSDC 6DOF Camera SDK 移动设备作为计算，供电和交 特征点检测和跟踪，⽀支持6DoF 帮助计算模组获得眼镜端的相机 互终端，给眼镜提供双屏异显 跟踪和交互，允许在现实世界 数据，并⽀支持相关参数调整，为 的交互体验 中覆盖⼀一层可交互的3D信息 开发者开发识别和相机相关的应 ⽤用提供接⼝口
- 33.DSDC SDK • 双屏异显 • ⼿手机作为多功能的输⼊入终端 • 游戏⼿手柄 •虚拟键盘 •语⾳音输⼊入 •触摸板
- 34.DSDC SDK • 多开发平台⽀支持 • Java Native • Unity • Web
- 35.6DoF SDK • 6DoF • • 位置追踪 tracking • 超低延迟 • 渲染低抖动 多开发平台兼容
- 36.Camera SDK • 实时相机数据流 • 多开发平台⽀支持: Android/Unity/Web • ⽀支持多种输出图⽚片格式
- 37.Q&A • Glass.Rokid.com • SDK相关: weiqi@rokid.ai • 联系⽅方式: zhaoweiqi@gmail.com AR.AI.IoT核⼼心技术
- 38.欢迎关注msup微信公众账号 AR/VR.AI.IoT核⼼心技术 关注⼤大会微信公共账号，及时了了解⼤大会动态、 技术讨论，脑⼒力力激荡，产品分析 ⽇日程及每⽇日更更新的案例例！ 关注公众号获得 更更多案例例实践
