ROOBO CTO雷宇 - 端上的人工智能体验
2020-02-27 58浏览
- 1.端上的人工智能体验 雷宇 ROOBO CTO
- 2.
- 3.怎么做好人工智能的交互
- 4.好的人机交互系统 智能层 开放式BOT系统 强大的服务型对话 自有自由对话 VUI层 一流的交互 多模的输入输出 多语言支持 硬件层 全志/高通/MTK/CI 方案矩阵 丰富的内容资源 先进的人机交互 离线人工智能， 低延时，安全
- 5.ROOBO的人工智能方案 - ROSAI 麦阵 唤醒 命令词 信 VAD 号 处 离线识别 理 CI芯片 RK 全志 MTK 炬力 高通 情感 信息类 闲聊 NLU 声纹 对 话 娱乐类 服务类 家居类 画像 话题 多模 工具类 人脸检测/识别/属性 远场拾音 一流的交互 离线 + 在线 一流的效果 识别+ 语义 高达成率的 服务型对话 自由对话 功能丰富
- 6.麦克风阵列 多种麦克风排布方式、丰富的连接方式 排布方式 线性阵列（ULA ） 环形阵列（ULC ） 2~4 Mic 4/6/8 Mic 环形+中心阵列 （ULC_C） 4~8 Mic I2S ADC Mic1 MicN DSP/ FPGA USB/I2 S AP Analog AMP
- 7.信号处理特性 语音增强 1 增强语音信号能量，扩大拾音距离 2 声源定位 多麦克风定向，解决鸡尾酒舞会问题 3 混响消除 消除混合声波干扰，提升语音识别的效果 4 噪声抑制 抑制干扰声波，抗环境干扰能力强 5 回声消除 消除自噪声，支持打断
- 8.离线人工智能 I2S×2 I2C ASR Hardware Acceleration VAD FE DNN UART /SPI UART /SPI SAR ADC SRAM 144KB CPU SDRAM 16MB NOR Flash SD/TF Card PWM/ GPIO 大动力：语音脑神经网络处理单元， 相当于数十个CPU核的超强NN并行计算能力 小块头：高集成度，小体积（9mm*9mm），低成本 低功耗：低于同类多核应用处理器芯片的二十分之一
- 9.AI多模态交互 输入 摄像头 麦克风 各种传感器 人脸图象 手势图象 一横／多模输入 语音信息 多模态引擎 横态 综合分析系统 横态 表达系统 触碰／温度／湿 度／光照／等等 图象表达 输出 屏幕输出 语音表达 音响输出 信号表达 控制设备 输出
- 10.ROSAI的架构 第三方服务 第三方语音服务 第三方语义服务 第三方IoT服务 第三方流媒体服务 第三方应用服务 第三方通行证服务 Android/Linux/RTOS & 客户软件 第三方SDK 终端软件 交互界面 VUI ROOBO SDK GUI 平台Framework 通行证服务 设备管理 访问接入 应用管理 长连接 … AI云 语 义 语 音 云 对 对 话 B O C V 服 云T 务 服 务 IOT云 第三方接入接口 内容云 第 物 联 物 管 理 物 测 控 推 送 规 则 引 擎 三 方 物 联 对 接 平 台 内 容 管 理 应 用 内 容 管 理 自 有 流 媒 体 服 务 标准服务 音闹 天 乐钟 气 备提 视 忘醒 频 定制服务 车 主 服 儿 童 习 ....... 务惯 data 模型数据、领域知识库、 用户数据 data 物联配置及数据、 用户数据 data 平台运营数据 应用运营数据 data data 平台运营数据 开发者、应用配置 应用运营数据 及数据 开放平台 H 5 微 控 制 台 开 发 者 网 站 开 发 者
- 11.ROSAI的开放性 语意 知 训 义图 识 练 理引 引 测 解擎 擎 试
- 12.ROSAI 技能 技 能意 基图 本定 信义 息 模实 板体 定定 义义
- 13.ROSAI 知识定义 知画 识像 定定 义义
- 14.
