美团 何仁清《美团骑手智能助手的技术与实践》_部分1
2020-02-27 1218浏览
- 1.美团外卖智能语音助手背后的技术 何仁清 美团配送人工智能方向负责人
- 2.个人简介 何仁清：herenqing@meituan.com 2000~2006：哈尔滨工业大学 计算机与科学 2006~2009：百度NLP，搜索语义理解与排序研究 2009~2016：百度凤巢，广告触发方向负责人 广告检索、数据挖掘、相关性模型研究 2016~至今 ：美团配送，人工智能方向负责人 整体负责美团配送业务的算法方向
- 3.AI技术对同城配送的业务价值 美团外卖智能语音助手定位 相关AI核心技术 智能语音助手的业务效果
- 4.物流行业：【发展快】【成本高】【潜力大】 • 环比50%+的增长速率 313亿件 15%GDP • 节省1% = 1000亿 • 欧美占比约8~9% 潜力巨大的优化空间 l体验更好 l效率更高 l成本更低 DataFrom：中国物流与采购联合会 《中国物流业2016年发展回顾与2017年展望》
- 5.美团外卖的发展情况 有 单 骑 手 数 量 (万) 2.5亿+ 累积用户 1800万+ 日完成订单 1300+ 覆盖城市 50万+ 有单骑手 200万+ 合作商户
- 6.美团配送定位：最大的即时配送平台 专送 • 专属运力 快送 • 社会化运力 跑腿 • 帮买、帮送 提供多种服务 平均时长 30分钟 用户 商户 即时物流 平台 骑手 平台与生态建设 外卖 商超 生鲜 快递 对接多品类电商
- 7.配送是一个什么样的AI问题 物流是一种资源配置问题 在满足约束条件下，提升效率，降低成本 需求 线上系统 资源配置 线下运营 运力 对应要解决的AI技术问题 匹配 市场调节 基础结构 （实时） 派单 （中期） 供需匹配 （长期） 网络规划
- 8.该问题在AI中的位置 更好 与 人 比 的 效 果 更快 图象识别 语音识别 OCR 智能助手 无人驾驶 智慧物流 游戏、医疗AI NLP、NLU 机器翻译 自动化控制 感知 认知 发挥的作用 决策 真正的智能 能做出比人更好的决策
- 9.“美团配送AI”构建智慧物流 信息化 商家画像 位置、楼层、出餐速度 骑手画像 大 数 轨迹、偏好、熟练度 据 用户画像 类型、楼层、配送难度 商圈数据 天气、路况、交通管制 智能化 美团配送AI 智能助手 全场景语音交互、智能提醒 人 智能硬件 工 智 定制蓝牙耳机、到店硬件 能 智能调度 实时派单、路径规划 智能运营 智能补贴定价、GH
- 10.行业方案 平台建设 具体技术 技术方向 学科方向 基础建设 美团配送人工智能技术布局 同城建设方案 配送履约方案 骑手运营方案 配送数据平台 机器学习平台 物流仿真平台 时间 预估 单量 预估 POI 定位 骑行 导航 供需 平衡 弹性 研究 配送 范围 站点 规划 订单 指派 路径 规划 语音 助手 配送 硬件 预测预估 轨迹挖掘 定价机制 网络规划 智能调度 智能硬件 Spatial-Temporal Data Mining 、Operations Research 、Machine Learning 大数据 、大计算
- 11.美团智能配送系统 实时 调度 实时将订单指派给骑手， 完成骑手路径规划方案。 调度 回放 真实还原调度场景细节，定 位调度问题、诊断 智能 助手 智能耳机、PUSH、APP等多种 智能方式与与骑手进行交互，辅 助骑手配送 天平 系统 监控系统压力，通过价格杠 杆维持供需关系平衡 经纬 系统 根据场景自动进行配送范围 调节，最大化商家供给 站点 规划 城市配送区的自动规划，实现运 力的最优配置 仿真 平台 配送环境的模拟，用于策略 和新业务的线下评估 ML 平台 构建完整的数据、特征、模 型的线上和线下平台 ……
- 12.AI技术对同城配送的业务价值 美团外卖智能语音助手定位 相关AI核心技术 智能语音助手的业务效果
- 13.我们为什么要做智能语音助手？ 关键是什么？
- 14.一个外卖订单的配送过程 时刻需要作出决策 一个操作5~6个步骤 餐品出来了吗？餐品没出来，继续等？ 是否需要打电话？ 双手被占用如何接单？ 如何规划路线？商家在哪？ 何时给用户打电话？ 在哪里交付？ 超时订单要不要先去送？ 订单生成 到达商户 离开商户 达到用户 离开用户 查看下一订单信息 拿出 放回 解锁 接收派单 到店上报 取餐上报 拨打电话 送达上报 操作 查看 APP
- 15.骑手遇到的三大难题 任务复杂 熟悉程度：在哪？怎么去？上楼多少时间？ 最佳决策：先去哪？出餐快慢？什么时候打电话？ 操作繁琐 安全隐患 因为不熟悉和信息实时更新，频繁操作手机 一个操作需要5~6个步骤完成 频繁查看手机，注意力不集中 骑手安全问题比较突出
- 16.美团外卖语音助手的定位 安全 全流程语音交互 • 语音替代传统操作，让交互更自然 • 解放骑手双手，让配送更加安全 • 在骑行途中，不必取出手机，而是通过语 音完成操作 高效 极简操作步骤 智能 全场景智能引导 • 在全场景下，将复杂（5~6步）的操作，通 过1~2步，简单快捷的完成 • 针对时间、地点、事件，识别场景 • 根据场景线索，主动发起交互 • 场景识别+预测，给出最优操作建议 • 通过命令词快送完成操作 • 场景识别，预测接下来最可能发生的事件 • 根据最佳时机主动发起操作提醒 信息播报 命令确认 接收派单 到店上报 取餐上报 拨打电话 送达上报
- 17.我们为什么要做智能语音助手？ 关键是什么？ 核心是“帮助骑手”的助手 ，关键是“智能”+“语音交互”
- 18.通过“场景识别”做到“零唤醒” 常规方案 唤醒 应答 请求 结果 • 唤醒率低：骑行、商场噪音较大 • 交互复杂：需要描述详细命令，学习成本高 零唤醒方案 提醒 是/否 结果 场景 识别 • 智能精准：场景自动识别，系统主动唤醒 • 交互简单：只需回答“是/否”，简单易学 行为精准预测 多维度大数据+机器学习 模型，对未来行为进展精 准预测 地址详尽解析 通过NLP的技术，将地址 解析到小区、楼栋、楼层 主动提醒服务 在最恰当的时间和地点， 自动找到骑手需要操作订 单和行为，推送给骑手
- 19.AI技术对同城配送的业务价值 美团外卖智能语音助手定位 相关AI核心技术 智能语音助手的业务效果
- 20.基础设施：语音识别 + 语义理解 VAD • 配送过程中噪音很大，需要进行去 噪，不做VAD会形成大量无意义的语 音 语音识别 • 语音听写、语音合成、语音唤醒 NLU 意图识别 • 判断骑手当前的指令想进行什么操作 • 解决骑手交互各种不规范的问题 • 解决骑手口语化和多种表达方式问题 实体识别 • 在骑手通过语音做订单查询中，经常涉及“商家名 称”“小区名称”“电话号码””“订单号”等 • 为提高识别准确率，要引入场景（时间、地点、事 件）等信息，进行实体消歧
- 21.精准的场景识别 场景线索 历史 【时间、地点、事件】 现在 【时间、地点、事件】 未来 【时间、地点、事件】 识别目标 技术难点 事件预测 • 此时此地，将要发生什么？ 提醒相应操作 • 商家已经出餐，骑手在商家附近 è 到店、取餐 时机预测 • 何时何地，让一个事件发生，最为合理？ • 距离用户多远打电话下楼，能让用户和骑 手互相不用等待 精准性要求高 • 配送行为前后关联依赖，有涟漪效应 时间序列预测问题 • 双向影响：取餐时间影响何时送达用户？ 未来出餐时间影响何时到店？ 多目标优化问题 • 多项约束条件：取餐过早影响效率，取餐 过晚影响外卖品质
- 22.一个场景识别的case 打电话比例 大 数 据 挖 掘 合适的区间 时间，骑手位置（速度）、骑手操作 订单 商户地址 用户地址 目前状态 #1 …… …… 待取货 #2 …… …… 已取货 行为预测模型 订单 #1 #2 时间，骑手位置（速度）、骑手操作 商户地址 用户地址 状态预测 …… …… 已取货 …… …… 拨打电话 时间预测 …… ……
- 23.场景识别的技术支撑 骑手轨迹挖掘 • 修正骑行导航规划 • 不同路段、不同时间、不同方向的速度 • 监控骑手入离店时刻，从而推导室内时间 机器学习技术 • 基于时间序列预测下一个事件 • 骑手配送关键阶段的时间预测 Data Mining 数据挖掘 • 配送知识图谱： 体现订单结构 • 配送画像：用户、商家、骑手、区域 ᷧࢻ ࠟࢻ W1 W2 W3 W4 ᦈܔၞZ W5
- 24.轨迹挖掘：软硬件结合的AI解决方案 骑行轨迹 软 件 方 骑行难度 案 骑行导航 每天几十亿定位数据 配送、取餐、交付 用时间衡量各阶段难度 商家硬件 • 对骑手到店、商家出餐通过硬进行精准识别 • NFC、Beacon、WIFI等方式 硬 件 方 案 传感器 • 高精度GPS定位更精确、更密集 • 人运动状态：静止、步行、跑步、驾驶 • 车运动状态：静止、行驶、速度 • 计步器：步数、步速、上下楼
- 25.案例：导航和定位的修正结果 用 户 室不 内利 定于 位配 不送 精 准 通 过发 小现 区更 内快 部路 道径 路 通 过 历 史 轨 迹 修 更 容 易 配 送 正 过 街 天绕 桥行 难更 以快 通 行
- 26.配送全环节涉及的时间预估系列 骑手接单时间 下单时刻≈商家接单时刻 骑手接单时刻 骑手等餐时间 骑手取餐时刻 骑手到店时刻 骑手交付时间 骑手交付完成时刻 骑手到客时刻 ඌ็ᅞ • ߌࢫ؟ğෛࠏྟбࢠն • ൩ଽӆࣟğඔऌ҂ሙಒ • ߌࢫၹğ฿గaࢌ๙aླ܂ሑ 骑手时间轴 骑手下车时刻 骑手上车时刻 骑 手 轨 迹 + 取餐难度 = 上楼时间 下楼时间 平 台 出餐时间 MODEL TARGET = { 出餐时间 骑手等餐时间 > 0 }
- 27.考虑三个维度的精细预估 配送方式切换 天气、时段 A B 配送时间（平面） 骑行导航、内部道路 交通情况、管制情况 楼宇特点 楼层和工具 A B 上下楼时间（立体） 精确到楼宇+楼层 考虑不同时段的差别 商家产能 菜品特点 A B 出餐时间（商家） 精确到商家+菜品维度 预估时间+方差
