周大江 端侧AI及其在蚂蚁金服场景的落地
2020-02-27 351浏览
- 1.端侧AI及其在蚂蚁金服场景的落地 蚂蚁金服多媒体产品技术部 周大江（弘川） 蚂蚁金融服务集团 版权所有
- 2.
- 3.端侧AI的优势 体验 使能实时交互类 应用，用户体验 不受到网络稳定 性的影响 隐私 数据上传非必须， 保护用户敏感数 据，规避商户法 律与舆论风险 成本 计算本地化，节 省云侧计算/流量 /存储开销 精度* 失败后立即重试， 在最佳拍摄角度/ 光照等条件下捕 捉精准识别机会 依赖具体场景
- 4.开源的端侧AI实现 端侧框架 为移动处理器优化性能 SDK裁剪到数百KB级别 Tensorflow Lite ncnn mace CoreML … 移动模型 中端机型上准实时图片分类 模型缩小到数MB级别 MobileNet v1/v2 MnasNet ShuffleNet v1/v2 …
- 5.支付宝的端侧AI挑战 端侧固有资源限制 x 国民金融App的特有挑战
- 6.支付宝的端侧AI挑战 端侧固有资源限制 x 国民金融App的特有挑战 覆盖 海量的用户基数 与“普惠”的服 务原则，更需要 对低端老旧机型 的不离不弃 空间 支付宝App承载 众多业务线，空 间资源的紧张程 度远超普通移动 App 安全 商业知识产权保 护与金融风险防 控的要求 效率 如何以有限的团 队人力支撑众多 业务线的端侧AI 需求
- 7.破局：算法与工程实现的紧密配合 算法层 工 具 体 系 实现层 网络结构搜索 卷积分组 权重&激活量化 算子融合 通道剪裁 模型加密 熵编码 权重稀疏化 预计算 多线程优化 SDK剪裁 扩展算子 定点NEON 浮点NEON 内存空间优化 缓存优化 异构计算 稀疏矩阵运算 稀疏卷积运算 模型解码 反反汇编
- 8.xNN：蚂蚁金服的端侧AI解决方案 定损宝 理赔宝 芝麻信用 网商银行 银行卡 预研 2016/10 支付宝上线 2017/08 蚂蚁EDGE 2018/03 扫价签 定损宝2.0 尬舞 …… 2016/12 立项 AR扫一扫 2018/02 春节集五福 千亿调用 2018/07 10业务场景 股票 口碑图片 Alibaba.com
- 9.xNN开发部署架构
- 10.算法层
- 11.实现层
- 12.xNN开发流程 模型训练 常规训练流程 模型优化 专用工具链支撑 模型压缩加速 模型转换 云转换平台提供 模型编码加密 模型预览 扫描二维码发起 实时效果预览
- 13.加速与压缩效果 单核耗时@armv7 (ms) 173.13 153.21 75.47 51.41 39.55 26.94 业务模型1 TFLite xNN fp32 业务模型2 xNN int8/fp32 12.611 模型尺寸 (MB) 3.153 0.496 3.254 0.814 0.227 业务模型1 Original 业务模型2 Quantized xNN
- 14.业务案例 - AR互动 2018春节集五福 98% 机型覆盖 10ms 预测耗时 100KB 模型包 1000亿 预测调用 AR扫一扫 扫花识花 ……
- 15.业务案例 - 金融OCR 卡证识别 银行卡 身份证 社保卡 交通卡 …… 扫价签 算汇率
- 16.业务案例 - 蚂蚁保险 理赔宝 凭证类型 拍摄质量 文档定位 定损宝 OCR车牌/VIN码识别 距离检测 模糊/光线检测 部件检测 损伤检测 ……
- 17.业务案例 - 娱乐设备
- 18.端侧AI的演进 0 云侧AI框架向端 侧的简单移植 1 通用的工程实现 优化；手工的模 型压缩加速 2 算法与工程实现 紧密配合；工具 化/自动化的模型 压缩加速 3 端到端、可视化 的、面向不同专 业程度开发者的 训练/优化/部署/ 测试平台
- 19.端侧AI的团队 业务算法 运用深度学习技术解决具 体业务问题的专家，专精 图像分类/分割/目标检测 /OCR等算法 工程架构 打通端侧框架与后台支撑 系统，建设覆盖算法开发 /发布/监控/数据/质量的 端到端工程平台 工具算法 深入理解机器学习原理、 深度学习基础网络结构、 信息论，主攻自动化模型 压缩与加速工具的研发 算法优化 计算机体系结构与算法性 能领域的专家，运用 NEON/OpenCL/汇编等 技术提升端侧框架的效率
- 20.
- 21.
- 22.谢谢 欢迎加入蚂蚁金服多媒体产品技术部 dajiang.zdj@antfin.com
