华为产品数据科学家陈玉君 - 如何设计开发智能分析产品？供应链领域的实践启示
2020-02-27 224浏览
- 1.如何打造智能分析产品？ - 供应链需求预测产品的实践启示 陈玉君 华为 产品数据科学家
- 2.陈玉君 华为 产品数据科学家 l 华为质量与流程IT部门； l 法国国家信息与自动化研究院实习并留任工程 师；直读博士毕业于清华大学计算机系； l VectorCG 时尚推荐产品、有利网金融产品、 风险建模； l 道法自然，热爱生活，迎接挑战
- 3.• 供应链领域的智能化应用 • 需求预测产品和技术架构 • 智能算法在产品中应用 • 分析可视化在产品中呈现 • 总结和展望
- 4.供应链，从一个身边故事开始 物流、信息、资金流、周转率、商业利益最大化 实例：ZARA、AMAZON、GE、华为等 营销 订单/ 计划 物流 生产/ 采购 客 仓储 户 消费者洞察 智能研发、生产决策和响应 供 应 商 供应商协同
- 5.数据智能让供应链更简单、更及时 辅助/自动决策，业务增长黑客、寻找共性 涉及预测、分类、最优化等多种算法模型 需求预测 …… …… …… …… …… 预测客户需求 供应、需求匹配 统一的数据平台 多点的信息收集 专业化的 数据分析 研发生产快速 响应
- 6.需求感知预测产品设计的前提 – 数据分析应用 相关性，找模式 预测 = 模式 + 不确定性 A! B! 不确定性查找 To C 预测和To B预测 B! A! C! 因果关系到强 分类，采样到全量数据 每一个细节的数据掌控 相关关系
- 7.提供给用户的预测分析模块的框架 对照与拆分 个性化与精细化 发现问题，数据辅助解决问题 升、降维 数据 分析 数学建模 假说与验证 依照这些方法，与业务共同设计辅助预测模块，数 据支撑业务，提供洞察
- 8.• 供应链领域的智能化应用 • 需求预测产品和技术架构 • 智能算法在产品中应用 • 分析可视化在产品中呈现 • 总结和展望
- 9.需求感知预测产品提供“一站式”需求预测 让预测更简单，更智能，更准确 行业现状痛点 目标 预测业务 业务逻辑不透明 经验和方法传承性弱 预测逻辑&建模 ! 中长期&年度&短期预测逻辑 搭建预测模型加以验证 10 +种预测模型库辅助 数据平台 统计工具效率低 缺少定制化数据分析 统计要素维护复杂 需求感知预测 数据底座承载数据 根据不同产品特征，智能定制数据 多维度、跨产品需求关联分析 KPI和智能预测模型结果分析 价值 预测准确率提升，增加业务效率
- 10.产品架构设计：前、中、后台服务化设计 体 前台： 验 用户交互 精 中台：预测模 度 型调度 效 中台： 率 数据服务层： 准 后台：数据底 确座 多层信息传导 辅助预测分析 预测制定 预测发布 算法模型应用 ……… 数据预处理 模型评估 机器学习模 型训练 模型预测 定时 调度 输入输出参数 交互在线模拟 在线 模拟 ……… 数据异常监测 各种数据预处理 各种数据对象管理 各种数据服务集成 关键指标计算 ……… 第三方数据 历史数据 市场空间 客户动态 人工预测值 财务数据 ……… 最优化特征转换
- 11.产品技术路线选型和优缺点分析 前台： 用户交互 中台：预测模 型调度 中台： 数据服务层： 后台：数据底 座 Tableau Echart Java ……… Java SAS R 定时 调度 在线 模拟 备选Python ……… Java Spark ……… 批量数据采集 实时数据采集 Oracle Hadoop 流式处理Storm ……… Mysql MangoDB 宗旨：敏捷，可扩展，各取所长
- 12.• 供应链领域的智能化应用 • 需求预测产品和技术架构 • 智能算法在产品中应用 • 分析可视化在产品中呈现 • 总结和展望
- 13.机器学习的前世今生 用数据的广度，辅助思考的深度，用数据重构对世界的认 识；用重复的计算，完成机器对于数据的理解 归纳 收敛时间和精确度 演绎 同一类型数据的重复获得规律 模式识别\机器学习方法 （有监督学习、无监督学习） 强化学习 训练成本高，数据依赖 深度学习 根据规则（知识）推理 知识推理 通用性差
- 14.机器学习的基本原理和术语 y= f(x)! 什么样的黑匣 子？ 关系映射 参数估计 泛化 代价函数 收敛 过拟合 监督学习： 有标注的数据让机器学习 规律 经验数据指标 化，机器结果 辅助决策 回归 分类 非监督学习： 大量数据让机器自己去学 习规律 海量数据，聚 类、神经网 络、深度学习 等自学习 聚类 深度 学习
- 15.分类回归算法的三类模型 线状模型 树状模型 网状模型 ARIMA 、LR、 Linear SVM …… 高维度 稀疏性 速度快 特征难 RF(Random Forest DT(Decision Tree) GBDT(Gradient Boos8ng Decision Tree)…… 连续性 稠密性 易解释 有限制 NN(Neural Network) RNN/CNN …… 非线性 大规模 调参难 机器学习系统：多种方法集成并用
- 16.业务问题如何通过数据转换算法模型？ 明确目标、了解特性流程、确定用户对象、设计算法和特征 业务 结构化 训练 产品 需求 问题 框架 数据 模型 应用 逻辑 分类 设计 特征 部署 模型 123456 重中之重，预测对象确定，约束转为特征
- 17.需求预测产品中机器学习集成算法架构 数据集成 初次分类 SAS 时间序列 R 机器学习 在线 应用 特点：历史时间序列和当前情况，人工经验的结合 设置目标和约束 时间序列转换成特征 结果： 准确率提升8% 效率提升 不同类型 初步分类 数据特征输入 特征1 特征2 …… 时间序列模型 UCM Arima 滑动平均 …… 机器学习集成算法 神经网络类模型 回归模型(LM等) SVM 随机森林 …… 针对不同维度对象 定时调度 算法加权集 成和择优 预测 MAPE、RMSE 等各种指标 最终预测 在线模拟 人工参数 调整 辅助预测 在线加入人工反馈
- 18.实践关键点：综合特征，多种模型，充分利用主流框架 What How Why 业务中 特征提取 特征 模型 多快 好省 组合方案 多试多用 GPU提高效率 Tensorflow Caffe等等 平台 框架
- 19.学术界关注模型 关键会议期刊，跟踪前沿 产业界关注应用 借鉴应用 PAMI
- 20.• 供应链领域的智能化应用 • 需求预测产品和技术架构 • 智能算法在产品中应用 • 分析可视化在产品中呈现 • 总结和展望
- 21.需求感知预测数据分析现场演示 用户体验 可视化 快速开发
- 22.数据类产品中可视化是关键诉求之一 思维和设计原则 人的大脑50%与视觉处理相关 视觉暂留0.1s- 0.4s 视觉吸引 增强理解 合理设计的数据可视化，可以甄别异常，启发思考， 辅助挖掘数据价值，准确明确有效传递信息。 易于记忆 22
- 23.总体原则- 人们如何观察可视化视图? 位置 颜色 大小 形状 重要 次要 颜色原则 同一个模块中 颜色三类之内 A 第一 类色 颜色搭配 主色 + 辅色 + 点睛色 B 第二 类色 C! 第三 类色
- 24.视觉设计的基本原则 C.R.A.P- Robin C Contrast 对比 R Repeat 重复 AP Alignment Proximity 对齐 亲密 24
- 25.数据关系 比较 分布 组成 相关 趋势 图表分类应用基本分类 适合图表样式 25
- 26.• 供应链领域的智能化应用 • 需求预测产品和技术架构 • 智能算法在产品中应用 • 分析可视化在产品中呈现 • 总结和展望
- 27.总结需求感知预测产品落地之旅 核心：场景设计和业务行业经验 壁垒：模型能力 亮点：分析可视化能力 瓶颈：计算能力
- 28.Gartner预测的发展趋势 数据分析大众化，解耦模型算法，云化、产品化、模板化的综合应用 数据归一化 统一数据语言 算法集成化 算法库，集成 预测服务 数据标准化 特征标准化 算法标准化 场景标准化 特征标签化 提供特征工程工具 标签化，自动化的特征识别 场景模板化 分类、预测、决策、 分析服务模板化
- 29.总结和展望 发散到收敛 创新 预则立：确定目标，设计架构，服务 1 灵活性：多种工具整合，模型试验，紧跟最新 2 前沿，交流创新 聆听 用户需求 平台是基础，数据是关键，应用 3 是灵魂；留心探索应用机会
- 30.
