御膳房 阿里大数据平台服务
2020-03-01 241浏览
- 1.御膳房-阿里大数据平台服务 王贲（陈廷梁） 2014-07
- 2.自我介绍 • 陈廷梁，花名：王贲 • 数据平台事业部-商家数据部-架构师
- 3.目录 • 御膳房简介 • 功能介绍 • 技术架构 • 未来规划
- 4.御膳房简介 • 对外提供一站式大数据服务的平台，让天下没 有难玩的数据 • 从提供酒菜到提供厨房 • 从自己玩数据，到提供平台enable大家玩数据 • Enable 数据交换和分享，数据驱动用户创造更 大商业价值
- 5.御膳房简介-云层 • PAAS – Data platform as a service – Data warehouse as a service – Data center as a service
- 6.御膳房简介-核心价值 • 阿里数据开放的平台 • 提供大数据存储计算能力 • 一站式数据开发引擎 • 云数据中心（仓库）解决方案 • 数据市场-数据交换分享 • 数据安全服务
- 7.御膳房简介-发展历程 2012.9 第一次亲密接触聚石塔商家后台团队 2012.10 开始规划聚石塔数据平台-御膳房 2012.10~2013.1 前御膳房 2013.3 御膳房0.1上线 2013.6 ODPS评测 2013.7 完成底层云化迁移，HIVE->ODPS，MYSQL->UMP(Unified MySQL Platform) 2013.8 M/R开发环境上线 2013.8 算法环境上线 2014.4 新算法环境上线 2014.6 御膳房成为阿里统一的对外数据平台服务，开始接入非电商市场
- 8.御膳房简介-业界动态 • Amazon Redshift • 京东云海：2014
- 9.御膳房功能-数据开发 第一步 看数据 御膳房开放商家、商品、品牌、客服相关的淘宝数据，为数据开发提供源动力
- 10.御膳房功能-数据开发 第二步 用数据—计算开发 御膳房提供IDE开发工具，通过提交SQL、M/R等程序玩转淘宝数据
- 11.御膳房功能-数据开发 第三步 部署任务 可根据需求对任务进行灵活部署
- 12.御膳房功能-数据开发 第四步 发布接口 简单的接口发布，通过TOP接口，拿到数据计算结果
- 13.御膳房功能-数据开发 MapReduce MapReduce简 称MR 平台也提供了 Eclipse开发插 件来辅助 MapReduce开 发与调试。
- 14.御膳房功能-数据开发 UDF User Defined Function，即用 户自定义函数。 平台提供了 Eclipse开发插件 来辅助UDF开发 与调试。
- 15.御膳房功能-算法开发
- 16.御膳房功能-算法开发 基于 工具链 的一站式数据挖掘平台 * 虚线表示使用过程中的链式关系。工具可自由选择，两两之间，都可协同工作。
- 17.御膳房功能-算法开发 XLib XLib是ODPS的分布式算法库，支持分类预测 、 回归 、聚类 、关联分析 、矩阵计算等。
- 18.御膳房功能-算法开发 XLib XLib是ODPS的分布式算法库，支持分类预测 、 回归 、聚类 、关联分析 、矩阵计算等。
- 19.御膳房架构-按数据流分层 用 户 服 务 层 数 据 平 台 层 数 据 层 数 据 源 数据生产者（ISV/商家…) 数据消费者（商家…) APP host in AE（TAE，ACE） 上传数据 开发程序 部署任务 导出结果 APP host in VM REST/TOP 数据查询层（UMP，RDS，HBASE，OB） 离线计算平台 （ODPS） 用户1 数据中心 用户2 数据中心 实时计算平台 （garuda， galaxy） 用户数据中心—数据仓库建模 数据标准联盟 实时传输 阿里集团 权 限 计 费 专有通道 电商数据 元 数 据 管 理 … 调 度 系 统 数 据 开 发 环 境 用户n 数据中心 批量传输 其他用户数据
- 20.御膳房-调度系统Octopus • 起 • 停 • 重跑 • 补跑 • 支持即时调度和周期调度 • 最小调度周期1分钟 • 支持优先级 • 可扩展，LB，HA
- 21.调度系统Octopus架构 调度服务 Service Cluster Server Cluster Gateway Cluster Compute Cluster Service Service JobScheduler Worker Worker ODPS Service Service JobScheduler Worker Worker Hadoop
- 22.M/R计算环境系统框图
- 23.御膳房数据上传系统框图 HTTP接口 （TOP） Stream Data TTWriter Server 实时数据 TT 创建、管理Topic API接口 用户 调用 实时 御膳房 Web 离线 DataBase (RDS, etc) 数据传输 Data Server 离线数据 ODPS Leech Agent 调用 Agent 控制指令 Leech Server Server File 创建、控制Job API接口 管理 …… 外网 内网 管理员
- 24.御膳房未来规划-业务 • 更大用户群 – 电商：商家，ISV，品牌商 – 广告 – 其他：气象局，交通局 • 建立用户数据中心以及长在上面的app生态 – BI 工具：MSTR，Cognos，数云，Tableau – 自用或第三方app • 促进数据交换分享
- 25.御膳房未来规划-架构 消费者 数 据 源 生产者 应用程序(BI，APP…) 开发环境 kernel 系统服务 底层平台（odps，rds，AE，VM）
- 26.
