59e71f225c633

2020-02-27 193浏览

1.MaxCompute 2.0 欢迎大家毗邻阿里云大数据计算服务（MaxCompute）专场
2.MaxCompute 2.0 MaxCompute 2.0：阿里巴巴的大数据进化之路 The evolution of Alibaba Big Data Platform 阿里巴巴通用计算平台负责人/资深专家 Director/SeniorStaffEngineer of Alibaba Computing Platform 关涛 Tony GUAN
3.MaxCompute 2.0 1 概述今天专场的议题 2 阿里巴巴数据平台进化之路 3 MaxCompute 2.0 Moving forward
4.MaxCompute 2.0 MaxCompute/ODPS -- 阿里巴巴和阿里云大数据的旗舰计算平台 99%存储 + 95%计算 BigBench 2.5X 60K+/10+ 阿里巴巴内部统一的大数据平台，支持阿里所有业务高性能，低成本超大规模跨DC调度容灾能力 250% X 大数据旗舰平台公共云支撑上层”大脑”和数加 50套+ 作为大数据旗舰平台专有云部署到各行各业
5.MaxCompute 2.0 阿里云大数据计算服务（MaxCompute/ODPS）淘宝阿里妈妈高德合一聚划算应用层天猫 …… 菜鸟网络蚂蚁金服 B2B 客满 …… UC 安全部搜索 API Gateway 数据服务 ASR NLP OCR TTS 开发套件计算平台 DW Suite (D2/Base) 数据管理数据总线(DataHub) 基于Pub/Sub的数据同步服务 Image/Video Analysis 机器翻译语音识别开发套件大数据计算平台 MaxCompute/ODPS 智能大脑 DataV 数据可视化流水线管理人工智能 PAI …
6.MaxCompute 2.0 1 概述今天专场的议题 2 3 阿里巴巴 MaxCompute 2.0 数据平台进化之路 Now and Moving forward
7.MaxCompute 2.0 阿里巴巴大数据平台的进化之路
8.MaxCompute 2.0 大数据开始发展，在统一机器和数据中心的基础上，各个BU各自为战 IOE年代 Greenplum之巅（天花板）第一代平台开始运行 • 自主研发的云计算平台飞天的第一个集群稳定运行。 • MaxCompute作为核心运算引擎。具备超大规模海量数据处理能力 • 单集群规模5000台服务 • 飞天集群正式开始对外运营，技术领先。 2010.10 2013.08 ~2010 ~2009 Oracle之巅亚洲最大单日计算仍然无法完成 GP项目启动 2009.09 飞天MaxCompute大数据平台研发启动愿景：打造运算/分享数据第一平台 2012.07 • • • 开始统一数据平台数据统一存储数据标准统一数据安全统一管理 ~2013 Hadoop之巅亚洲最大， ~PB， ~5000台单数据中心扩展上限多租户安全不受控自主可控能力差 MaxCompute2.0 • 单集群过万台，12+集群 • 对内，性能/成本再优化 • 全球部署，支撑业务发展 • 对外大数据能力输出关键年 2016-2017 2014~2015 大数据平台开始日趋成熟 • 多级群能力 • 支撑双十一海量交易 • 支撑阿里金融业务创新 • 登月计划完成，云梯1/2合并
9.MaxCompute 2.0 登月计划 – 一个统一的过程 • 我们为什么要登月？ • • 在统一的数据中心和硬件基础上（IaaS），集团存在大大小小数十个计算平台；从技术上，阿里集团内部的技术发展路线上曾经是双“强”并立：支撑淘宝、支付宝等业务的以Hadoop为底层的云梯1和支撑阿里云、阿里金融等业务的以自主研发“飞天”及MaxCompute为底层的云梯2。 • 当时Hadoop平台面临的问题： • • • • • • 扩展性差，规模有限制，当时无法突破5千台稳定规模；无法满足数据和业务的高速发展； • 存在包括NameNode，JobTracker，HiveServer等多个单点；性能低，无法满足在5K+规模上的极致性能要求； • 引擎本身每年性能提升有限 • 开源强调的各层解耦，分层接口带来额外的性能开销；安全性不够高，Hadoop下的HDFS文件授权机制不能满足业务灵活的权限管理稳定性差，不能支持多个集群和跨集群容灾；起步简单，但后续提升困难，代码开源但反馈回社区的周期很长。很多集群变成事实上的“自研”系统；这又进一步导致的版本不统一，各个集群无法互联互通！。。。
10.MaxCompute 2.0 登月计划 – 一个统一的过程 • 这是一个“漫长”和“昂贵”的过程 • 阿里巴巴集团层面牵头，“登月计划”共有24多个项目，涉及阿里巴巴和小微金服所有的事业部，覆盖集团全部数据人员，其牵扯人员、资源之多，在集团内部罕见。 • 登月1号（阿里金融），登月2号（淘宝），。。。，登月24号 • 2014年1月9日，【登月计划】核心团队正式Kick Off，2015年6月30日，【登月计划】项目集正式Close。历时一年半。 • 为了保障登月计划，MaxCompute • • • • 满足所有Hadoop集群的功能，提供至少不低于其他方案的性能；并在接口，编程模型等多个方面兼容；提供完善的上云工具和数据迁移/对比工具；由于不得不在业务进行中升级，和业务方一起做无缝升级方案，“在行驶的飞机上换引擎”；
11.MaxCompute 2.0 登月计划 – 一个统一的过程 • 统一后： • 打造了集团统一的大数据平台 • 为我们迈进DT时代以及为集团数据业务的长远发展奠定坚实基础。 • 目前阿里集团内部计算业务运行于MaxCompute集群上，总存储能力达到EB级别，每天运行ODPS_TASK超过 300万。 • 新平台【安全性、可管理、能开放】 • 安全性：不仅仅是ODPS本身产品的安全特性，登月过程中还启动并执行了数据分级打标、数据脱敏、ODPS授权流程、虚拟域接入在云端查询版…… • 可管理：数据管理平台不断优化，统一任务调度中心、统一数据同步工具、统一数据地图管理、统一生命周期能开放：开放数据处理服务（ MaxCompute ）作为云产品家族的一部分正式开放给全社会使用…… • 新平台【高性能、全面的数据统一】 • 2014年存储资源优化节约近200PB，2015计算资源优化正在不断突破。 • 通过梳理，各业务团队的作业数/计算量分别有30%-50%的下降，一些历史遗留问题得到全面的清理。
12.MaxCompute 2.0 MaxCompute 2.0 Now and moving forward
13.MaxCompute 2.0 MaxCompute 2.0 架构持续升级多种工具支持 Studio 交互批处理新一代大数据语言结合imperative 与 Declarative优势 DataWorks 开发套件 New SQL 内存计算 Python Bubble Based Scheduling 支持多种运算模式覆盖主流语言基于代价和历史运行信息的优化运行时元数据管理，资源调度，任务调度 Cache 缓存分层存储（SSD，SATA，EC） Java 优化器编译器 WholeStage CodeGen 全异步IO 迭代计算统一的开发环境数据存储与生态系统的联动能力 Index支持 AliORC，与原生ORC兼容，性能提升15%
14.MaxCompute 2.0 大数据计算典型场景分析（从开发到上线）
15.MaxCompute 2.0 大数据计算典型场景分析（从计算量和延迟的角度）
16.MaxCompute 2.0 大数据计算典型场景分析（从计算量和延迟的角度） • 关键基线作业为主（20%） • 数据处理量大（80%） • 资源消耗多（80%） • 数据依赖多样 =》提升性能/效率是关键 • 开发/BI作业为主 • 作业量大（80%） => 开发效率+实时化是关键
17.MaxCompute 2.0 大数据计算交互式BI类场景分析 OnlineJob HotDataCache Index support in Data 生产阶段 Data Cooking/Pipeline Interactive Analysis Analysis/ Reporting BI 更优的查询计划实时性 • • • 通常是WebUI Based, 有较高的延迟要求（10Sec）由人“间接”驱动, Query不固定数据量小+Pre-cooked • 典型作业： • 基于Web的定制化报表（or Tableau/Notebook based） • QuickBI – 通过拖拽完成数据查询 • Shennong 数据监控 • SLS Log搜索运行时优化数据准备 Plan Cache Index based Shuffle Removing Predicate Pushdown 生态连接能力数据存储格式与其他系统 Streaming Processing Index/m-Index support 基于元仓的数仓建模
18.MaxCompute 2.0 大数据计算交互式BI类场景一个优化的例子生产阶段 Online Job Data Cooking/Pipeline 设计思想： • 针对中小规模 • 低延迟的交互式场景 • 提供可靠性 *线上60%以上的作用已经使用OnlineJob调度* Interactive Analysis Analysis/ Reporting BI Streaming Processing 主要技术： • 进程常住（以服务的形式Stand by） • 作业间复用 • 网络直连（避免落盘） • 事件驱动的调度方式 • 基于统计和历史信息的自动切换，用户不感知
19.MaxCompute 2.0 大数据计算交互式BI类场景一个优化的例子传统方式：磁盘生产阶段 Online Job M1-0 M1-0 M1-0 Data Cooking/Pipeline a aa b bb J-0 J-0 M1-1 M1-1 M1-1 J-1 M1-2 M1-2 Interactive Analysis Map1 Map1 Map1 Map2 Map2 Map2 Analysis/ Reporting 网络直连 M1-0 BI J-0 Join Join Join Streaming Processing M1-1 J-1 M1-2 内存checkpoint
20.MaxCompute 2.0 2017 BigBench On MaxCompute 2.0 + PAI 7830 QPM 100TB 首个达到7000分的引擎首个100TB规模测试集通过 $371.9/QPM $12.3/QPM $2.1/QPM 预付费包3年价格预付费包1月价格按需后付费价格首个基于公共云服务的BenchmarkDisclaimer:The BigBench kit used for these performance tests is derived but not the same from TPCx-BigBench, and the results are not directly comparable.
21.MaxCompute 2.0 为什么选择MaxCompute作为大数据平台开通即用的在线服务 5分钟完成在线开通开通即拥有大数据平台高效能低成本性价比最高的大数据计算引擎 • 数加控制台 5分钟开通 • SDK • 2016年Sort 成本最低排序1.44$/TB • 客户端无需平台维护一站式大数据服务 Bench 100TB • 2016年Sort • MaxCompute 速度最快 Bench 100TB 排序377秒 • DataIDE • 基于IntelliJ的 Stduio 安全可靠保障数据在多租户环境的数据安全项目级别安全跨租户访问控制 • 从GB、TB到按需扩展 PB、EB • 零运维介入支持多种分布式计算模型满足不同场景的技术需求 • 独有的基于项目级别的数据 SQL 保护机制 • Package授权 • Trusted模式 • 阿里云RAM Map Reduce 双11的核心数据平台 SQL语法支持多宗数据源、生态工具和社区标准 • OGG、Sqoop、数据上云 FluentD • 在MR基础上支持MR2，Map Flume、 • SQL、社区兼容接多个Reduce Hadoop MR、 Hive Thrift • JDBC、ODBC、 • 阿里集团历届久经考验 • 采用标准的生态开放兼容图计算 • 适合复杂的迭代计算场景生态连接 R、Python Pandas、 IntelliJ IDEA
22.MaxCompute 2.0 为什么选择MaxCompute作为大数据平台数据源数据集成工具大数据项目开发工具数据计算、管理与数据运维数据分析与应用应用产生的数据（在阿里云） CD N 内容分发日志 SLB负载均衡 RDS VPC专有网络 DataIDE （数据管理与数据运维） DataIDE DataIDE （数据同步）（数据任务与流程开发）机器学习（深度分析） ECS部署应用集群 O SS 文件存储 RD S 数据库 OSS Sqoop 专线／VPN连接应用产生的数据（在其它数据中心）已有数据中心 Logstash Analyti cDB Oracle DB Hadoop 集群 CSV 独立的数据集 Fluentd OGG For MC MaxCompute客户端（命令行工具） DataX 迭代计算图计算流计算推荐引擎 MaxCompute：统一的计算引擎飞天分布式操作系统：一台大计算机阿里云数据传输 For MaxCompute MaxCompute 客户端Tunnel MR SQL 10000台 10000台 10000台报表分析 MaxCompute Studio （基于IntelliJ）集群1 集群2 集群n 数据大屏
23.MaxCompute 2.0 阿里云大数据计算服务（MaxCompute）专场
24.MaxCompute 2.0 THANK YOU Scan QR Code 关注MaxCompute产品社区了解MaxCompute产品详情加入MaxCompute钉群咨询诚聘MaxCompute英才 Community Product Details Join DingTalk Group We are hiring!
25.
26.