阿里云数据库开发负责人徐东来：阿里云数据库平台架构演进之路-对外

2020-02-27 760浏览

  • 1.阿里云数据库平台架 构演进之路 演讲人：徐东来 全球敏捷运维峰会 北京站
  • 2.⾃自我介绍 徐东来，花名云智 10余年年IT从业，从传统IT企业到互联⽹网 - 8年年时间，从事安全审计领域产品研发 从⼯工程师到技术总监，陆续参与并推出如下产品和服务： ✓ ⾯面向企业的软硬件⼀一体的“运维安全审计产品”和“数据库安全审计产品” ✓ 其他系列列审计产品：⽹网络安全审计、⽇日志安全审计、恶意代码监控、等保⼯工具箱、 基于⼤大数据架构的威胁检测系统等 - 2年年时间，从事B2C电商的数据分析、搜索和推荐系统的研发； 2015年年3⽉月追寻云计算的梦想，来到了了阿⾥里里云云数据库团队。 云数据库平台和安全相关系统的研发 全球敏捷运维峰会 北京站
  • 3.主要内容 • DBaaS的定位 • 阿⾥里里云DBaaS的架构 - IaaS层的选择 - 应⽤用拓拓扑的演进 - 资源调度与分配 - 任务⼯工作流系统 - 可⽤用性检测与故障恢复 - 弹性扩缩容系统 - 备份与恢复 - 性能监控 - 部署与运维、DevOps实践 • DBaaS -> App as a Service VS. CaaS(k8s) 全球敏捷运维峰会 北京站
  • 4.应⽤用托管云化趋势 IaaS 业务功能 应 ⽤用 运⾏行行时 容器器层 操作系统 虚拟化 硬件 CaaS （k8s） 业务功能 应 ⽤用 运⾏行行时 容器器层 操作系统 虚拟化 硬件 PaaS （cf） 业务功能 应 ⽤用 运⾏行行时 容器器层 操作系统 虚拟化 硬件 FaaS （Serverless） 业务功能 应 ⽤用 运⾏行行时 容器器层 操作系统 虚拟化 硬件 SaaS 业务功能 应 ⽤用 运⾏行行时 容器器层 操作系统 虚拟化 硬件 ⽤用户管理理 ⽤用户管理理 （弹性单元） 平台提供 • 路路径： • 完全⾃自建->数据库云化->缓存/消息中间件云化->应⽤用微服务化/Docker化； • 从看到主机，到看到容器器和应⽤用，到Serverless； 全球敏捷运维峰会 北京站
  • 5.Stateless Service vs. Stateful Service Stateless Service • ⽆无需持久化，⼀一般为Web应⽤用 • 容易易⽔水平扩展 • 可快速扩缩容 • 故障恢复快 • 只需考虑CPU和内存资源 • ⾮非常合适使⽤用容器器编排类技 术，如K8S、Swarm等 Stateful Service • 持久化，⼀一般为数据库、缓存、 中间件等应⽤用 • 要考虑数据同步、备份还原、 数据可靠性、数据安全等 • 不不易易扩展 • 故障恢复慢 • 综合考虑CPU、内存、IO、磁 盘等资源 • 现有的容器器平台⽀支持度不不好 全球敏捷运维峰会 北京站
  • 6.DBaaS是什什么？ 全⽣生命周期管理理 创建 释放 升级 锁定 扩缩容 ⾃自动化运维 恢复 容灾 监控 备份 迁移 开箱即⽤用 安全 可⽤用 性能 可靠 SLA保证 全球敏捷运维峰会 北京站
  • 7.DBaaS与 ⾃自建数据库的区别 DBaaS 服务可⽤用性 99.95% ⾃自建数据库 需⾃自⾏行行保障，⾃自⾏行行搭建主从复制，RAID等 数据备份 ⾃自动备份 ⾃自⾏行行实现，但需要寻找备份存放空间以及 定期验证备份是否可恢复 硬件成本 ⽆无托管费⽤用，⽆无软硬件投⼊入，按需付费 数据库服务器器成本相对较⾼高；每台服务器器 每年年托管费超过5000元；对于MS SQL Server需⽀支付许可证费⽤用 部署运维 即时开通，快速部署，弹性扩容，按需选 需硬件采购与，机房托管，部署机器器，周 购 期较⻓长 资源利利⽤用率 按实际结算，利利⽤用率很⾼高 考虑峰值，资源利利⽤用率很低 全球敏捷运维峰会 北京站
  • 8.阿⾥里里云数据库产品及中台 引擎层 20+ PolarDB Oceanbase PetaData MySQL MariaDB PG MSSQL HANA Greenplum PPAS OTS ADS HiTSDB OpenSearch Redis MongoDB HBase MemCache ElasticSearch InfluxDB 中台服务 茅台 DBaaS核⼼心 Robot ⾃自动运维 杜康 内部运维console 天⻢马 硬件供应链管理理 移⼭山 资源智能调度 天⻰龙 应⽤用部署发布 吹沙 引擎诊断 天象 全链路路监控
  • 9.架构演进的特征 性能提升 效率提升 稳定性 ⽤用户体验 软件优化 硬件加速： RDMA／25G／FPGA DEVOPS 机器器／应⽤用交付⾃自动化 资源争抢问题 SLA⼤大盘 迁移防闪断 热升级 ⾃自定义运维时间 成本降低 资源利利⽤用率 库存预测 安全体系 化 平台化 通⽤用化 数据驱动 闭环 多层防护 从⽀支撑DB，到⽀支撑通⽤用应⽤用 事前、事中与事后结合 应⽤用拓拓扑从简单到复杂 国内外安全合规法案 微服务化，专业化分⼯工 业务画像 异常分析与智能诊断 个性化推荐 全球敏捷运维峰会 北京站
  • 10.阿⾥里里云DBaaS的演进 DBAAS 1.0 Only for RDS 资源模型为Master／Slave结构； 为数据库⾃自动运维需要设计； 业务与平台紧耦合； 产品：MySQL／SQL Server／ PGSQL DBAAS 2.0 业务驱动的管控平台化 通⽤用能⼒力力沉淀复制； 快速新产品开发模式； 组件通⽤用化、插件化设计； 产品：MongoDB／Redis／ Greenpulm等 DBAAS 3.0 从业务回归到平台本质 not only DBAAS，do more 基于DSL的集群编排的快速新品开发能⼒力力 利利⽤用阿⾥里里云⽣生态红利利（ECS／存储／⽹网络） ⼯工作流／备份／HA／监控平台化改造 平台和产品独⽴立迭代能⼒力力 中台能⼒力力输出到更更⼴广泛的产品 产品：HBase／HiTSDB／PG10／列列存／ kafka／Flink／ElasticSearch等 全球敏捷运维峰会 北京站
  • 11.核⼼心组件架构 DNS Aliyun web console SLB／ALB Optional Proxy … Proxy Host_1 MySQL1_m MySQL2_s MySQLn_x AGENTs Host_2 MySQL1_s MySQL2_m MySQLn_x AGENTs Kafka Cluster RDS Brain HybridDB MySQL Controller Controller Message Broker API Server Task Controller Workflow Engine HA Controller Resource Scheduler Stat Controller Backup Controller operator console MetaDB 全球敏捷运维峰会 北京站
  • 12.IaaS层的选择 ⽹网络 SLB／DNS Classic 1G/10G NGLB VPC 25G 存储 Local Storage 云盘（盘古） 专⽤用共享存储+⽤用户态⽂文件系统 操作系统 资源隔离 主机 AliOS 6u Cgroup bare metal AliOS 7u Docker ECS 全球敏捷运维峰会 北京站
  • 13.⽤用户视⻆角 内部视⻆角 ⼏几个概念 ⽤用户实例例 • 不不感知应⽤用的拓拓扑 • 只需要感知到服务地址和端⼝口 逻辑实例例 规格 • 规格（CPU、内存、磁盘、IOPS、节点数等） 物理理实例例 主机实例例 • 主机实例例⻆角⾊色：Master、Slave、Hidden 全球敏捷运维峰会 北京站
  • 14.应⽤用拓拓扑演进 物理理实例例 ins1 包含主从 两个主机实例例 HostA ins1(master:3001)'>master:3001)