MySQL数据库架构的演化观察
2020-02-27 190浏览
- 1.MySQL数据库 架构的演化观察 y锋（禇霸Z V1.( 阿里巴巴研究员
- 2.
- 3.
- 4.
- 5.y锋（禇霸Z 阿里巴巴研究员 2$13年起负责阿里云计算公司的数据库相关业务，他的研究领域包括云计算、边缘 计算和软硬s协同设计。 2$1$年加入阿里前，在a国k联网基础软s领域工作g12年，nh过k联网、游 戏、通讯业务等行业，作d早期员工服务过网易、迅雷等公司。 作d资深工程师在a间s、数据库、存储系统和硬s等技术领域都有突出的造诣， 有超过2$年的系统软s编码功底和b富的大规模复杂集群系统的构建和演进经验。
- 6.• 架构演进的动力 • 架构演进的路径 • 技术社区的变化
- 7.用户视角需求 • 成本合理，只d使用付钱，维护费用少 • 使用方便，尊重当下投资，满足业务未来发展需求 • 业务适应面广， 最好O82 =IB2 3I>= .LL • 平台开放性，不被MPEL-iO
- 8.架构d业务服务 • 面向如政府、银行、IP>、高并发k联网场景一揽子解决方案 •Q:=#可靠性、成本和性能的平衡 • 稳定性第一、不惹h（业务连续Z • 数据闭环和生态，尊重用户熟悉的姿势，提 选择的能力 • 用户行d不可预测带来挑战，系统自证清白能力
- 9.业务关键词 ฃአ Ի՞ ౮ ݢᶌ ਞ قኞா ᚆ ّ ݢአ ᵍᐶ ݳᥢ ଘჶ
- 10.架构演进的推动力 • 云化普及、基础设施地位 • 大数据、IP>和.I带来的机u • 硬s迭r：0:U（12)核ZW 网络(1$TR级别ZW IO(1$TR级别) W 超大内存 （>级别ZW 8U<.M • 基础软s技术突破
- 11.架构演化路径 • 数据结构：算法围绕数据转 • 业务架构：计算围绕着数据库 • ###MV=QL在1/12.架构演化路径-续 • ###数据库（资源消耗和智力密集性基础软sZ = =QL + 存储 + 计算 • 存储层面 • e路径 -- 共m存储（实时Z，安全和容灾能力 • k通 -- 文s存储（类v.A= .ShGOC) • 异构数据冗y和可靠性保证 • 计算层面 • 类vOQCEMG数据库能力 • 混合计算（OL>:和OL.:、搜索、0CEhGZ • 实时化能力，LCNDFC数据流动和hs触发（存储过程Z13.架构演化路径-续 • =QL层面： • 屏蔽后端变化（软硬s升级、灾难、平滑扩缩容Z • =QL路由负载均衡#读写分离 • 运营和生态支撑 • 可视化闭环系统，提高研发和运营效率 • 异构数据k通 （如:4、MPOIP1/k通ZW 异构系统k通 （如=GCQEhk通Z • 数据o库#/I支撑等生态能力 • 服务 • 专家服务和体检 += h前 W 诊断系统 += ha W 救援服务 += h后14.架构突破 • 计算存储分离 • 计算 +---网络---- 存储 • 好处：减少维度 • 计算维度 =- 0:U + 内存 • 存储维度 =- IO + 网络 • 网络是最大瓶颈，解决手段： • 提高网络速度和带宽+-硬s红利 • 减少网络lk次数和加大信息密度+-软s红利 • 多.B，加大并行度和容灾+-I10红利15.架构突破-续 • 单机架构逐层拆解： • W =QL W • W h务 W • W 0CEhG W • W 存储 W • 关键词PffMPCF • 数据库核心逻辑下沉到存储：利用集群分布和闲时资源细水长流算 • 再下沉到硬s层：3:4.、.=I0、盘载计算资源16.架构突破-续 • 解决数据副本、数据变形、=EhGNC演化即刻计算的rt • 解决高并发、高扩展(毛刺和突发Z • 解决隔离问题，n存储颗粒级别、设备、存储、引擎、h务、=QL、虚拟化整链条k不干扰 • 解决扩展问题: • 计算能力 : 一e多读 -- 读写分离 -- MTMSi MCRSGQ • 存储能力： 提高引擎存储效率（新数据结构，压缩Z-- 共m存储 -- 引擎逻辑下沉的共m存储 • 解决=CC=化i次多租户问题 • 衡量指标： • 架构保证业务平滑 • 秒开秒关，秒扩秒缩，数据保持温热17.规模化带来的挑战 • 无需提前容量规划、秒计费、应对突发和c时需求 • 辅助运营 .FUiRPQ#0MPTF1/. • 可时光回溯的问题追踪定位系统 • 全自动化下的业务顺滑和风险规避18.技术社区的变化 • 商业驱动技术变化 • 数据库厂商版权收紧推迟开源 • 0MPTF 8CSiUG设计理念、混合云趋势化19.
- 12.架构演化路径-续 • ###数据库（资源消耗和智力密集性基础软sZ = =QL + 存储 + 计算 • 存储层面 • e路径 -- 共m存储（实时Z，安全和容灾能力 • k通 -- 文s存储（类v.A= .ShGOC) • 异构数据冗y和可靠性保证 • 计算层面 • 类vOQCEMG数据库能力 • 混合计算（OL>:和OL.:、搜索、0CEhGZ • 实时化能力，LCNDFC数据流动和hs触发（存储过程Z
- 13.架构演化路径-续 • =QL层面： • 屏蔽后端变化（软硬s升级、灾难、平滑扩缩容Z • =QL路由负载均衡#读写分离 • 运营和生态支撑 • 可视化闭环系统，提高研发和运营效率 • 异构数据k通 （如:4、MPOIP1/k通ZW 异构系统k通 （如=GCQEhk通Z • 数据o库#/I支撑等生态能力 • 服务 • 专家服务和体检 += h前 W 诊断系统 += ha W 救援服务 += h后
- 14.架构突破 • 计算存储分离 • 计算 +---网络---- 存储 • 好处：减少维度 • 计算维度 =- 0:U + 内存 • 存储维度 =- IO + 网络 • 网络是最大瓶颈，解决手段： • 提高网络速度和带宽+-硬s红利 • 减少网络lk次数和加大信息密度+-软s红利 • 多.B，加大并行度和容灾+-I10红利
- 15.架构突破-续 • 单机架构逐层拆解： • W =QL W • W h务 W • W 0CEhG W • W 存储 W • 关键词PffMPCF • 数据库核心逻辑下沉到存储：利用集群分布和闲时资源细水长流算 • 再下沉到硬s层：3:4.、.=I0、盘载计算资源
- 16.架构突破-续 • 解决数据副本、数据变形、=EhGNC演化即刻计算的rt • 解决高并发、高扩展(毛刺和突发Z • 解决隔离问题，n存储颗粒级别、设备、存储、引擎、h务、=QL、虚拟化整链条k不干扰 • 解决扩展问题: • 计算能力 : 一e多读 -- 读写分离 -- MTMSi MCRSGQ • 存储能力： 提高引擎存储效率（新数据结构，压缩Z-- 共m存储 -- 引擎逻辑下沉的共m存储 • 解决=CC=化i次多租户问题 • 衡量指标： • 架构保证业务平滑 • 秒开秒关，秒扩秒缩，数据保持温热
- 17.规模化带来的挑战 • 无需提前容量规划、秒计费、应对突发和c时需求 • 辅助运营 .FUiRPQ#0MPTF1/. • 可时光回溯的问题追踪定位系统 • 全自动化下的业务顺滑和风险规避
- 18.技术社区的变化 • 商业驱动技术变化 • 数据库厂商版权收紧推迟开源 • 0MPTF 8CSiUG设计理念、混合云趋势化
- 19.
