腾讯CKV分布式存储系统揭秘
2020-02-27 573浏览
- 1.Tencent
- 2.CKV分布式存储揭秘 邹润谋 腾讯社交网络运营部高级DBA 2014年11月 Tencent
- 3.目录 • 腾讯社交网络内存发展演变 • CKV概述 • CKV架构介绍 • CKV模块功能简介 • CKV自动化管理 • CKV精细化运维 Tencent
- 4.腾讯社交网络内存发展演变 Tencent
- 5.目录 • 腾讯社交网络内存发展演变 • CKV概述 • CKV架构介绍 • CKV模块功能简介 • CKV自动化管理 • CKV精细化运维 Tencent
- 6.概述 什么是CKV •分布式的内存/SSD存储系统 •Key-Value模型数据 •双机热备+流水磁盘备份 •微秒级响应速度 •支持多协议接入 •存储无理论上限 Tencent
- 7.使用CKV的优点 Tencent
- 8.CKV在腾讯社交网络运营现状 • 大范围业务覆盖，空间/广点通/相册/QQ/开放平台等 • 超过3000个子业务模块接入 • 设备规模超万台，TB级内存存储+PB级SSD存储 • 日峰值访问量超过4千万/秒 Tencent
- 9.目录 • 腾讯社交网络内存发展演变 • CKV概述 • CKV架构介绍 • CKV模块功能简介 • CKV自动化管理 • CKV精细化运维 Tencent
- 10.CKV最早模型 Client 路由信息 Access Acess Master Access 探测，仲裁 Rsync Cache Master 同步从机失败的 流水 Rsync Cache Slave Rsync Rsync Backup Recover 冷备服务器 Cache Master Cache Slave Transfer Rsync Cache Master Rsync Cache Slave Tencent
- 11.CKV组件模型 Master 路由资源管理 Recover 备机失败接管 Access 缓存路由 访问分布 客户端 Asn1_3 Tdb memcach e L5 名字 服务 Hash() 0 ip cu CKV Proxy 1 ip cu … 9999 ip cu Monitor 业务监控信息上报 CKV Master CKV路由资源 Transfer 资源搬迁 Task Svr 调度资源搬迁 Cache 数据存储 Cache M CacheS Cache M CacheS Cache M CacheS AutoTransfer 自动扩容，缩容，失 败搬迁，负载调平 Stat Svr Detect Svr 统计入库 CKV Scheduler 调度数据下沉 备份 恢复 中心 告警探测 CKV expire 总体过期淘汰 CKV monitor 监控数据上报 TSSD Tencent
- 12.目录 • 腾讯社交网络内存发展演变 • CKV概述 • CKV架构介绍 • CKV模块功能简介 • CKV自动化管理 • CKV精细化运维 Tencent
- 13.存储组织 Cache Master set Cache Slave C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U C U … … binlogCU:CacheUnit，CKV中最小存储单元，默认为1GB，一对机器提供56个CU 里面包括K/V存储，索引，元数据 Tencent
- 14.数据路由 Access Hash(key) 业务1 0 ip cu 1 ip cu … 9999 ip cu C U … C U C U C U C U C U C U 业务2 业务3 0 ip cu 1 ip cu … 9999 ip cu 0 ip cu 1 ip cu … 9999 ip cu … C U C U C U C U C U C U … C U … C U C U C U C U 业务n 0 ip cu 1 ip cu … 9999 ip cu C U … C U C U C U C U C U 路由表由1万个格子（桶）组成，每个格子定义后端指向的CU 一个格子最多对应一个CU，一个业务最大容量是:CU*10000 Tencent
- 15.最小模型 Access Master 业务1 业务2 0 ip cu 1 ip cu … 9999 ip cu 0 ip cu 1 ip cu … 9999 ip cu … 业务3 0 ip cu 1 ip cu … 9999 ip cu 业务n 0 ip cu 1 ip cu … 9999 ip cu 业务1 0 ip cu 1 ip cu … 9999 ip cu … 业务n 0 ip cu 1 ip cu … 9999 ip cu C U … C U C U C U C U C U C U … C U C U C U C U C U C U … C U C U C U C U C U 管理存储资源，资源路由关系，变更时推送 Tencent
- 16.死机接管 Cache Master C U C U C U C U C U C U C U C U C U … Cache Slave C U C U C U C U C U C U C U C U C U … binlog Recover Recover 备机恢复后自动到Recover拉取变更列表恢复 Tencent
- 17.数据搬迁 Access Master 业务1 CU get miss下到老 cache读取返回 CU 0 ip cu 1 ip cu … 9999 ip cu … 协调管理搬 迁任务 Task Svr 读取，落盘， 写入目标 清理源 Transfer 业务n 0 ip cu 1 ip cu … 9999 ip cu 多任务并发搬迁，异常自动重搬，优先级判断 所有扩缩容/死机切换搬迁等都是有基本的搬迁流程组成 Tencent
- 18.目录 • 腾讯社交网络内存发展演变 • CKV概述 • CKV架构介绍 • CKV模块功能简介 • CKV自动化管理 • CKV精细化运维 Tencent
- 19.CKV自动化管理 Tencent
- 20.自动搬迁 Set Auto Transfer Task Svr Transfer1 迁移 Transfer2 迁移 Transfer3 迁移 Transfer4 迁移 Set 定期扫描死机、扩容、缩容、调平、生成任务给Task Svr Tencent
- 21.实例弹性 每周二百多起实例自动扩缩容 Tencent
- 22.业务自助接入 Tencent
- 23.目录 • 腾讯社交网络内存发展演变 • CKV概述 • CKV架构介绍 • CKV模块功能简介 • CKV自动化管理 • CKV精细化运维 Tencent
- 24.CKV精细化运维 Tencent
- 25.趋势分析预测 Tencent
- 26.设备负载调平 网管 调度SVR 生成搬迁任务 DB 同步入库 资 源 分 析 IP IP IP IP IP IP IP IP IP IP IP IP IP IP IP IP IP IP C C C C C C C C C C C C C C C C C C C C C IP IP IP IP IP IP IP IP IP IP IP IP IP IP IP IP IP IP Tencent
- 27.业务模拟拨测 Tencent
- 28.邮箱: runmouzou@tencent.com 微信: runmou 欢迎加入腾讯社交网络数据运维团队 Tencent
