中国移动私有云平台体系架构分享

2020-02-27 862浏览

1.中国移动私有云平台体系架构分享 • 王烨 • 中国移动通信集团公司网管支撑处副经理
2.1 中国移动私有云现状 2 私有云管理面临的挑战和解决思路 3 私有云管理平台技术架构 4 思考和展望
3.中国移动私有云现状全网初步形成两级资源池布局，现阶段以提供IaaS基础资源服务为主 l 一级私有云 l 已建设3个私有云一级资源池，总规模为近万台PC服务器。在建资源池2个，规模6千余台。 l 一级资源池已承载约60多个应用，包括业务平台、业务支撑、网络管理、企业信息化等领域系统。 l 各省公司私有云 l 全国已建设私有云资源池上百个，PC服务器总规模上万台，单资源池平均规模为百台级 l 全国31省均已建设私有云资源池，其中19个省已建1-3个资源池，12个省公司已建3个以上。
4.中国移动私有云资源池建设的总体目标 1 集中管理 2 资源共享 3 按需分配资源产品费用需求运营
5.中国移动私有云发展策略 l “一级平台、两级管理”。 l 重点建设 IaaS 能力，逐步发展 PaaS、SaaS。 l 依托开源社区，立足自主研发。 l 结合业务需求，深度定制，迭代开发。
6.积极参与开源社区并推动标准化工作 • 积极参与云计算的行业协会、标准化和开源社区工作，是工信部主导的开源产业联盟（OSCAR）和中国开源云联盟（COSCL）两个组织的副理事长单位，并主导千节点云平台工作组； • 在Linux,Openstack，SheepDog等开源社区中的贡献名列前茅，多次举办开源社区峰会，在开源社区中具有较强的影响力。 • 在国家信标委的云计算标准工作组中牵头制定多项国家标准，其中弹性计算和对象存储的两项标准已经发布，正在牵头制定块存储和云运营等两项国家标准。从OpenStack Juno版本开始，中国移动成长为中国十大OpenStack公司之一；截止到目前，提交了513个patch， 251个bug和8个blue prints。 10月份Openstack峰会，中国移动正式成为enstack 黄金会员和超级用户。
7.1 中国移动私有云现状 2 私有云管理面临的挑战和解决思路 3 私有云管理平台技术架构 4 思考和展望
8.挑战 No1. 资源池分布广、设备种类多资源池地域分布广 A业务 CPU利用率资源利用不均衡峰值长期低于7% 平均值长期低于1% 设备型号多
9.挑战 No2. 承载业务需求多样 Storage Compute Bandwidth Memory BandwidthCompute Compute Memory Storage 传统业务云化和新增业务带来多样化需求。
10.挑战 No3. 资源池规模大私有云资源池的规模不断扩大 u p 现有资源池PC服务器规模超过3万台 p 未来规划机架数量超过10万架 p 分布在全网多个数据中心云资源管理技术面临挑战 u p 资源管理资源管理 Cloud 突破单个OpenStack管理规模的局限性 10 p 对分布在多个地点的资源池实现统一的资源管理资源管理资源管理
11.私有云资源池管理平台的实施步骤阶段一统一视图、制定标准（2016-2017）阶段二平台融合、省内整合（2017-2019）阶段三一级平台、两级管理（2019-2020）
12.私有云资源池产品规格的统一定义制定统一产品规格计算产品规格（14） • 预定义/自定义 • vCPU 核/内存容量/根分区磁盘容量产品规格定义存储产品规格（6）网络产品规格
13.资源池设计和实施的基本策略提高虚拟化比例提升整合比及资源利用率引入SDN技术简化资源池的基础硬件的规格型号
14.1 中国移动私有云现状 2 私有云管理面临的挑战和解决思路 3 私有云管理平台技术架构 4 思考和展望
15.总体技术方案总体技术方案云资源管理平台远端资源管理模块机架服务器 SDN 防火墙机架服务器磁盘阵列 SDN 防火墙
16.OpenStack 组件的选择和应用 u总体架构中Openstack定位于资源调度 p 运营和运维：一级私有云运营功能定制化程度高，运维对接设备复杂，Openstack现有组件无法满足要求，采用定制化开发方式实现 p 资源调度：一级私有云资源模块包括虚拟机、物理机、块存储、文件系统和SDN等，架构上结合属地的资源模块类型选择NOVA、Ironic、Cinder、Manila和Neutron等组件
17.OpenStack 组件的选择和应用 u各个组件在社区版的基础上依据呼哈私有云的业务需求进行了功能增强定制组件功能定制 Keystone 社区版 Glance 增加异地备份功能 Nova 支持SAN设备多路径、支持本地虚拟机热迁移、支持本地+共享存储的混合存储类型虚拟机热迁移、支持存储热迁移、支持卷共享 Cinder 支持镜像缓存、支持增量备份 Ceilometer 支持从虚拟串口采集虚拟机性能数据、支持使用时间序列数据库保存数据 Neutron 深度定制，厂家SDN、Ironic功能对接 Ironic 深度定制，增强存储和网络功能
18.几个关键的技术问题 u 采用多region架构解决大规模资源的统一调度 u 引入混合SDN架构提供更加丰富灵活地网络服务 u 引入Ironic管理物理机集群资源
19.关键技术问题解决 – 多 Region 方案 01 呼和浩特资源池管理 1800台虚拟化服务器和 1200台物理裸机。 03 02 建设需求规模大面临问题和挑战瓶颈：数据库、消息队列堵塞严重解决方案比较和选择单Region部署 Nova Cell部署多Region部署
20.关键技术问题解决 – 多 Region 方案尽量减少Region的数量多Region间组件尽量共享
21.关键技术问题解决 – 灵活的组网方案 01 业务需求组网灵活性要求高网络运维自动化 02 面临问题和挑战原生态的Neutron组件扩展性不够 01 03 解决方案引入混合SDN解决方案
22.关键技术问题解决 – 安全域的划分呼和浩特资源池 Region1 Region2 Region3 DMZ区 AZ1-‐DMZ AZ1-‐DMZ AZ1-‐DMZ 核心生产区 AZ2-‐CORE AZ2-‐CORE AZ2-‐CORE AZ3-‐STORE 存储区 01 业务需求安全域划分 01 02 面临问题和挑战 01 03 原生的OpenStack技术框架缺少对安全域的支持解决方案借用AZ实现安全域的隔离
23.关键技术问题解决 – 物理机的管理 n物理机/虚拟机统一调度，集中监控。 n社区版本不成熟 n推动 Ironic 组件的逐步完善
24.1 中国移动私有云现状 2 私有云管理面临的挑战和解决思路 3 私有云管理平台技术架构 4 思考和展望
25.思考和展望云已经成为电信业务的主要组成部分传统电信业务需要适应云化架构 l 资源整合需要重构上层业务 l 云化架构追求更加高效，更加敏捷 l NFV/SDN 网络转型基于基础设施的云化 l 运营商的云基础设施运营要求更高 Cloud DevOps 成为主要工作模式 l 改变传统电信网络设计实施方式 l 快速迭代，持续优化开放、借鉴、引领 l 发挥主导运营商作用 l 积极参与开源社区工作 l 合作、共赢
26.中国移动在云计算领域的积累启动大云研搭建大规模云计发布大云发项目算实验室 1.0 2007.7 2009.12 2010.5 私有云和移动云试点国家教育云上线移动云正式发布 2011.12 2012.8 2014.6 发布大云 3.0 2014.12 Openstack转型管理域云计算应用（公众服务云,企业私有云，混合云）企业网盘运营管理资源池管理流媒体集成中间件容灾备份应用中间件云化CDN 大数据中间件政务云电信能力中间件数据中心操作系统BC-DCOS 计算弹性计算存储弹性文件系统对象存储弹性块存储 S BC-Linux (Docker）网络虚拟网络系统云计算安全呼哈一级私有云建设 2016.3
27.“大云”系列产品通过多项国家评测和认证拥有自主知识产权 • “大云”产品累计申请专利182项 • “大云” 产品已获得18项计算机软件著作权通过多项国家级测评及认证 • 移动云获得工信部“可信云”认证，成为首批可信云服务。 • 移动云云主机和云存储IaaS服务、“大云”弹性计算（BC-EC）和对象存储（BCoNest）的IaaS解决方案，首批通过国家标准《信息技术、云计算、参考架构》（等同采用ISO/IEC 17789）的标准符合性评估。 • 大云弹性计算（BC-EC）产品，通过国家标准《信息技术弹性计算应用接口》基本功能的首批标准符合性测试；大云对象存储（BC-oNest）产品，通过国家标准《信息技术云存储与管理第2部分：基于对象的云存储应用接口》基本功能的标准符合性测试。中移大云技术社区
28.中国移动在云计算领域的自主研发实践 • 基于OpenStack研发的“大云” 3.5版本、4.0版本已经在移动公有云、各省私有云上线，KVM节点累计超过5000个，VMWare节点超过1000个； • 存储总量超过50PB，其中分布式存储40PB，盘阵 10PB； • 与Nuage合作的1000节点SDN超大集群在公有云上线 • 建设中的一级私有云，总节点数量超过6000个，并将首次在生产环境采用 Ironic + SDN 方案。大云产品商用累计部署规模超过14000台服务器，不仅支持中国移动私有云，而且提供公有云、政务云、教育云、金融云等行业解决方案
29.中移大云技术社区