《云管理平台(CMP)架构与功能设计》 牛继宾

2020-03-01 544浏览

  • 1.云管理平台（CMP）架构 与功能设计 牛继宾 北京天云融创软件技术有限公司（天云软件） 技术总监 niujibin@chinaskycloud.com
  • 2.
  • 3.关于演讲者 牛继宾，天云软件（北京天云融创软件技术有限公司）技术总监； 曾任VMware研发中心研发工程师，IBM实验室服务部高级技术专家； 硕士毕业后从VMware开始一直从事云计算与大数据相关的技术工作。擅 长云计算与大数据相关技术，以及云管理平台架构设计； 除了底层平台技术，对： 云计算解决应用系统的实际问题、应用的云化、分布式改造、上云业务支 撑等也有丰富的经验。 有着众多的私有云、公有云落地的实践与经验，涉及云计算的层次包括 IaaS、PaaS、SaaS。
  • 4.云管理平台（CMP）架构与功能设计 大纲 牛继宾 1.云管理平台的定义、需求、功能与架构设计 2.传统应用云化改造对云管理平台功能设计的新需求 3.容器与微服务化对云管理平台新的架构设计的支撑 4.云管理平台未来的定位展望 5.关于我们
  • 5.云管理平台的定义 Cloud Management Platforms (CMP) are integrated products that provide for the management of public, private and hybrid cloud environments. The minimum requirements to be included in this category are products that incorporate self-service interfaces, provision system images, enable metering and billing, and provide for some degree of workload optimization through established policies. More advanced offerings may also integrate with external enterprise management systems, include service catalogs, support the configuration of storage and network resources, allow for enhanced resource management via service governors and provide advanced monitoring for improved “guest” performance and availability. －－－－From Gartner
  • 6.云管理平台与OpenStack的区别 云管理平台层 CMP 云计算技术架构层 vCenter OpenStack CloudStack 虚拟化层 vSphere KVM Xen  私有云管理和混合云管理分成三层，每层分别 提供如下功能：  云管理平台层：提供业务支撑管理功能、 提供异构混合云管理功能。  云计算技术架构层：通过虚拟化层提供的 特性构建云计算的技术架构，包括构建计 算资源技术架构、构建存储资源技术架 构、构建网络资源技术架构。  虚拟化层：提供虚拟化功能，对计算资 源、网络资源和存储资源提供虚拟化支持 和虚拟化管理功能。 CMP是企业云基础设施的管理平台。它是 我们实现的CMP： 交付云计算的最后一公里集成者。应用在 1. 管理异构虚拟化； 在CMP层上进行交互，然后 CMP层将指令 2. 管 理 多 个 OpenStack 版 本 ， 多 个 资 源 发给下面的云计算技术架构层，架构层又 池； 发送指令给下面的基础设施层。 3. 调度、计费、集成外部系统。
  • 7.云管理平台的在云计算体系中的层次 承上与启下  资源管理：管理云计算“资源 B2C应用 B2B应用 池”中的所有异构资源，并通过自 …… 个人云 向上承载、支撑应用 动部署和智能调度实现“动态性” 云管理平台 和“弹性可伸缩性”。  行业应用 自服务门户、云服务提供（API） 运营管理、自服务、云服务： 安 全 管 理 运营管理 实现云计算“按需自助服务”。 运 维 管 理 资源管理  运维管理：监控、告警、运维 向下管理、调度资源 流程等一系列保障功能。  安全管理：加入云计算特色的 安全措施，如“多租户隔离”。 资 源 池 计算 资源池 存储 资源池 网络 资源池 公有云
  • 8.云管理平台的功能架构设计－总体架构模块 CMP平台总体架构设计 自服务门户 运营门户 管理员门户 统一API 虚拟化管理系统 运营管理系统 云服务API 服务 目录 工单 管理 流程 管理 服务 管理 计量 计费 用户/鉴权 网络 管理 镜像管理 用户/组织/ 鉴权SAS 实例管理 (VM/Disk/VPC) 云服务抽象API RabbitMQ 消息 资源管理系统 云管理API 物 理 机 管 理 存 储 管 理 网 络 管 理 混 合 云 管 理 多数 据中 心管 理 OpenStack 适配器 运维管理系统 CloudStack 适配器 监控/采集/告警 API VMware 适配器 公有云 适配器 调度 数据分析API (报表，统计，预测) 监控目标 VC 采集器 SNMP 采集器 Zabbix 采集器 应用 采集器 实时 数据处理 MongoDB 离线 数据处理 Hbase
  • 9.云管理平台的功能架构设计－资源管理 管理各种异构的虚拟化系统 虚拟化系统管理 虚拟机基础 管理 虚拟机模板 管理 镜像管理 虚拟机外设 管理 虚拟机快照管 理 策略调度管理 虚拟机运维 管理 虚拟机复制 与迁移 虚拟机监控 与性能管理 虚拟机生命周期管理 超卖管理 虚拟化适配层：屏蔽不同虚拟化系统的差异 虚 拟 化 资 源 池 OpenStack vCenter VMware ESXi 计算 存储 SVCMM Manger Hyper-v 网络 计算 存储 Citrix XenServer 网络 计算 存储 网络 Red Hat KVM 计算 存储 …… 苏研虚拟化 网络 计算 存储 网络
  • 10.云管理平台的功能架构设计－资源管理 物理机管理与服务 物理机管理 物理机纳管 服务管理 监控告警与 性能管理 远程控制 物理机资源申 指定IP 指定硬 请 件信息 分配主机 X86物理机管理 IPMI ILO CLI 刀片管理模块 分配IP IBM X86 IBM 小型机 HP X86 联想 X86 DellX86 生成应答文件 仅在部署的时候 网络启动，部署 后启动顺序按照 BIOS设置启 动。 •物理裸机分配 订单指定模板的CPU核数、CPU频率、硬盘个数、硬 盘大小和内存大小和已有的物理机参数必须一致，否则提 示“物理机资源不足” •物理机IP分配： • 指定IP分配： 可以指定某个VLAN下的空闲IP • 系统自动分配： 如果没有指定IP，系统将根据预先设好的默 认IP分配策略（如：只设置生产网的IP地址）来分配 IPMI 设置目标机器 为网络启动 PXE安装过程
  • 11.云管理平台的功能架构设计－资源管理 存储管理与服务 • 提供异构存储设备的统一管理 • 适应不同种类的存储解决方案  与存储虚拟化网关对接（NetApp V、Symantec VSF、IBM SVC、Hitachi TS、HP EVA …）  与存储虚拟化软件对接（Symantec VSF …）  与各种存储阵列设备直接对接（NetApp、HP、EMC、IBM、Hitachi …）  分布式存储解决方案 存储管理 存储池管理 存储服务管 理 存储设备监 控性能管理 存储设备告 警 存储设备巡 检 存储资源统一适配层 存储虚拟化网关 存储阵列 存储虚拟化软件 分布式存储管理 vDisk VM iSCSI LUN NFS VM VM VM VM VM VM VM 计算服务器 - 宿主机 S3 Swift 分布式存储服务器 设备类型 品牌 EMC HDS HP SAN HW IBM NETAPP 富士通 NAS BROCADE EMC 光纤交换 机 HP IBM 型号 Vmax10K、cx380、cx4_120、cx4_240、cx4、VPLEX uspv eva8000、EVA 4400、EVA 6400、eva8100、eva8400、P4000、xp24000 s2300、s2600、s3900、s5600、s5600x、s6800、s6900 ds3000、ds3300、ds4300、ds4700、ds5300、ds8100、ds8700、ds8800、SVC fas2050、fas3250 dx440 4100、4900、5100、200e、4_64_san_switch、dcx ds_200b 4_16_san_switch、8_24、8_24_san_switch、8_40_san_switch、8_64、8_8_san_switch、dc04、 dcx4s_0002 2005_b16、2005_b5k、2498_b24、2498_b40、2499-384
  • 12.云管理平台的功能架构设计－资源管理 网络管理与服务 网络管理 网络设备 配置 网络设备 性能管理 网络设备 监控管理 软负载与 虚拟防火 墙服务 另外： 网络资源还包括虚拟局域网（VLAN）和IP地址，供物 理主机和虚拟机使用。 CISCO N7K、6509、4510、4507、2900、7609、3550、3560 华为S9306、S9303、S5352、S2328、S3352、S3328、S3528、CE12808 负载均衡包含且不限于D107、B2100、C2400等负载均衡器 云管理平台实现对VLAN资源池的统一管理。提供所属 不同网络类型、资源池、资源域、网络名称、VLAN ID、网 关、CIDR、网络标签及IP地址范围的VLAN管理功能。 云管理平台实现对IP资源的统一分配和回收，在创建 和销毁虚拟机/物理机时进行IP的自动分配和回收。 在虚拟交换等层次实现SDN功能，在物理层面对接物理 设备厂商。
  • 13.云管理平台的功能架构设计－资源管理 多数据中心管理 业务应用 业务应用 业务应用 业务应用 云管理平台 私有云 vCenter OpenStack vCenter HA esxi OpenStack HA esxi kvm 本地存储 OpenStack 部分HA 部分HA kvm kvm 本地存储 ISCSI RBD 分布式存储系统 数据中心A 本地存储 RBD ISCSI 分布式存储系统 数据中心B 磁盘阵列
  • 14.云管理平台的功能架构设计－资源管理 混合云管理 • 通过云管理平台对企业内部IT资源和外部云服务商的资源实例进行统一管理 • 通过amazon AWS、阿里云等公有云服务商提供的API，实现通过云管理平台对运行在外部公有云 上的资源实例的管理，以便企业使用和管理公有云资源 • 通过云管理平台可实现对公有云资源实例的开通、查询、监控、操作、变更、销毁等管理操作 （与公有云服务商提供的API及其自动化程度有关） • 可通过云管理平台实现企业级Cloud API封装，提供给应用系统调用 Manager Self Service Application Cloud API Cloud API (OpenStack-like) Cloud Management Virtualization Driver Private OpenStack Driver Cloud AWS Driver 阿里云 Driver Public Cloud ……
  • 15.云管理平台的功能架构设计－运营管理 服务 服务模板管理 服务模板全生命周期管理：定义、审核、发布、修改、下线、删除； 服务目录管理 运营管理系统 服务目录的定义、发布、审核、修改、删除、导入导出； 服务实例管理 资源管理系统 X86资源 管理模块 服务实例全生命周期管理：部署、查看、操作、变更、续订、退订、 回收； 订单管理 订单的申请、审核、查询、到期提醒、续订、退订； 存储资源管理 网络资源 模块 多数据中心与混 合云管理 用户管理 用户开销户、用户创建删除、状态管理、信息查询与修改、密码修 改、用户组管理、角色管理、权限管理、用户审计； 资源使用计量 提供资源使用的计量数据，可根据提供的计量数据实现计费管理； 运营门户 运营管理门户和用户自服务门户。
  • 16.云管理平台（CMP）架构与功能设计 大纲 牛继宾 1.云管理平台的定义、需求、功能与架构设计 2.传统应用云化改造对云管理平台功能设计的新需求 3.容器与微服务化对云管理平台新的架构设计的支撑 4.云管理平台未来的定位展望 5.关于我们
  • 17.CMP建设案例与对应用支撑带来的新需求 某运营商公有云 10000台服务器规模 支撑企业客户的公有云、专 有云建设 某运营商私有云 1500台服务器规模 支撑核心交易系统、BI系统 云资产管理 某国家园区私有云 200台服务器规模 支撑渲染、电商平台等系统 某制造业私有云 500台服务器规模 支撑大数据平台系统、高性 能计算、设计等平台 应用云化与 上云支撑
  • 18.传统企业应用分类 我们部署一个IT系统，最终的目的是为了解决传统的问题，所谓把线下业务线上化，这些业 务最终的服务对象是数据。 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、 联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主 要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用 ，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 当然还有其他的业务类型，比如银行或者运营商的每月出账系统，这种系统是一种批处理 系统，但是实时性跟所谓的数据分析处理不是一个概念，也不在一个层级。这种应用我们 暂时不考虑。
  • 19.联机事务处理类应用云化需求 传统应用 云化后应用 . . . 营业厅 呼叫中心 直销渠道 社会渠道 电子渠道 其他线上渠道 用户交互层 手机APP Web WEB 服务总线、流程编排、事件驱动、消息管控 服务编排层 微服务化的应用服务层 APP 应用1 分布式数 据访问层 DB 应用2 数据集成服务 数据访问服务 应用4 应用5 事务管理服务 数据一致性管理 ...... 分布数据访问代理 分布式异构 关系数据库 ORACLE 应用3 MySQL 非结构化 数据 NoSQL DB 分布式缓存 内存数据库 分布式 文件系统
  • 20.联机事务处理类应用云化需求－关键点1 系统弹性伸缩 通过应用与数据分离和集群化部署，实现系统快速扩容、处理能力灵活水平线性 扩展、故障自动隔离。对于独立的应用主机和成对的数据主备副本可以进行灵活 弹性伸缩。 负载均衡 50% 应用 节点1 34% 50% 应用 节点2 负载均衡 负载均衡 扩容节点3 应用 节点1 33% 应用 节点2 33% 应用 节点3 34% 应用 节点1 33% 应用 节点2 负载均衡 0% 33% 应用 节点3 节点1故障 应用 节点1 50% 50% 应用 节点2 应用 节点3 弹性伸缩特点 • 在线快速扩容：系统扩容操作低耗时、无数据迁移、服务不间断 • 处理能力线性扩展：系统处理能力可以通过新增节点近线性提升，实现高吞 吐、高并发处理能力，应对业务爆发式增长 • 故障自动接管：集群可以自动发现故障节点并调整任务调度策略，在不影响处 理的同时接管故障节点，保持系统高可用
  • 21.联机事务处理类应用云化需求－关键点2 X86集群化部署 将紧密耦合的大应用模块化拆分为多个模块化小应用，通过资源池提供系统 资源的整体利用率，并将拆分后的子模块部署于资源池（后来我们搞Docker的称 之为微服务化）。当硬件资源实施池化后，才具备了支撑OLTP类应用的弹性伸 缩，实现硬件的按需分配的基本需求，充分提高资源利用率。 接入层：接入层在负载器之后，负责用户WEB请求接入层，实现在X86上的部 署。 应用层： 应用层由tuxedo 、Websphere 、 Weblogic 等中间 件及web 中间件承 载，逐步向J2EE、X86体系转移。 数据层：主要承载在ORALCE数据库上，向MYSQL/NOSQL数据库做尝试性迁移， 引入分布式数据库。
  • 22.联机事务处理类应用云化需求－关键点3 合理规划实现数据分布式部署 对不同业务的数据、不同类型的数据进行有效规划部署。通过某种特定的条件，将存放 在同一个数据库中的数据分散存放到多个数据库上，实现数据分布存储，通过路由规则路由访问 特定的数据库。分配方式包括：  垂直(纵向)拆分：将数据库表按业务、功能拆分到不同的数据库表，比如分为客户资料库、订 单库、资源库、资料库等，这种方式多个数据库之间的表结构不同；目的是降低业务之间的影 响，减少系统承载压力。  水平(横向)拆分：将同一个表的数据进行分块保存到不同的数据表中，这些数据库中的表结构 完全相同 拆分以后，带来的问题即需要：  对外提供统一访问，对应用屏蔽数据访问复杂度。  数据访问层提供数据互访能力，拆分访问合并返回。 所以需要构建统一数据访问引擎，或者数据路由层（Data layer层）。开源的比如有Hibernate Shards 、Ibatis-Sharding，淘宝TDDL等。
  • 23.联机事务处理类应用云化需求－关键点4 数据平台化 数据平台化是指通过应用架构和数据架构的重新梳理、规划与调整，将业务处理中的 业务数据和状态数据与应用分离，实现应用的轻量化、无状态；构建统一的数据访问层，实现 数据的共享访问。数据平台化是数据处理水平线性扩展的前提和基础。 应用 应用 应用 程序1 程序 程序1 1 应用 应用 应用 程序1 程序 程序2 1 … 应用 应用 应用 程序1 程序 程序n 1 统一数据访问引擎 物理数据库 内存数据库 NOSQL数据库 应用层 数据层 数据缓存 文件系统 数据平台化特点  应用轻量化：缩短开发周期，提升新业务响应速度；  应用无状态：实现应用的同质化，应用层处理能力的独立扩展，实现应用灵活调度和分配；  数据共享访问：逐步实现数据集中访问，跨地市的流量共享、流量统付、流量转移业务能够 更高效支撑。
  • 24.联机分析处理类应用云化需求 数据中心混搭架构 混搭架构：采用多种技术架构建设数据中心；新技术的逐渐成熟，现有技术架构的逐渐演进 垂直混搭架构：形成多个相互独立的信息孤岛；缺乏可行的系统演进路线 水平混搭架构： • 企业级数据云平台：逐渐实现企业内数据的统一存储，承载数据的加工计算；未来提供 企业数据的统一存储和计算能力 • 数据仓库、集市和挖掘库：计算逐渐迁移到云平台实现轻载化；直接从云平台加载应用 结果数据，实现上层应用的兼容性 • 流处理平台：实时计算结果存储到云数据平台，可通过能力开放平台的消息中间件直接 供应用访问 数据集市 • 数据挖掘库 • 指标模型数据 • 专题集市数据 • 分析挖掘数据 • 企业级汇总数据 • 企业级汇总数据 • 企业级汇总数据 • 数据仓库 • 企业级基础数据 • 专题模型 • 企业级数据云平台 • 应用模型 • 企业级分析挖掘数据 • 企业级汇总数据 • 企业级基础数据 • 实时流处理平台 • 实时流处理引擎 • 分布式内存数据库 •
  • 25.联机分析处理类应用云化需求－关键点1 数据计算引擎开源化  M/R计算引擎：用HDFS文件保证每一步计算结果，避免硬件故障导致重头执行 • 优点：可靠性高； • 缺点：数据处理任务是一系列M/R任务的串行执行，输入和输出都是HDFS文件，导致频 繁的磁盘I/O，执行速度慢 • 局限性：原始单一的编程模型和数据结构，导致开发效率低，限制更多应用的产生  Spark计算引擎：RDD是分布式内存的抽象 • 优点：执行效率比起M/R提升100倍以上；提供丰富的操作算子增强编程能力，简化应用 开发 • 缺点：对内存等资源要求高；可靠性不如M/R  Yarn实现资源调度和分配：一个节点上可同时执行M/R和Spark任务，资源相互隔离、执行互 不干扰
  • 26.联机分析处理类应用云化需求－关键点2 数据集市云化建设  建设现状：传统小机+ORACLE数据库和新建的MPP数据库两种建设模式  演进策略一：用MPP数据库来取代小机+ORACLE数据库  演进策略二：用数据云平台+开源MYSQL/PGSQL集群来代替小机+ORACLE数据库 • 数据云平台完成所有的后台计算 • 前台数据库集群提供结果数据的存储和SQL访问能力 应用层 经分应用 报表应用 智能营销 前台库 访问代理层 mysql/pgsql 企业数据云平台 mysql/pgsql mysql/pgsql ST DW DWD ODS mysql/pgsql
  • 27.联机分析处理类应用云化需求－关键点3 数据ETL云化建设 传输的实时化：支持MQ等分布式实时消息传输机制 基于内存的计算：数据不落地，避免海量数据的两次重复加载 计算的轻量化：清单级的过滤、排重、规则化，更多的计算任务由大数据存储和计算平台来完成 分布式并行执行：高可用性、分布式调度、资源分配； 技术实现：Kafka+HDFS+MR/Spark
  • 28.应用云化与应用支撑对CMP带来的需求与功能升级 1.CMP需支持弹性伸缩 2.CMP需引入微服务的管理与支撑框架，来解决大模块拆分为小模块的问题 3.应用上云以后，需要对产生的监控数据做更多的存储与分析 4.需支持大数据类、开源数据库类等开源组件对接与管理 自服务门户 运营门户 管理员门户 统一API 虚拟化计算管理系统 运营管理系统 服务目 录 工单管 理 流程管 理 服务管 理 计量计 费 云管理API 微服 务管 理 物理 机管 理 存储 管理 网 络 管 理 用户/组织/鉴 权SAS RabbitMQ 消息 资源管理系统 混 合 云 管 理 云服务API 用户/鉴权 多数据 中心管 理 虚拟机 编排 镜像管 理 实例管理 (VM/Disk/ VPC) 网络管 理 弹性伸 缩 云服务抽象API openstack适 配器 监控系统 cloudstack 适配器 vmware适 配器 监控/采集/告警 API 公有云 适配器 数据分析API (报表，统计，预测) 监控目标 VC采集 SNMP采 器 集器 弹性计算子系统 Docker＋Kubernetes 编排管 理 开源组 件服务 服务发 现与注 册 镜像管 理 Zabbix 采集器 应用采 集器 实时数据 处理 MongoDB 离线数据 处理 Hadoop 调度
  • 29.新增功能1－虚拟机编排 管理系统 业务系统 机器3 运营管理平台 应用管理平台 门户 应用 设计 应用 报表 机器2 机器1 应用平台引擎 应用 设计器 实例 管理 SFD SFD 任务 管理 应用实例化引擎 RESTful接口 单向通信 部署软件 磁盘管理 系统监控 应用监控 资源管理平台 块存储 子系统 虚机硬盘 网络管理 软件资源 系统 系统 系统 配置管理 SFD
  • 30.新增功能2 - 虚拟机弹性伸缩  云平台自身具备调度能力，可以通过配置调度规则，根据应用镜像进行弹性调度。 网络支撑客服WEB系统 网络支撑客服检索和查询系统 基于负载的实时动态调整 基于业务能力的动态扩容 根据WEB服务器的负载情况，动态的创建和销 毁WEB服务器。通过对计算资源量的调整，应 对不同的业务量。做到资源的高效利用。 NGINX(云平台提 供) 网络支撑 客服WEB系 统 IIS IIS IIS 业务查询数据 云平台 Scaling策 略管理 Controller 分布式 数据检 索系统 IIS 3 2 不做实时动态调整。根据系统处理的数据量、 处理压力、处理速度等等综合指标，进行以扩 容为主的调整。即先提供较少的VM数量，满足 当前业务需求。当业务数据量增大满足一定条 件后进行动态扩容。周期调整。 Query Query Query 采集数据查询与索引性能 采集IIS性能 1 1 云监控 资源调度 云平台资源池 Scaling策 略管理 2 Query
  • 31.新增功能3 － 微服务治理模块 微服务治理Portal（集成到资源管理门户平台） 服务注册 服务发现 服务升级 服务降级 服务调度 服务配置 REST API 微服务管理实现 服务注册 服务发现 服务降级 服务升级 微服务管理数据库 服务表 服务元数据表 服务调度 MySQL 用户权限表 服务配置
  • 32.新增功能4 - 弹性计算子系统 应用 应用、能力开放 ⑤ 开源应用服务 tomcat… OpenAPI 服务能力 服务集群 商用服务 ORACLE（ Weblogic…） 任务调度与服务管理 大数据服务 Hadoop kafka… IBM(Websphere …) Spark Redis/SQLfire… …… …… ③ Kubernetes …. 应用框架 定义 运行 环境 ② 资源分配 Hadoop/yarn 资源调度 Kubernetes mesos ④资源消费 容器A ① CMP集群池 容器B 虚拟机 资源调度 物理机  资源调度:通过Mesos、Kubernetes软件资源调度调度框架调度底层物理机、虚拟机、容器等的CPU、内存等资源。  资源分配：通过Marathon\kubernetes等任务调度框架与资源调度模块交互进行资源二级调度  资源消费：服务集群根据2、3分配的资源与任务使用底层资源
  • 33.新增功能5 – Hadoop历史数据分析 集群1 基本信息 清洗、转换 规整、建模 CPU数据 集群2 服务 器 存储4 存储数据 网络数据 HDFS 业务关联数据 成熟的算法模型 报警数据 …… 监控数据 算法模型
  • 34.云管理平台（CMP）架构与功能设计 大纲 牛继宾 1.云管理平台的定义、需求、功能与架构设计 2.传统应用云化改造对云管理平台功能设计的新需求 3.容器与微服务化对云管理平台新的架构设计的支撑 4.云管理平台未来的定位展望 5.关于我们
  • 35.CMP的微服务化改造 各个微服务独立部署，保持服务的原子性。 现状： 自服务前台 目标： REST API 门户后台Java 自服务云门户 门户后台 服 务 拆 分 运营服务 产 品 用 户 流 程 订 单 运维管理 指令处理 RMS 资源池 云 主 机 运营管理域服务 Dubbox 用户服务 运维管理前台 运营管理前台 块 存 储 … RPC 工 单 微服务管理 运维管理域服务 产品支撑域服务 wocloud 问题： • 服务臃肿：只有两个服务 用户服 务、运营服务；运营服务耦合了 初订单服务外的其他的功能，如 计费、AZ配置设置等。 • 开发测试团队分工不明确，给 升 级任何一个功能点，都需要对整 个模块进行重构，不利于代码的 升级与部署。 指 令 云 主 机 服 务 RMS 资源池 块 存 储 服 务 V P C 服 务 … 资源DB 监 控 告 警 日 志 资 产 业 务 工 单 运维DB • 将大服务拆分出多个原子服务 • 各个服务的关系是平级、独立部署，支持分布式
  • 36.CMP微服务化－系统架构 门户前台 JS 用户自服务 运营管理 运维管理 一、两个分离： • • 门户后台 Java 用户自服务 运营管理 客户交互与业务逻辑分离； 应用与数据分离 运维管理 二、微服务化： 产品支撑域 服务 管理层 能力开放平台 微服务管 理平台 服务注册 应用 服务层 用 户 管 运 理 订 单 管 理 统 计 报 表 服务发现 监 控 管 运 理 资 日 告 源 志 警 池 管 管 管 理 理 理 营 管 流 产 工 理 程 品 单 域 管 管 管 维 管 资 资 业 工 理 产 源 务 单 域 管 统 管 管 理 理 理 理 计 理 理 产品支撑 产品运维 云主机 云主机运 维 块存储 块存储运 维 VPC VPC运维 负载均衡 负载均衡 运维 RDS RDS运维 缓存 缓存 产品开通（指令） 数据存储层 MySQL MongoDB Hbase Redis • 具备“高内聚、低耦合”的特 征，实现中心和数据的自洽。 微服务化是架构调整的关键手 段，不同服务的架构特征是相 同的，技术是相似的； 三、分布式： • 通过应用与数据分离， 实现 应用的无状态化， 支撑应用 服务的分布式架构， 实现应 用服务弹性伸缩和水平扩展。 • 通过在各层采用分布式缓存， 提升服务响应速度；
  • 37.CMP微服务化－运营管理平台 运营管理门户 用户管理 订单管理 产品管理 工单管理 系统管理 运营报表 用户信息管理 订单查询 产品目录 我的工单 流程管理 用户统计 属性管理 工单审核 资源统计 产品统计 属性分类 产品配置管理 REST API 运营管理API 用户管理 订单管理 产品管理 RPC 工单管理 流程管理 运营报表 微服务管理 运营管理服务 用户管理 订单管理 产品管理 工单管理 运营管理数据库 用户表 订单表 产品表 流程引擎 MySQL 工单表 统计报表
  • 38.CMP微服务化－资源管理平台 资源管理门户 基础运维 安全管理 资源池管理 资产管理 故障告警 SLA管理 通用主机安全 网络安全 资源模版管理 资源计量管理 配置管理 运维报表 备份管理 Hypervisor管理 业务安全 资源实例管理 资源监控管理 性能管理 日志管理 自动运维 虚拟机安全 数据安全 资源池配置 资源调度管理 REST API 资源管理API 监控管理 告警管理 日志管理 资产管理 RPC 业务管理 资源池管理 工单 微服务管理 资源管理服务 监控管理 MongoDB 日志管理 Hbase 监控数据库 告警管理 ES 日志数据库 资源池管理 资产池管理 业务管理 资源管理数据库 MySQL 告警表 资源池表 资产表 工单管理 业务表 资源统计 工单表
  • 39.CMP微服务化－云产品支撑 用户自服务 门户前台 JS 运维管理 云主机CMS 云主机工单 云主机控制台 云主机仪表页 云主机监控UI 产品BCMS 产品B工单 产品B控制台 产品B仪表页 产品B监控UI REST API 产品后台Java 云主机 块存储 VPC RPC 订 单 管 理 工 单 管 理 产品B 微服务管理 运营管理服务 用 户 管 理 负载均衡 产品及支撑服务 产 品 管 理 指令 云主机 块存储 产品数据库 负载均衡 VPC 产品B 资源管理服务 资源实例管理 运营DB 资源监控管理 资源调度管理 资源池配置 指令表 云主机表 块存储表 VPC表 负载均衡表 产品B表 MySQL 资源计量管理 资源DB RMS 监控／日志采集系统 资源池 云主机 云主机 产品B 产品B
  • 40.CMP微服务化－云产品开通流程 用户自服务 门户前台 JS 运维管理 云主机CMS 云主机工单 云主机控制台 云主机仪表页 云主机监控UI 产品B CMS 产品B 工单 产品B 控制台 产品B 仪表页 产品B 监控UI REST API 1 请求发起 产品后台Java 云主机 块存储 VPC 负载均衡 产品B RPC 2 微服务管理 订单 3 4 运营管理服务 用 户 管 理 订 单 管 理 工 单 管 理 产 品 管 理 开通处理 开通指令 指令 产品及支撑服务 云主机 块存储 产品数据库 VPC 负载均衡 产品B 5 资源管理服务 指令表 云主机表 块存储表 VPC表 负载均衡表 产品B表 运营DB 资源实例管理 RMS 资源池 资源监控管理 资源调度管理 资源池配置 资源DB 资源开通 云主机 6 数据采集 资源计量管理 7 数据入库 监控／日志采集系统 云主机 MySQL
  • 41.CMP微服务化－平台监控、采集、告警 监控管理 监控数据库 MySQL 实时数 据处理 监控目 标管理 告警 管理 ceilometer data transfer 阈值告警 产品B监 控采集器 Zabbix 数据 库MySQL Zabbix 采集管理 服务器监控 Hypervisor VM 监控代理 VM 服务器监控 Hypervisor VM 监控代理 VM 服务器监控 Hypervisor VM 监控代理 VM 虚拟机监控 Hypervisor VM 监控代理
  • 42.CMP微服务化－平台日志采集与处理 产品A日 产品A日 志采集器 志采集器 日志管理 产品B日 产品B日志采集器 志采集器 API Logstash Elastic Search Cluster 加载日志 加载日志 OpenStack Glance 镜像模板 Cinder 存储 Nova 计算 iSCSI rbd 存储阵列 分布式存储 云管理平台 rbd Neutron 网络 运营管理 File 本地存储 Open vSwitch 分布式存储 门户 运维管理
  • 43.CMP微服务化－跨系统模块关系图 门户前台JS 4A前台 运营管理前台 云主机 自服务前台 运维管理前台 云主机 REST API 门户后台Java 4A 门 户 后 台 自 服 务 后 台 Dubbo API 云 主 机 运 营 门 户 后 台 … 云 主 机 运 维 门 户 后 台 … 查询 4A 用 户 及 权 限 运营管理域服务 C A S 租 户 管 理 产 品 管 理 订 单 管 理 资源管理域服务 产品支撑域服务 流 程 管 理 工 单 管 理 指 令 服 务 RMS 资源池 云 云 主 主 机 机 服 服 务 务 … 监 控 管 理 告 警 管 理 日 志 管 理 资 源 池 管 理 业 务 管 理 工 单 管 理
  • 44.CMP微服务化－达到的效果 阶段 要求 业务架构：多中心、能力开放 移动互联网时代的特征就是快，产品的决策 快、推出快、迭代快、变革快，快能抓住机 遇、掌握主动。 商业模式 变化 客户行 为变化 开发 QA 运维 产品应用变化 快 技术架构：SOA、微服务、技术组件标准化/服务 化 持续集成 自动化测试 快速发布、滚动升级、灰度发布、弹性伸缩 开发、测试、生成环境的标准化 开发 生态变化 流程 方法 DevOps 渠道变化 QA 运维 工具
  • 45.云管理平台（CMP）架构与功能设计 大纲 牛继宾 1.云管理平台的定义、需求、功能与架构设计 2.传统应用云化改造对云管理平台功能设计的新需求 3.容器与微服务化对云管理平台新的架构设计的支撑 4.云管理平台未来的定位展望 5.关于我们
  • 46.CMP未来的发展定位展望 1. 精细化管理，SDN、SDS等的管理，打通编排的所有环节； 2. 计费方向的细化，云是一种基础设施，关于云的计量计费，套餐计算， 折扣与活动等需要更强大的云计费系统； 3. 云＋应用的一体化监控，从用户系统的接入到对云服务组件的调用，全 流程的监控分析体系； 4. 混合云管理，私有云与公有云的一体化编排与资源发布，计量计费的协 同考虑；包括类似于云中介的研发等； 5. 行业云、社区云的建设与支撑，特定行业，比如动漫、高校、军工等， 对云平台的服务支撑有特色需求点，比如动漫渲染、高性能计算、人工 智能支撑等（案例）； 6. 大规模节点管理时，考虑结合AI，针对资源池的运行数据进行分析与运 营，形成运维知识的深度学习。
  • 47.云管理平台（CMP）架构与功能设计 大纲 牛继宾 1.云管理平台的定义、需求、功能与架构设计 2.传统应用云化改造对云管理平台功能设计的新需求 3.容器与微服务化对云管理平台新的架构设计的支撑 4.云管理平台未来的定位展望 5.关于我们
  • 48.关于我们 我们是云系统专家； 公司两大核心产品：SkyForm CMP 和SkyForm ECP满足企业从私有云到 公有云、从IaaS层到PaaS层的云计算 需求SkyForm CMP管理的服务器数 量（项目累加）已经超过10万台； 落地项目：运营商IDC公有云、运营 商私有云、虚拟数据中心运营云、园 区云、政务云、媒体云、动漫云、教 育云、航空制造云、软件研发云等。
  • 49.关于我们－ISV计划 • ISV合作伙伴 目交付速度，提高客户满意度。 • 运营商行业 ISV 其他行业 ISV SkyForm CMP API 目的：以协作方式开发能够无缝集成到现有IT基础设施中的技术解决方案，加快项 优势： 1. 免费的产品安装包、产品文档和API文档 2. 免费的UI界面代码，可以快速进行定制化修改 3. 免费的产品技术培训、API开发培训和销售培训 4. 免费的产品技术支持，包括400电话支持和远程接入支持 5. 免费的解决方案技术支持 6. 免费的成功案例市场推广 SkyForm CMP 联系人 ：马俊 联系邮箱：majun@chinaskycloud.com 联系电话：13911031597
  • 50.