虎牙直播基础运维负责人刘亚丹 - YY游戏私有云建设历程

2020-02-27 369浏览

  • 1.
  • 2.
  • 3.YY 游戏私有云建设历程 虎牙信息 刘亚丹
  • 4.YY 游戏私有云建设历程 虎牙信息 刘亚丹
  • 5.个人简介 虎牙信息-基础运维负责人 9 年互联网运维经历 5 年私有云 IaaS 和 PaaS 实践 参与编写《自主实现SDN虚拟网络 和企业私有云》
  • 6.⼤大纲 1 •  需求背景 2 •  YY私有云1.0现状 3 •  2.0平台方案选型 4 •  网络，存储，计算集成实践方案
  • 7.需求背景 页游和 Web 类应用适合虚拟化 YY游戏运营平台：联运和独代游戏，具备一定的规模经济性 页游特点：开服多，周期短，云化提高资源利用率和回收效率 Web类应用特点：无状态，弹性伸缩，故障隔离
  • 8.建设历程-YY 私有云1.0平台现状 Ø  1.0 核心功能 n  云主机-本地存储 n  云网关（LVS+NAT） n  云 DB ，云缓存 n  云存储（对象存储） n  云监控 Ø  Cloud1.0的不足 n  租户网络未隔离 n  可控性差
  • 9.建设历程-基于OpenStack 的1.0平台网络架构 Privoder Network •  flat+vlan 模式 典型网络 配置支持 •  公网模式：VM 双网卡，eth0绑定电信、 联通(Flat)；eth1绑定内网 IP（flat+vlan） •  云网关模式：eth0绑定内网 IP（flat+vlan）
  • 10.建设历程-OpenStack 上踩过的坑 稳定性 可维护性 扩展性 架构组件复杂 代码质量不高 安装部署复杂对运维 要求极高 无法平滑升级 L3-Agent性能瓶颈 Dnsmasq & Keystone MQ 等性能瓶颈
  • 11.
  • 12.建设历程-YY 私有云2.0-选型思路 Ø  关键需求： Ø  提供⾼性能，可扩展的 VPC 网络 Ø  云管理平台自主可控 Ø  基本策略：以开源软件为基础，⾃主研发为核⼼，专业⼚商为关键补充 Ø  虚拟计算：KVM Ø  虚拟存储：Ceph Ø  虚拟⽹络：借助专业⼚商的专门⽹络硬件和控制器，实现 VXLAN ⽹络
  • 13.建设历程-YY 私有云2.0-⽅方案选型 Ø  虚拟网络的灵魂：SDN 控制器 Ø  工作机制复杂，开发工作量巨大 Ø 基于硬件的 VXLAN 和集中式组合⽹关 Ø  实现 VPC，NAT，floatingIP,子网，路由等功能 Ø 云管理平台 Ø  实现对计算，存储，网络，以及云数据库等模块的调用，调度，监控和反馈
  • 14.建设历程-YY 私有云2.0-⽅方案选型 应用层 控制层 业务应用系统 北向API 北向API 北向API SDN 控制器 网络服务 基础架构层 网络设备 南向控制协议 网络设备 网络设备 网络设备 网络设备 Ø  虚拟网络的灵魂：SDN 控制 器 Ø  基本结构 Ø  工作机制 Ø  选型⽅案： Ø  简单标准的北向接口 Ø  复杂的南向接⼜由⼚商实现
  • 15.建设历程-2.0 Overlay 网络模型 核心交换机 vRouter 1 subif 外部网络 subif vRouter public vRouter 2 vRouter n subif sSuSbuibuf ibf if VSI 1 VSI 2 VSI n VTEP 1.1.1.1 Firewall NAT+ACL subif sSuSbuibuf ibf if vFW public vFW 1 vFW 2 vFW n VTEP Vxlan 接入 Switch 2.2.2.2 Vxlan vlan VTEP Vxlan 接入 Switch 3.3.3.3 Vxlan vlan VTEP Vxlan 接入 Switch 4.4.4.4 Vxlan vlan vlan vlan T1_VM T1_VM T2_VM Hypervisor 1 vlan vlan T2_VM Tn_VM Tn_VM Hypervisor 2 vlan vlan Tn_VM T1_VM T1_VM Hypervisor n Ø  基于硬件的 VXLAN 和集中式组合网关 Ø  东西向流量转发 Ø  南北向流量转发
  • 16.建设历程-云平台各层交互流程 Cloud2.0云平台 RESTful接口 SDN控制器（集群） Overlay、网关、策略路由 网关交换机 VXLAN配置 VLAN映射VNI配置 核心 接入 接入交换机 VM、vSwitch配置 Hypervisor NAT、EIP配置 NGFW n  交互流程 n  云平台与控制器交 互 n  云平台与宿主机交 互 n  云平台与监控交互 vSwitch VM VM Hypervisor
  • 17.建设历程-虚拟网络模型-整体模型 Computer Node Storage Node Internet/ WAN 数据中心出口路由设备 Data Net VxLAN Overlay VPC VxLAN L3 GW MGMT Net OSPF/BGP 网络设备管理 Ceph内部网 络 Service Node 模型描述： Ø  三个网络 n  Data net：Tenant VPC，利用VxLAN 虚拟化技术构建叠 加网络 n  MGMT net：组件 内部通信、存储访 问 n  Ceph内部网络
  • 18.建设历程-网络架构-Data Net Internet/ WAN Controller 集群 数据网络-架构描述 Ø  SDN Hybrid Switch构 Ø  Controller集群集中控制 核⼼心 层 40GE QSFP 接入层 10GE Base-T Eth0 计算 节点 vSwitch VM VM VM VM VM VM VM VM VM VM VM VM CLOS CSS Eth0 vSwitch Eth0 vSwitch VxLAN网关 VxLAN接入 Eth0 vSwitch Ø  采用核心层-接入层结构 Ø  核心 Switch：采用 CLOS架构核心交换机， 多级多平面无阻塞交 换架构，双机高可用 热部署 Ø  接入层：40GE 双归 接入 Ø  防火墙：旁挂核心 Switch，采用主-被部 署
  • 19.建设历程-网络架构-MGMT Net 管理网络-架构描述： Ø  通用L3 Switch构建 Ø  采用核心层-接⼊入层结构 n  10GE接入 n  40GE汇聚 Ø  与Data net共用核心交 换机，核心交换机用作 数据中心出口设备 Ø  接⼊入层 Switch使用40GE 双归接入核心 Switch
  • 20.建设历程-网络设备选型 Ø  SDN Hybrid Switch： n  国内厂家：Huawei，H3C，锐捷，中兴，盛科 n  国外厂家：Cisco、Arista Ø  SDN Controller： n  H3C：VCF Controller n  Huawei：Agile Controller n  云杉：NSP Controller NGFW Ø  NGFW： n  H3C：M9000 n  Huawei：USG9500 n  Hillstone：X7180 LEAF1 Ø  设备组合： n  H3C：VCFC+M9006+S12508AX-F+S6800 VM1 n  Huawei：AC+USG9520+CE12808+CE6850 n  云杉+Huawei：NSP+USG9520+CE12808+CE6850 C SDNController Spine Spine NGFW LEAF2 LEAF3 LEAF4 VM2
  • 21.演进路线: Cloud 2.0 Cloud 2.0 Ext Cloud 1.0 RiseCloud 2.0 Ø  基于纯硬件VxLAN Fabric的Overlay 网络方案 Ø  RiseCloud 1.0 Ø  Ø  基于Opensack Provider Network混合 网络 集中式硬件L3 VxLAN网关方式 万兆以太基础网络，无阻塞SpineLeaf结构 Ø  千兆以太基础网络，VLAN隔离方式 RiseCloud 2.0 Ext. Ø  基于混合VxLAN Fabric的Overlay 网络方案 Ø  采用VGW服务器集群作为L3 VxLAN网关 Ø  真正具有弹性伸缩能力
  • 22.集成方案-计算节点网络结构变化 1.0 2.0 guest vm01 eth0 vm02 eth0 KVM Virtio vnet0 vlan_tag=1 ovs-br0 HyperVisor eth0 trunk vnet1 vlan_tag=2 hybrid-Switch port0 VETP vlan <—>vxlan vlan=1 <—> vni=1001 vlan=2 <—> vni=1002
  • 23.集成方案-虚拟存储方案 存储选 型 Ceph 存储类 型 块存 储 对象 存储 系统、数据盘均使用Ceph 网络 盘 MySQL 数据使用本地 SSD 硬盘、 数据备份使用 ceph 网络盘 Metadata数据通过挂载Ceph 网 络盘进行VM初始化配置
  • 24.集成方案-VM 创建流程 Cloud2.0云平台 云主机创建流程 SDN-Controller S12500 （IP GW） S6800 （VTEP） 更新vlan_vxlan映射表 北向创建vPort（IP/MAC） 下发vlan_vxlan映射关系 到Hypervisor对应的L2网元 Hypervisor 下发指令，配置网络，存储，启动 VM ARP Packet_in上送控制器 云主机发送免费ARP 控制器学习ARP，生成转发流表 下发流表到接入层VTEP 下发流表到L3 GW 流表转换为硬件MAC表项-二层网络建立 流表转换为硬件主机路由表项-3层网络建立
  • 25.运营保障 •  上线和迭代 •  部分业务测试 •  功能，稳定性磨合 •  关键组件质量保障 •  集中式网关的性能，稳定性 •  集群性能,稳定性,容量保障
  • 26.Thank you !