游族网络李湛-游戏运维的自动化建设之路

2020-02-27 227浏览

1.分享简单的快乐 ——GITC
2.游族网络股份有限公司 www.youzu.com 正式登陆国内A股主板 SZ.002174
3.全球领先的互动娱乐供应商 30+款发行游戏产品 2.5亿全球注册用户 150+国家发行游戏产品 8大城市分支机构 Top3 全球页游发行公司 40亿移动大数据覆盖
4.核心业务跨界合作全面布局互联网文化产业研运一体化打造娱乐精品将优质内容推向全世界打造完整数字娱乐发行平台弘扬民族文化打造全球经典品牌
5.游戏架构的进化游族网络游戏产品的架构进化史第一代架构第一代架构以物理机为主，一个游戏区组需要2~4台服务器，不同的机器承担不同的角色。该架构方案效率低，不适合大规模游戏运营。第二代架构全面采用虚拟化技术，并实现了ALL IN ONE 的系统架构。该架构方案运维效率高，适合规模开展游戏运营，但不具备业务高可用特性。第三代架构按角色分拆并形成服务集群模式，游戏逻辑以服务进程或集群配置项的形式提供服务。该架构方案运维效率更高，可实现秒级开服同时具备业务高可用特性。关键词：物理机代表作：十年一剑第三代架构第二代架构关键词：集群（云）代表作：女神联盟手游关键词：虚拟化代表作：大皇帝
6.游族私有云以稳定、便捷、满足业务快速增长为目标业务需求 • 游戏业务对于服务器数量需求增加，提升服务器利用率，有效降低运维成本； • 游戏区开服速度快且量大，必须实现分钟级开新服。技术实现 • OpenStack G版为蓝本进行调优并修改； • 网络采用VLAN模式最大限度与现有网络架构保持兼容； • 使用本地磁盘作为存储，简单高效。最终效果 • 90%以上的游戏运行在游族私有云上； • 虚机规模目前持续保持在10000台以上； • 通过重新封装的接口实现了游族运维平台对接。
7.游戏运维的进化工作效率提升是不断总结经验与积累的结果手工运维（串行） • 完成一个新区组搭建需要30 分钟 • 一天开30个新区组强制分配每人任务才能完成 • 完成一次版本更新需要4-8 小时 • 需要登录每一台服务器，顺序执行相关命令和脚本（串行操作） • 独立的版控服务器，通过主动推送的形式进行版本更新（串行操作）批量运维（并行） • 完成30个区组和300个区组的搭建需要的时间基本相当 • 一天所有的开服量1个人1~2小时就可完成 • 一次版本更新用时可控制在1~2 小时甚至更短 • 所有操作只需登录一台集控服务器执行批量操作脚本（并行操作） • 独立的版控服务器，通过并行的主动推送（并行操作）系统化运维（智能） • 游戏区组搭建的时间基本上可以忽略（可按需求触发） • 所有的更新操作在WEB管理平台就可完成 • 所有的操作只需要在UOC作业平台的WEB界面里就可完成 • 分布式的版控服务器，效率更高更符合全球化业务部署的需求
8.游族作业平台开放式、分布式、模块化 • 使用Salt States系统进行配置管理 • 全功能作业模块，可分区域独立部署 • 开放、灵活，可定制几乎所有运维操作 • 统一管理分布于全球的游戏业务 • 通过API接口在统一界面完成所有操作 • 实现业务树与分布式US作业模块无缝对接
9.游戏数据的问题游戏运维过程中关于数据备份和恢复的难题数据繁多页游、手游业务在线区组多（多达上万组），在第一代、第二代的游戏架构中管理的数据也多达上万份。类型多样在线运营的游戏产品超过30款，不同游戏采用的技术架构不尽相同，游戏采用的数据持久化存储方案也是多样的MySQL、Redis、SSDB 可靠备份上万份的数据除了能快速备份外还要实现快速恢复（游戏批量回档），支持多种类型的数据备份、恢复，支持数据异地备份。数据繁多类型多样可靠备份
10.游戏数据备份系统游族统一异地备份系统（Ubackup) 业务需求 • 游戏区服量大，需要支持基于小时级别的异地快速备份和恢复机制； • 支持任意数据类型的数据备份与恢复； • 提供数据统计与异常告警功能；架构设计 • 业务机与异地备份机采用任务队列机制进行通信； • 异地备份文件按权重随机备份到一台异地备份机； • 异地备份机集群的权重和容量管理由控制台进行管控。实现容量的线性扩容； • 日志数据分析展示采用ElasticSearch实现。最终效果 • 每天完成2W+个业务实例、40W+文件、40TB+数据量的异地灾备；
11.游戏数据备份系统游族统一异地备份系统（Ubackup)
12.游戏网络的优化以低成本方式优化网络的同时提供灵活调度的能力网络现况 • 目前90%以上的业务都部署在电信网络中； • 手游与页游的网络环境一致，游戏服务器部署在电信网络中；架构设计 • 近2/3的用户是电信用户，首先服务好这部分用户，另外1/3的用户再想办法进行网络优化； • 自主实现了一套GLB调度系统和ULB业务网关； • 通过部署双线、多线、BGP的边缘节点通过电信网络回源的方式进行网络调度优化。优化效果 • 较全BGP网络部署的业务网络延时增加10-20%（符合业务需求）； • 某一区域网络异常或节点异常可快速进行调度（网络整体可控性大大提升）；
13.THANK YOU