京东金融 王超-以应用为中心的DevOps平台建设

2020-02-27 602浏览

  • 1.以应⽤用为中⼼心的DevOps平台建设 京东⾦金金融 王超
  • 2.⾃自我介绍 互联⽹网⾦金金融 14年年~今 负责京东⾦金金融PE团队 社交⽹网络 11年年~14年年 负责⼈人⼈人⽹网PE团队 传统⾏行行业 07年年~11年年 在传统⼤大型企业运维 京 东 ⾦金金 融 ⾦金金 融 科 技 王超 Charles
  • 3.京东总体介绍 京 东 ⾦金金 融 ⾦金金 融 科 技 中国最⼤⾃营电商 全球⼗⼤互联⽹公司 中国第⼆⼤B2C电商
  • 4.京东总体介绍 京 东 ⾦金金 融 ⾦金金 融 科 技 京东活跃⽤户数 ⼊驻商家 约12万家 需要”亿级流量量⽹网站架构" 正式员⼯ 12万名
  • 5.京东⾦金金融总体介绍 九⼤大业务板块 京 东 ⾦金金 融 ⾦金金 融 科 技 供应链 ⾦金金融 财富管理理 农村⾦金金融 消费⾦金金融 ⽀支付 众筹 证券 保险 ⾦金金融科技 2013年年10⽉月开始独⽴立运营，定位为⾦金金融科技公司 2017年年3⽉月，京东集团正式签署重组京东⾦金金融的最终协议。
  • 6.京东⽀支付 京东⾦金金融-⽀支付业务 京 东 ⾦金金 融 ⾦金金 融 科 技 99.99% 全站年年度可⽤用率 （99.99%约⼀一年年52分钟） 10,000 每秒万笔交易易 且可以⽔水平扩展 7×24 秒级监控到问题
  • 7.总体介绍 京东⾦金金融-两地四中⼼心部署 京 东 ⾦金金 融 ⾦金金 融 科 技 北北京 • 北北京三机房 宿迁 • 宿迁灾备机房
  • 8.DevOps简介 京 东 ⾦金金 融 ⾦金金 融 科 技 继Agile，Scrum和XP之后 2008年，Patrick Debois 等初次提出DevOps 2009年，DevOpsDay ⼤会举办 研发，QA，技术运维之间的沟通协作的⽂化
  • 9.DevOps要解决的问题 京 东 ⾦金金 融 ⾦金金 融 科 技 部⻔门墙 1. 更⼩、更频繁的变更意味着更少的风险 2. 让开发⼈员更多地控制⽣产环境； 3. 更多地以应⽤程序为中⼼来理解基础设施 4. 定义简洁明了的流程，尽可能地⾃动化 5. 促成开发⼈员与运营⼈员的协作；
  • 10.DevOps⽬目标 1. DevOps的⽬标是建⽴流⽔线式的准时制(JIT)的 业务流程，最⼤化业务产出。 2. 从架构的⾓度来看，DevOps需要建⽴⼀个⾃动 快速部署系统。 3. DevOps的价值应由业务结果来评判，⽽不是根 据IT项⽬范围和IT成果来评判。 ——引⾃EXIN_Whitepaper 京 东 ⾦金金 融 ⾦金金 融 科 技
  • 11.打造合适的组织架构 康威定律律 设计系统的组织，其产⽣生的设计和架构等价 于组织间的沟通结构。
 反过来，如果你的系统设计或者架构不不⽀支持， 那么你就⽆无法成功建⽴立⼀一个有效的组织 京 东 ⾦金金 融 ⾦金金 融 科 技 2 Pizza Team 谁来打破部⻔门墙 • PE⽣生产运维 产品 测试 • 产品沟通协调员(StoryTeller) 开发 • 与研发共同承担SLA⽬标 • 性能分析师 • 容量规划员 PE •… SA DBA 运维
 安全 ⽹网络 开发
  • 12.DevOps原则 京 东 ⾦金金 融 ⾦金金 融 科 技
  • 13.应⽤用全⽣生命周期管理理 京 东 ⾦金金 融 ⾦金金 融 科 技 1. 梳理产品名录 2. 服务级别 3. 产品信息管理 4. 对外接⼜ 5. 应⽤中⼼+CMDB 全局的应⽤用信息维护平台，包括业务和应⽤用信息的操作和维护 2、在流程系统中 对应⽤用进⾏行行⽴立项 或者变更更 3、保存变更更后 的应⽤用信息 1、查询应⽤用当前 状态的数据 SURE应⽤用管理理 提供应⽤用信息 接⼝口 4、应⽤用部署的时候需 要提供服务器器、分组 信息等信息 6、讲部署实例例信 息返回给SURE进 ⾏行行保存 5、根据应⽤用的分组 和服务器器信息对应 ⽤用进⾏行行部署 其他系统
  • 14.熟悉技术架构 京 东 ⾦金金 融 ⾦金金 融 科 技 安全服务 加解密中⼼心AKS PaaS 数字证书中⼼心 CASYS 移动SDK 漏漏洞洞扫描/WAF JDGuard IaaS GSLB Infra 万兆+SSD 分布式服务 服务管控 接⼊入层⽹网关 分布式调度中⼼心 JSF/Dubbo服务框架 服务配置中⼼心 消息中间件JMQ 分布式弹性计算&实时流式计算 分布式数据中间层 CDS 数据复制组件DBrep 数据和调度服务 分布式缓存 R2M Oracle/MySQL HA 数据抽取平台 Databee 数据中⼼心 Hbase/ES HttpDNS IAAS 基础服务 CMDB 时钟服务 应⽤用信息中⼼心 主机监控 资产系统 ⽹网络监控UMC 代码管理理 持续集成 持续部署 统⼀一⽇日志digger 分布式服务跟踪 SGM 告警中⼼心UWC 定制内核 4/7层负载 X86/ARM GPU 基础设施 传统⽹网络+SDN IDC 14 异地灾备 4
  • 15.Infrastructure as Code —— DevOps的基础 Infrastructure as Code的演进 1. 使⽤描述性语⾔ 2. ⾃动化，减少⼿⼯ 3. 做好配置和脚本的版本控制 4. 针对配置的测试 5. 敏捷，灰度 脚本&配置⽂文件 Shell Scripts Config File 配置管理理⼯工具 Ansible Playbook Puppet manifests Saltstack Chef 京 东 ⾦金金 融 ⾦金金 融 科 技 容器器 Docker Mesos Kubernetes
  • 16.Platform as code • 有效利利⽤用平台减少硬编码， 有效解决问题 1. GSLB（智能DNS） 2. 4/7 ⽹关 3. 服务化（微服务） 4. 消息中间件 5. 分布式缓存 6. 分布式数据库 7. 配置管理平台 8. 分布式调度 9. 数据加解密平台 京 东 ⾦金金 融 ⾦金金 融 科 技
  • 17.APM与全链路路跟踪 ⽅方法级监控 代码⽆无侵⼊入 京 东 ⾦金金 融 ⾦金金 融 科 技 全调⽤用链跟踪
  • 18.⽇日志平台 京 东 ⾦金金 融 ⾦金金 融 科 技 1. 海海量量⽇日志的准实时检索 2. 基于关键词的告警分析 3. ⽇日志发布订阅 4. ⽇日志的数据挖掘 5. 和APM联动分析
  • 19.运维の未来 京 东 ⾦金金 融 ⾦金金 融 科 技
  • 20.数据化运维（数据运营） 1. 基础监控（⽹络，OS，DNS等） 2. 基础服务（DB，缓存，消息等） 3. 应⽤级性能监控 4. 分布式调⽤跟踪和监控 5. ⽇志监控 6. 业务指标监控 7. 监控⼤盘 京 东 ⾦金金 融 ⾦金金 融 科 技
  • 21.智能运维-AIops 1. 海量数据是基础，事件信息汇总，打标签 2. 报警关联分析，找根本原因（RCA） 3. ⾃动报警降级或升级 4. 容量⽔位线预估与⾃动扩容 5. 从⼈⼯规则向机器学习过渡 京 东 ⾦金金 融 ⾦金金 融 科 技
  • 22.THANK YOU ！