11：30 12：20 杨雅乐 微众银行 敏捷银行的IT架构演进之路

2020-03-01 336浏览

  • 1.
  • 2.微众银行 敏捷银行的IT架构演进之路 从IDC 1.0到IDC 2.0 2018.10
  • 3.01 微众银行2015年架构回顾
  • 4.腾讯牵头发起设立 以科技为主的团队 国内首家民营银行 腾讯 30% 其他 业务及业务支持 人员 科技人员 57% 37% 6% 立业 后台管理及支持人员 百业源 无网点 7*24 轻资产 2014.07 获批筹建 2014.12 获金融许可证 2015.05 推出「微粒贷」 2015.08 推出「微众银行」APP 2015.09 推出「微车贷」 2016.02 推出「微动力」金融产品超市 2016.09 推出「微众有折」 2017.07 推出「BCOS」开源平台
  • 5.互联网金融场景的快速发展对银行IT架构提出了全新的挑战 高性能 高可用 • 亿级客户量 • 快速恢复 • 千万级日交易量 • 高冗余 高弹性 • 容量扩展性 • 性能扩展性 互联网＋ • 海量用户 • 海量交易 • 海量数据 微众 架构 传统金融 • 安全 高标准 • • 稳定 影响可控 • 规模化管理 低成本 • 自动化运维 低风险 • 开源技术 • 故障影响隔离 • 低端服务器资源 • 影响范围小 安全可控的全分布式架构
  • 6.整体原则：通过架构实现安全可控，解除对底层技术的依赖 坚持技术通用性: • 不再被厂商锁定 没有先例: • 第一家民营互联网银行 合规限制: • 6个月筹建期 • 30亿初始资本 普惠金融定位: • 需要全面降低成本 新一代银 行IT架构 极简主义 : • 尽量采用稳定成熟的技术，不 依赖技术性能达到整体性能指 标 依靠可控的: • 什么可控：架构规划、程序代码 • 默认底层技术是不稳定的
  • 7.分布式架构转型是企业级系统工程 新IT模式下的分布式架构转型 分布式计算 迁移 分布式数据库 挑战 分布式存储 • 相对不稳定的底层硬件 • 对网络的依赖 • 新形态的黑盒软件 • 全新的人才要求 …… 稳定、安全的技术平台 先进、可控的顶层设计 合规、高效的治理体系 7
  • 8.安全可控的核心技术建设理念 - 以XML取代IOE 微众主机 － X86服务器集群 • 以资源模块为单位，每个模块由100台服务器组成服务器集群 • 提供应用计算服务、数据库服务和存储服务 MySQL 的分布式数据库 微众数据库 － 基于 • 三副本强同步 • 数据本地存放，不依赖存储 • 自动化故障监控与恢复 L 微众技术－以 INUX、KVM为代表的开源技术 • 全部使用开源技术构建整个基础架构 • 例如：Linux OS, KVM虚拟化, LVS负载均衡等.
  • 9.选择合适的架构模型是实现架构设计目标的关键 分布式松耦合架构 集中式松耦合架构 集中式紧耦合架构 全 量 客 户 分散风险 • 缺点 • 全量业务 优点 • 数据一致性有保证 缺点 • 随着业务复杂度提高，模块间 调用关系变得越来越复杂 • 性能扩展性受局限 • 可用性有限，风险集中，故障 影响面大 - 单系统故障可能影 响全部客户的所有业务 优点 • 提高冗余 全 量 客 户 全 量 客 户 全 量 客 户 全 量 客 户 业务1 业务2 业务3 通过把业务逻辑分散到不同计算节点来 处理，提高整体性能 大部分情况下，可将单节点故障影响降 低，仅影响全部客户的部分业务 热点应用仍可导致全局性故障 缺点 • 节点1 客群2 节点2 节点3 客群3 优点 • • 缺点 • 业务1 业务2 业务3 有效降低单节点故障影响面，仅影 响部分客户 业务逻辑分散到更多计算节点来处 理，系统整体性能进一步提升 节点数量增加，增加管理难度 多主节点架构 单主多副本强同步架构 M M M 全 量 客 户 全量 业务 优点 • 客群1 全量 业务 全量 业务 数据高度冗余，实现高并发以及高可用 性 受CAP理论限制，各个计算节点间的数 据一致性无法保证，一旦系统出现异常， 难以判断以那个节点数据为准 优点 • • 缺点 • M S S 全量 业务 全量 业务 全量 业务 数据高度冗余，实现高可用性 永远以主节点数据为准，有效规避CAP 理论的限制 实现主从节点间的强同步机制比较复杂
  • 10.以客户为单位的分布式松耦合单主多副本强同步架构 微众银行IT架构 分布式松耦合架构 客群1 节点1 客群2 节点2 客群3 节点3 业务1 业务2 S 客群2 S 客群3 S 业务3 + 一主两从节点强同步架构 全 量 客 户 客群1 M S S 全量 业务 全量 业务 全量 业务 = M M M S S S S S S 业务1 M M M S S S S S S 业务2 M M M S 节点1 S 节点2 S 节点3 业务3 优点 • 按客群拆分计算节点，有效降低单节点故障影响面，控制运 营风险 • 业务逻辑分散到多个计算节点来处理，实现高性能要求 • 一主两从节点实现数据高度冗余，满足高可用性要求 • 以主节点数据为准，有效规避CAP理论的限制 缺点 • 需要配套自动化管理工具，降低管理复杂度和提升运维效率 • 需要健全数据库技术，实现高效率的数据强同步机制
  • 11.实践用例：微众银行分布式架构整体逻辑视图 GNS 5、一个客户的所有信息都包含在同 一个客户数据节点中 6、Global Naming Service （GNS） 是整个以客户为单位的可控分布的核心： • 开立新客户时分配节点（加权哈希函数，可控随机分配） • 后续业务处理过程中查找客户节点（KV对，全内存查询） 跨节点交易 客户数据节点 1 客户层 客户数据节点 1’ 客户层 账户层 基础架构层 1、通过数据分布实现海量 数据处理能力 账户层 数据 备份 2、数据汇集机制支持全 行集中管理模式 注：分布式部署逻辑单位：DCN，Data Center Node，数据中心节点 基础架构层 数据汇 集 后台管理 客户数据节点 N 客户层 ... 数据 备份 客户数据节点X 客户层 账户层 基础架构层 后台管理 外联 外联 内部管理数据节点 1 内部管理数据节点 1’ 3、近实时数据复制至备份节点 实现高可靠性 账户层 4、随着用户规模增长需要，系 统处理能力可以无限横向扩 展 基础架构层 客户及账户数据主节点 客户及账户数据备份节点 内部管理数据主节点 内部管理数据备份节点
  • 12.02 Magic Number
  • 13.新科技体系效能分析 – 高弹性 整体规模扩展情况 50 12,000.0 40 10,000.0 8,000.0 30 15 务 16 17 18 2 3 4 6 4 6 32 40 6,000.0 20 4,000.0 10 - 2,000.0 15年 数据中心数量 16年 17年 分布式节点数量 18年 - .0 服务器数量 1,500+ 3,000+ 6,000+ 10,000+
  • 14.新科技体系效能分析 – 高标准 标准化技术体系 2天 11天 最快扩容速度 最快产品投放速度
  • 15.新科技体系效能分析 – 低成本 35.0 7,000 成本构成 30.0 6,000 • 数据中心 25.0 5,000 • 网络链路 20.0 4,000 15.0 3,000 10.0 2,000 5.0 1,000 • 信息安全 - • 运维人力 - .0 15年 账户数（万） 16年 17年 IT运维户均（不含内部） 18年 IT运维户均（含内部） 账户数 户均IT维护成本 户均IT成本及账户数 • 硬件设备 • 基础软件（IaaS、PaaS）
  • 16.03 数字背后的秘密&IDC演进之路
  • 17.微众1.0架构：同城双中心主备 第三方合作 方 1E1 A A P P P P 外 联 区 INTERNET 1D1 A A P P P P 1E2 A A P P P P 1D2 A A P P P P 102 A A P P P P 2U1 A A P P P P 消息通道(MB/HTTP) 核 心 业 务 处 理 区 101 A A P P P P 2U2 A A P P P P DB GW SET1 DB GW SET1’ M S S IDC1 M S S IDC2
  • 18.微众2.0架构：同城三中心多活 第三方合作 方 1E1 A A P P P P 外 联 区 1D1 A A P P P P INTERNET 1E2 A A P P P P 1D2 A A P P P P 1E4 A A P P P P 1D4 A A P P P P 104 A A P P P P 1A4 A A P P P P 消息通道(MB/HTTP) 核 心 业 务 处 理 区 101 A A P P P P 1A1 A A P P P P 102 A A P P P P 1A2 A A P P P P DB GW DB GW DB GW SET1 M S S SETn … S … S … M IDC1 IDC2 IDC3
  • 19.微众管控平台整体能力概览 SAAS 零售金融 电子账户 商户金融 理财 PAAS 收单 移动银行 负载均衡 生物识别 智能客服 大数据 离线计算 近线计算 流式计算 存储 分布式 分布式 块存储 对象存储 文件存储 硬件设备 NoSQL 公务支付 小企业贷 信息安全 SQL 持续集成 补丁服务 DCOS 加密 监控 DDOS 自动化部署 反欺诈 CMDB 漏洞扫描 资源管理 域名反劫持 ITSM 主机安全 架构设计 WAF 计算 专用设备 虚拟机 容器 网络 IDC 生产中心 供应链 区块链平台 数据库 分布式 物理服务器 商户贷 运营管理 公共服务 消息总线 IAAS 金融规划 小微金融 容灾中心 LAN WAN 外联接入
  • 20.新一代金融科技模式的核心价值观 • 避免私有化服务协议，云能力标 准化 • 避免“部分标准化”协议 • • 组件模块化，组件功能边际清晰， 不交叉依赖 模块间松耦合，独立部署，按需 扩容 基于安全可 控技术的新 一代分布式 银行架构 • 按需构建，平滑发展，最小规模 集群 • 不依赖特殊设备（含网络） • 全面掌握技术核心 • 符合银行业信息科技治理要求 • 自主可控的顶层设计：架构/容量/代 码 • 具备内核级代码优化能力，不盲目 集成开源产品 • 避免完全依赖黑盒，尽量负责原子 能力 20
  • 21.& 1. DE 7. WeDos 务 WeDos VM DB 3. 2. 8. 12. ITSM IMS IT 4. 5. / 9. CMDB 11. 6. CMDB IRAA AOMP 10.
  • 22.标准化、通用化、开放化、精细化、智能化 标准化硬件 开放化软件 通用化人才 精细化管理 智能化运维 标准化硬件 vs. 定制化硬件 开源软件 vs. 商业软件 通用技术人才 vs. 专用技术人才 细颗粒度按需扩容 vs. 大规模刚性扩容 智能机器人运维 vs. 人工运维
  • 23.