农银人寿新一代核心业务系统 云平台实践
2020-02-27 275浏览
- 1.农银人寿新一代核心业务系统 云平台实践 新核心项目组 王福强
- 2.前言：让云落地 对传统公司来说 云能否解决公司的问题？ 投入产出是多少？ 坚持？观望？试水？推倒重来？ 一边是云技术发展如火如荼，高高在上 一边是公司现实差距太大，如陷泥潭 本文讲述农银人寿在云平台方面的实践，希望能提供一个有益的参考
- 3.目录 一 项目简介 二 新核心系统的云平台 三 实例：批处理平台（Batch PaaS） 四 实例：用户管理（UM PaaS） 五 总结
- 4.一、项目简介 公司情况： n 农业银行控股 n 中小型寿险公司 n 发展很快（年增长50%+） n 传统金融行业 n 成立10年，更名3年 现状分析： n 背景、约束 现有核心业务系统是2007年建设，近几年故障多、性能差、改造困难，无 法满足公司业务快速发展需要，技术方面问题： 技术陈旧，集成困难：JDK 1.4.2，目前很多软件无法集成 n 资源有限 n IT有点跟不上 架构设计不好，扩展困难：JSP+Servlet n 保守、安全 n 大量遗留系统 运行不稳定，性能差：不定期宕机，紧急补丁多，批处理速度慢
- 5.一、项目简介：建设目标 2万名 1000万名 总用户 总客户 项目建设目标 n 推动公司运营体系、营销机制的创新 n 提高生产化水平和市场响应速度 1000亿 100种 保费/年 险种/年 n 增强公司的市场竞争力和影响力 n 支撑公司未来十年业务发展需要 10年+ 10万名 系统服务 销售人员
- 6.一、项目简介：保险IT的挑战 唯一不变的是一切在变！ IT方面 管理 变化 需求 变化 外部 变化 业务方面 渠道 流程 产品 规则 销管基本法 监管
- 7.一、项目简介：为何使用云 市场响应速度 快点下班！ 未来十年业务需要 资源有限 安全稳定 IT人做梦都想这样！ 节省的发奖金多好！ 又好又快才有意义！
- 8.目录 一 项目简介 二 新核心系统的云平台 三 实例：批处理平台（Batch PaaS） 四 实例：用户管理（UM PaaS） 五 总结
- 9.二、新核心系统的云平台 快速弹性 基本特性 按需自服务 可计量服务 资源池 服务模式 软件即服务 SaaS 部署模式 公有云 实施模式 多租户 商业产品 本地实施 【7个】 平台即服务 PaaS（10个） 私有云 自主设计 外包开发 【6个】 基础设施即服务 IaaS（3个） 混合云 （远期规划） 开源产品 自主开发 【0个】
- 10.二、新核心系统的云平台 SaaS组成 PaaS组成 待规划…… 用户管理 UM 批处理平台 Batch 渠道接入平台 CIP 报表平台 Report 自建 完成 内容管理 ECM 规则管理 IBM ODM 流程管理 IBM BPM 监控平台 MONITA 购买 实施中 分布式事务管理 DTX 产品工厂 PF 自建 实施中 完成 可提高 IaaS组成 虚拟机-VMware 数据库-Oracle 12C 中间件-Weblogic 12C
- 11.二、新核心系统的云平台 跟别人有点不一样？ 充分利用遗留 应用系统 充分利用已购买 软硬件资产 充分利用现有 人员的知识技能
- 12.二、新核心系统的云平台 别看广告，看疗效！ 保险最易变五要素实现80% 渠道 规则 产品 流程 销管 基本法 应用开发基础模块实现6个 批处 理 用户 权限 报表 内容 事务 管理 日志 监控 大幅提高上线速度，以及IT应用系统开发的生产力！
- 13.目录 一 项目简介 二 新核心系统的云平台 三 实例：批处理平台（Batch PaaS） 四 实例：用户管理（UM PaaS） 五 总结
- 14.三、实例：批处理平台 • 分布式并行计算 • 动态增加或删除节点 • 故障自动转移 1 二次开发（基于合作厂商产品） 2 3 ZooKeeper，VMware n 批处理平台提供批处理开发、批处理运行管理两部分功能 n 主要用于大批量数据的统一处理，如分红批处理，满期批处理等 Java Only 4
- 15.三、实例：批处理平台 原开发模式 开发人员学习平台的五个基本概念，并开发实现其中3个的子类即可。 执行任务拆分的逻辑 需要实现 一个并行计算任务 称为Job Job 任务拆分为多份并行执 行，每一份叫做Task Distributor 拆分 Task Task Task 执行 Executor 执行Task的逻辑，叫做 Executor（执行者） 需要实现 获取共享资源 SharedResourceHolder 封装公共操作，如初始化数据库连接 池，缓存连接池，Spring上下文等 需要实现
- 16.三、实例：批处理平台 原部署结构 * 无单点故障 * 支持节点动态增减 * 自动故障转移
- 17.三、实例：批处理平台 我们做了哪些改造使其成为PaaS平台？ Batch 原批处理平台 Batch PaaS l l l l 多租户 虚拟机动态分配（A、C节点） 数据库动态分配（未完成） 中间件动态分配（M，未完成） 新批处理平台
- 18.三、实例：批处理平台 1 2 隔离性 n 数据隔离 适应性 多租户不同需求 （下一个实例） n 性能隔离 n 安全隔离 多租户 不只是在数据库中增加一个区分租户的字段
- 19.三、实例：批处理平台 多租户的实现 原系统无多租户 n 用户能够查看和管理所有 的批处理（安全风险） n 批处理自动分配到所有服 务器执行（资源争用） n 数据库访问由批处理程序 自行设定（安全风险） 新系统（多租户） n 用户能够查看和管理自己 的批处理（安全） n 用户的批处理自动分配到 自己的服务器执行（性能 隔离） n 用户仅能访问自己的数据 库（数据隔离） 新增功能： n 服务器管理（包括申请， 审批，授权使用，授权回 收） n 数据库管理（授权，回收）
- 20.三、实例：批处理平台 动态分配的实现 原系统 （无动态分配） n 所有用户能够使用的服务器是 预先安装配置好的 新系统 （动态分配，目前针对运算单 元的服务器） n 当计算资源不足时，用户申请 计算节点 n 虚机管理员审批后，系统自动 n 如果需要增加资源，需要走审 批流程（甚至采购流程） 调用vmware接口，按需创建虚 机 n 批处理管理员授权给用户使用 n 用户的job就可以使用这些计算 节点了，批处理马上提速 n 当然，如何管理员预先给用户 分配虚机，就不需要申请了。 注：管理节点一般不是性能瓶颈，动态分配Oracle DB、Weblogic尚未实现
- 21.三、实例：批处理平台 Batch PaaS总图 授权使用 A计算节点 授权 使用 A应用 授权使用 B应用 B计算节点 授权 使用 管理节点 管理员 vmware虚机 weblogic集群 Zookeeper 资源池 vmware虚机 Zookeeper oracle集群 （CDB，PDB）
- 22.三、实例：批处理平台 Batch PaaS通过引入产品和二次改造实施，最终效果如下： l 屏蔽了分布式并行计算的复杂性，实现高性能和高可用 l 屏蔽了批处理开发的复杂性，实现复杂模式（暂停，恢复，重跑， 补跑，任务序列，手工调度，定时调度等），开发和部署简单 l 多租户实现资源的共享和复用，资源隔离、计算隔离、安全隔离 l 实现快速弹性，资源动态分配 投入 n 改造费用：20人月 n 其他费用： 产出 n 多租户、快速弹性、故障自 动转移 n VMware（0） n 性能提升：20%～数十倍 n Oracle（0） n 快速开发：平均节省数天 n Weblogic（0） n 快速部署：数天变为数小时
- 23.目录 一 项目简介 二 新核心系统的云平台 三 实例：批处理平台（Batch PaaS） 四 实例：用户管理（UM PaaS） 五 总结
- 24.四、实例：用户管理 统一用户管理包括用户管理、组织机构管理、权限管理三部分功能。用于所 有新核心项目的子系统，进行统一认证和统一权限管理。 n 我方设计 n 外包开发 n Open LDAP 扩展ARBAC模型 n CAS n Oracle VPD n WebService n REST
- 25.四、实例：用户管理 UM系统做PaaS难在多租户的适应性 应该支持RBAC，也应该支持ACL 应该对开发者透明，对用户简单明了 对简单系统使用必须简单 必须能够适应简单的系统，以及复杂的系统 应该支持功能权限，也应该支持数据权限 应该支持到最细粒度，但是也能粗粒度使用 要支持更复杂的认证和安全方式和策略
- 26.四、实例：用户管理 用户源 员工 客户 UM的概念分层 厂商
- 27.四、实例：用户管理 功能权限的实现 提供通用权限认证过滤器Filter，以实现灵活进行子系统集成 filter UM服务器
- 28.四、实例：用户管理 数据权限的实现 使用ORACLE 企业版VPD（Virtual Private Database） 从数据库层面实现数据访问控制的一种成熟技术（能够实现行级、列级访问控制） 性能高：每次SQL平均时间损耗 0.2ms
- 29.四、实例：用户管理 UM PaaS通过自主设计和外包实施，最终效果如下： l 应用透明：屏蔽了用户、机构和权限的管理，集中统一管理，其他应用不考虑 l 开发透明：屏蔽了认证和权限的开发，普通开发者不考虑 l 多租户：实现资源的共享和复用，满足各种安全级别和安全管理需求 投入 产出 n 开发更高效，开发者透明 新核心系统30多个系统不开发用户和权限管理（节约2人月/ 系统以上），集成只需1-2天 n 外包费用：70人月 n 管理更方便 n 其他费用： 员工所有权限集中管理，一览无余；调岗、离司处理方便 Oracle VPD（0） Weblogic（0） n 随需而变 应用的安全级别可随时修改；应用的安全策略可随时修改 n 更安全 安全策略可定制；最细粒度的功能权限控制（每一次请求/点 击）；最细粒度的数据权限控制（行级和列级）
- 30.目录 一 项目简介 二 新核心系统的云平台 三 实例：批处理平台（Batch PaaS） 四 实例：用户管理（UM PaaS） 五 总结
- 31.五、总结 我们下一步工作： （1）内部推广，创造服务价值：服务的应用系统从20+增至100+ （2）继续完善，提升服务能力：去中心化、标准化 快速弹性 多租户 按需自服务 可计量服务 资源池 去中心化 标准化 通过加强这两项，还能够实现： ü 更简单和快速的资源管理 ü 更简单的部署，更少的人工干预
- 32.五、总结 农银人寿新一代核心业务系统结合公司实际，实现了部分IaaS和 PaaS平台，经过实践检验，取得比较不错的效果。 我们的一点实践经验 技术是为业务服务 没有最好只有最合适 别纠结太多概念 创造业务价值才是传统 公司IT最大的价值 结合公司实际选用合适 的云技术，不要完美主 义 云技术还不算特别成熟 和具有公论，根据效果 选择
- 33.
