哈尔滨银行科技部副总姜岩 - 运维架构调整与运维工厂模式的建立

2020-02-27 706浏览

1.
2.目录 Contents 1 运维发展的历程与定位 2 运维服务的痛点与变革 3 运维服务的架构与技术 4 运维服务工厂化场景分享
3.运维发展的历程：运行、运维、运营，由被动到主动金融企业的信息化建设最早开始于1990年代初，初期无运行的需求与概念，后期因自助设备、网银的24小时服务，开始有了运行的需求与工作，进入了运维发展历程的第一阶段：运行操作。系统运行操作阶段（过去）运维专业管理阶段（现在）运营支持服务（目标）项目组开发与基本维护各项目组独立完成应用开发、基本维护、批作业开发等，系统间关联关系很少运行操作机房、网络、服务器、操作故障发布监控日常服务 … 服务管理变更管理作业请求请求生产中心： •客户服务与运行 •应用维护 •系统与平台软件 •网络与安全管理 •机房环境与设备灾备中心： •系统与平台软件 •网络与安全管理 •机房环境与设备故障发布监控日常服务 … 服务管理变更管理作业请求请求 IT服务台体系业务流程及应用系统优化 PAAS&IAAS 监控调度服务机房系统监控数据仅负责主机网络正常运转 •项目组通常既承担建设任务，也承担部分运维任务； •无体系化运行管理思路与方法 •系统运行操作人员不掌握应用系统，无较大的系统可用性、可靠性要求，数据分布简单，仅完成备份即可。确保应用系统可用、能用确保业务好用、实用、低成本 •因应用系统可用性及可靠性等需求压力，引入ITIL思想，运维专业化分工，开发建设与运维管理分离 •仅能保证应用的可用与可靠，不能充分了解应用系统及其关系，不能有效利用基础资源，不能主动优化系统。 •因企业竞争的需要，成本控制的需要，要从业务整体服务的好用、实用、成本角度考虑工作模式的设计 •业务服务由多个应用系统联动提供服务，需要从客户接入端、内部架构端分别不断发现、定位、分析，改进服务，帮助企业赢得市场
4.运维发展的历程：运行、运维的职责与特征运行操作的需求与特征金融企业的信息化，最早起源于会计电算化，仅是对人工操作的简单模仿与替代，无24小时服务的需求，无高度复杂的业务链路与数据分布环境，少数应用系统是互相独立的，对于运行的要求仅是保证服务器在工作时间正常运行，如果出现问题也可恢复手工营业，因此运行操作阶段的基本特征为：1）仅需熟悉操作系统及机器硬件；2）仅需按应用系统开发的要求，操作备份、批量、开关机等任务；3）偶尔会出现因备份操作失误、磁带故障等，造成数据丢失，需业务人员补录数据。4）基本不熟悉应用系统，不掌握应用故障的处理技能。运维管理的需求与特征随着自助设备、网银银行的24小时服务需求，以及业务流程复杂化，需要多套应用系统联动后才能提供业务服务（如：网上银行外汇买卖），以及复杂的数据分布与安全要求等，原有运行操作模式面临诸多问题，逐步引入ITIL理论，建立起专业的运维管理体系，开发与运维分离，配置主备中心，系统的高可靠性架构设计，操作调度标准化自动化，运维管理阶段的基本特征为：1）开发与运维分离，但始终未解决好开发向运维移交的问题；2）系统架构考虑了高可靠性（HA等）与容灾配置，但业务服务还是频繁出问题；3）各类监控工具配置较多，但还是很难做到业务故障的发现、定位、处置标准化自动化；4）数据备份与保护设备配置较完备，但未能解决业务数据全生命周期管理与服务的关键性问题，业务数据的利用率低、保存成本高。
5.运维发展的不同理解：由运维的被动->运营的主动运营服务效益成本 ................... 资源服务贴身服务应用管理 IT服务体系建设为用户、客户提供线上贴身服务，解决故障、建议、需求等问题，不断优化系统，关注满意度，提升服务能力业务流程管理与优化按业务场景，整合业务链路上的应用系统、系统资源、运维工具、数据分布等数据服务业务数据全生命周期管理服务按业务场景、系统架构，配套设计业务数据全生命周期管理与服务协议，提供技术工具与标准服务流程，充分利用数据、降低存储占用成本系统资源与运维保障服务按应用类型，提供不同的系统资源及架构服务（PAAS&IAAS），为业务流程与应用，提供备份、监控、操作、采集等运维保障服务，提升效率、降低成本、控制风险
6.运营，即运维服务的定位：为客户提供产品与服务数据产品业务数据用户、客户，通过业务系统服务所产生的各类交易数据，如账户交易明细、余额等业务服务分析数据交易服务用户、客户，通过系统分析服务，所产生的各类管理及分析数据，如财务报表、投资分析等用户、客户，通过系统操作完成的转账、汇兑等业务服务支持服务用户、客户，因故障、建议、需求等，通过IT服务台获得的各类支持服务
7.运营服务的定位：银行IT服务台流程与技术优化示例服务接口服务对象服务分类流程优化服务角色
8.目录 Contents 1 运维发展的历程与定位 2 运维服务的痛点与变革 3 运维服务的架构与技术 4 运维服务工厂化场景分享
9.好产品的设计、好服务的优化：产品与服务并重 q 好产品的典范，永远的DC3，各类矛盾指标的综合考虑，权衡利弊，具体到IT运维管理与运营服务的产品提供，要根据所属企业的需求，按优先级排列矛盾指标的解决顺序； q 好服务的典范，贴心的海底捞，无论员工还是客户都满意，具体到IT服务，如何让用户与客户都满意，是一个不断统计分析结果、发现问题解决问题的迭代过程；
10.运维服务的痛点：有需求才有痛点运维服务的需求与痛点： q 复杂与可靠的矛盾：功能复杂度越来越高、可靠性要求也越来越高，如：跨境支付、各类移动金融服务等，业务路径负责，可靠性要求高 q 开放与安全的矛盾：架构和技术期望越来越开放，但安全性却要求更高，如：开源产品、开放平台的使用，与网络安全、操作安全的矛盾 q 效率与稳定的矛盾：技术与应用的更新要求频度越来越高，但对系统稳定性造成了严重影响，如：银行的计划性投产、临时投产，与快速投产 q 成本与容量的矛盾：交易量上升造成数据量上升，与IT投入成本的矛盾 q 性能与模式的矛盾：业务链路越来越复杂，但对性能要求也同样高，如三方 q 业务与技术的矛盾：业务需求的频繁变化与开发运维的矛盾 .......................
11.运维服务的策略：解决痛点才有机遇，逐级拆分、化繁为简根据企业需求、应用类型，有策略分优先级解决各类矛盾问题： q 控制可靠性：面向复杂IT架构的可靠性控制，分解为：环境可靠性、网络可靠性、存储可靠性、计算可靠性、数据库可靠性、操作可靠性。。。。 q 增强安全性：面向开放环境的安全架构设计，分解为：外部访问安全（私有与共有结合）、内部操作安全、数据管理安全。。。。。。 q 提升稳定性：面向敏捷开发快速投产的稳定性提升机制，分解为：独立程序稳定性、共享数据稳定性、共享网络资源稳定性、共享存储稳定性。。。。 q 降低IT成本：面向数据与交易量增长的成本控制，分解为：高端存储成本、近线存储成本、归档存储成本。。。。。 q 保障系统性能：面向复杂业务链路的性能提高，分解为：客户端处理、访问接入、WEB会话与限流、AP异步处理。。。。 q 提高灵活性：系统架构、应用架构的统筹设计，自下而上整合应用。。。。。。。。。。。。。。。。。。。
12.由运维管理向运维服务的变革：思路、方法、技术问题输入与分类成因分析与策略安全类问题【内生/外部】：访问、数据、操作、运行、应用等安全类问题运行类问题【内生】：基础环境、应用系统等运行类问题，系统故障问题等资源类问题【内生】：各类系统资源的使用、变更、性能及资源类架构问题服务类问题【内生/外部】：IT资源标准化服务、业务运营支持服务类等问题 1 非法访问-访问控制 2 故障发现-监控管理 3 故障处置-运维操控 4 信息安全-数据管理 5 突发情况-应急管理 6 快速部署-资源池化 7 服务能力-结构化服务 N ......................... 领域细分与设计运维管理细分与实施设计 1. 运维管理：地以运营服务为导向的流程、技术、工具设计实施 2. 监控管理：监控分析、需求管理、布控管理、技术实施、业务可用性保障 3. 访问控制：物理访问管理、逻辑访问控制、数据访问管控，应用访问控制 4. 数据管理：应用系统数据全生命周期管理与调度，业务数据规划控制 5. 运维操控：批作业、自动巡检、故障处置等 6. 应急管理：业务与系统的各类应急预案与操控 7. 资源管理：系统与服务资源管理，如IAAS、P AAS 的实施落地 8. 运营支持、私有云等有效管理与控制运营服务效能分析层针对计划外、标准外的服务问题、实施问题、运维问题、故障问题、资源问题、发布问题等等，进行根源分析、适用领域分析、支撑技术分析、工艺实施分析、实施操控评估等运营实施工艺设计层针对分析层确定的运维领域具体任务，设计实施工艺，例如应用监控档案维护、 BAM业务链路维护使用，应用系统接收过程控制，数据管理协议实现工艺等，并负责向生产层的安装与培训。生产调度与采集质监层生产相关的变更、事件、接收、巡检、批量、数据监视、控制等任务与操作的执行、记录等任务调度与执行，运行采集与质监管理，数据统计，问题分类运运维工具与技术开发层针对运营服务所需的各类工具与技术，开展研发、测试、投产、评估、改进等工作，具体分为： 1、资源管理类工具：如IAAS、PAAS等 2、IT服务类工具：ITIL、服务台、 CMD B 3、监控调度类：基础监控、业务可用性、计划任务调度等 4、DEVOPS类：应用标准件开发、发布工具开发............................
13.目录 Contents 1 运维发展的历程与定位 2 运维服务的痛点与变革 3 运维服务的架构与技术 4 运维服务工厂化场景分享
14.运维服务的变革：技术创新积累->架构变更驱动运用动态采集 PAAS BAM实施技术 IAAS 任务调度数据管控运营架构问题分析分解工艺流程设计生产采集质检技术工具开发循环重复
15.运维服务的管理架构：分析、工艺、生产、质检、开发运维服务 任务识别运行产品服务、运行数据服务需求识别风险识别 IT服务台 工作规划系统投产与变更整体流程管理事件与应急管理流程领域业务数据全生命周期管理基于ITIL的运维标准化与工业化管理体系 工艺设计业务可用性整体控制工艺设计应用系统非功能控制工艺设计计划性任务控制工艺设计基于IAAS / PAAS的运维技术控制与管理体系信息安全与风险管理流程基础资源池化控制工艺设计生产采集质检开发各类业务运维保障措施实施，动态数据采集配置，计划性任务调度配置。。。。业务系统运行监控，维护性操作控制，运维配置、运行状态等数据采集。。。各类运维所需技术与工具的研发，应用标准件开发测试。。。。
16.任务识别控制架构：以优质服务、风险控制为例业务功能完备客户体验优良有效控制风险目标落实关键概念定义：服务模式、风险分类风险识别几类风险的识别方法方法实现技术平台整体架构设计标准规范制度规范模式匹配技术工具配置与集成数据规范服务目录、BAM规范发布培训、运行、优化 16 操作快速响应需求自助设备业务系统调账处理流程
17.工作规划管理架构：基于ITIL与技术的场景化业务目标 I T运维管理目标体系文件程序文件体系文件规章制度操作手册绩效考核管理技术支撑平台监控工具安全管理事件处理平台体系集中展现流程管理工具绩效考核系统服务级别管理财务管理服务交付管理可用性管理持续性管理供应商管理客户关系管理专业技术管理监日控常巡作检业应用系统管理网络管理主存机储管管理理数据库管理中间件管理桌面管理机房环境管理其他管理能力管理需求分析服务支持流程管理服务台事件管理问题管理配置管理变更管理发布管理 CMDB 知识库组织管理服务管理者服务提供者绩效考核目标绩效考核办法服务使用者绩效考核计划 I T基础设施机房环境硬件设备系统软件资源 I P地址机房空间机柜空间信息点被管理对象应用系统文档管理文档建设文档维护文档产品文档数据备份数据
18.工作规划管理架构：分析层运用实例->ITIL 有些是零部件的问题，有些是实施工艺的问题
19.工艺设计基础流程：由繁入简、标准化、自动化操作规程动作拆解工具技术工艺分类目录第一步分类配置操作规范实施过程原子操作模板整合测试标准工具第二步组件选择第三步整合测试运行采集评估改进操作规程调整模板修订工具改进第四步运行评估第五步改进优化
20.工艺设计基础流程：工艺层实际运用实例，操作 Ø 内容：档案从监控对象，KPI，监控策略，对象-KPI-策略对应关系几个方对面象进构成行信梳息理监控KPI指标集监控策略实施说明 Ø 策略(编按层码次、规分维则度：) 按照新规则(分重层级新指标编、码二次，诊断并定义利) 用OM•NChI(e按Bck工U c 具hSa设n贴g计e、标 re分co签对rd象s 定级) • Roll back application to old level 全方面多维度梳理应用监测点以体系化的监控指标为参考基础层面构成信息分层级按维度说明指标策略统一编码，整体描述应用 - 存储：通道等 - 网络：通路、会话等 - Level 1: 常规监测指标 - Level 2: 初步定位指标策略按照不同对象定义报警级别 - 系统：信号量等 - Level 3: 深入诊断指标说明策略的启动条件、频率 Ø 层应面用-- 内专数：部用据构库设网成：备信信实银息息例从等操作系统、- 如中：指链标间路二件中次断诊、报断警定数，义需据确库认哪、一个网层面络、存储、应用几个层面进- 进行程、梳服务理、队列等指标的详细说明（知识库）应用外部关联信息指标采集及处理方式说明 Ø 维度- 链：路、应文件用、部接口分等从WEB页面探测、端口、应用进程、会话、交易几个维应度用交来易信详息细说明 - 交易分类、交易名称、返回码
21.工艺设计基础流程：工艺层实际运用实例，过程过业务需求分析，确程定基础应用与流程基础应用分析流程模式设计系统间交互设计数据结构分析与设计确定业务数据管理协议业务流程与应用所需系统资源关联分析与确认系统整体运行所需的非功能需求开发确认系统整体投产前端的各类测试及破坏性测试系统关联性投产或自动化投产验证与检查确认系统整体运营保障与问题分析非功能需求反馈开发：确定流程与应用投产：业确定资源与保障运营：运维保障与运营分析 • 业务流程分析：通根据业务需求确定业务流程，尤工其是反向流程的确定，以作及流程间会话模式及技术目标方案设计。 • 系统资源确认：根据业务流程模式及可靠性、性能等要求，确定系统配套资源【成本、效益等】。 • 系统保障确认：根据业务流程关键性与可靠性等要 • 运维保障：销完成日常监管控与运维操作控制工作，处理事件问题变更，优化性能，分析并反馈非功能需求并配套开发 • 基础应用分析：确定哪些需求是基础应用，是以已有应用改造还是新建应用，包括业务数据分布在哪些应用。求，确定配套监管控与运维操作资源配套要求，并开展相关开发与实施工作 • 关联投产设计：所有相关环境的关联投产控制 • 运营分析：通过监控等动态数据采集，以及大数据分析技术，分析业务系统运行特征，客户操作规律等动态数据，为数据仓库提供分析补充信息
22.银行应用系统架构选择策略：数据强一致、震荡交易类型。。策略决定技术的选择：例如核心系统数据库集群的选择，当单机可承载所有交易的压力，则选择传统的HA来解决高可用性问题，以克隆数据库解决应急保障问题。创新金融业务分类型的应用系统架构设计方案应用架构资源依赖性交易特征数据需求加密外联交换结构化与非结平稳类型交易构化数据，长系统类资源需求震荡类型交易期数据与临时数据，涉密数网络安全专用复杂类型交易据传统金融服务安全管理要求运营基础环境与技术：资源、保障、数据
23.银行应用系统架构选择：可供选择的基础资源 a ITA总体架构 ITA1. 传统金融业务 ITA2. 创新业务领域 ITA3. IT基础设 ITA4. 风险控制及服系统建设规划系统建设规划施系统建设规划务保障相关架构规划 b APP应用系统 APP1. 核心账务类应 APP2. 接入前置类 APP3. 电子渠道类 APP4. 数据仓库类应用用系统架构规划应用系统架构规划应用系统架构规划系统架构规划 c SS 服务器及存储 d NW 网络 e SS 系统软件 f RS 运行服务支持 g SDR 安全及灾备 SS1.数据库及高可靠性数据服务器架构 SS1.高计算及高并发类服务器系统架构 SS2.高性能高可靠性存储架构设计 SS3.海量及非结构化数据存储架构设计 NW1.核心网络及多活数据中心网络架构规划 NW2.互联网接入与接出网络架构规划 NW3.存储网络 (SAN）及环境架构规划 SS1. 高性能高可靠性数据库架构规划 SS2.高稳定性大并发中间件架构规划 SS3.高性价比开源数据库系统架构 SS4.高性价比开源中间件类系统架构 RS1.监控及备份类系统运行保障机制架构规划 RS2.数据全生命周期管理与服务系统架构规划 RS3.应用系统运行状态监测(ARM)架构规划 RS4.日志与运行数据采集机制系统架构规划 SDR1.交易安全保障机制系统架构规划 SDR2.数据安全与一致性保障机制规划 SDR3.访问控制及入侵监测机制系统规划 SDR4.同城及异地灾备保障目标与机制架构
24.运维服务工具平台架构示例：需求->建设策略运维关键技术工具先进展现技术与工具运维自动化技术平台大数据采集分析 APM网络报文分析技术移动服务台技术全维度安全管理视图针对访问安全、漏洞扫描、安全防护等领域实现全维度安全管理视图运维服务整体管控平台系统运维监控视图针对网络、系统、应用及业务等运行环节，实现综合性监控管理视图操作应急管理视图针对各类操作与应急任务的定义、执行、效果实现动态任务管理视图系统资源管理视图针对网络、系统等资源的分配与使用，实现I AAS、PAAS类管理视图业务数据管理视图针对业务实现全生命周期管理理视图，控制数据的定义、产生、归档与使用等 SOC统一管理平台针对4A安全访问、日志分析等安全工具实现从定义到执行效果的管控统一监控管理平台针对所有监控对象形成监控档案管理，监控消息管理，监控专业视图操作应急管理平台针对各类操作任务，应急任务实现定义、关系、 PAAS管理平台基于私有云技术，实现系统资源的分配、调度与配置等管理功能应用数据管理平台以应用系统为单元实现业务数据的定义、控制、归档、调阅等管理安全类工具 4A管控工具 I DS防护日志分析配置合规漏洞扫描病毒防护监控类工具网络监控系统监控应用监控 APM工具数据库监控 I TI L工具操作应急类工具作业调度自动巡检备份调度应急操作自动发布数据采集系统管理类工具网络管理存储管理系统管理系统软件线路管理配置调度数据管理类工具数据归档安全删除数据漂白数据传输数据结构数据分析运维管理制度规范各领域管理制度各类运维专业技术平台的技术规范与操作办法各类运维手册与报告 I T基础设施管理机房环境监控硬件设备管理系统软件管控基础环境与配置管理：应用系统路书管理、各类资源配置管理工具运维资源管理 I P地址文档手册运维制度机房空间机柜空间应用系统基本配置管控运维手册运行报告信息点应急文档数据管理备份协议备份任务备份介质
25.目录 Contents 1 运维发展的历程与定位 2 运维服务的痛点与变革 3 运维服务的架构与技术 4 运维服务工厂化场景分享
26.银行业务服务实现的构成示例：应用、通路、链路应用单元构成基础应用，基础应用构成业务流程 IT组件及系统资源构成基础运维保障措施构成服务平台服务平台支撑应用系统及数据
27.化繁为简的工厂化模式应用实例：分解过程、标准化操作借鉴工厂流水线设计的思路，将应用系统看做“机床”，将业务流程看做 “流水线”，对于应用、流程的维护就是流水线的设计、优化和维护，具体的应用场景实例如下： 1、应用系统的开发到接收（DEVOPS）：应用系统评审ð应用系统接收ð 监控、操作、CMDB、应急、数据、容量； 2、应急操作控制的标准化维护：变更OR问题业务流程分析技术手册维护演编排评估改进； 3、业务流程可用性管理（BAM）维护：接收与变更应用系统-ð从入口梳理ð层层传递确认ðCMDB更新ðBAM维护ðECC培训ð服务台对接； 4、业务数据全生命周期管理的维护：应用变更ð 数据管理协议填报 ð 备份任务编排 ð数据恢复测试ð 数据调阅配置 ð数据销毁确认； 5、对客IT服务台服务目录维护：变更OR问题 ð按渠道按场景更新ð 服务目录更新服务流程更新 ðBAM标准故障处置更新ð ITIL统计数据更新
28.应用系统的接收过程：应用拆分、填空->CMDB........ 应用架构：物理、逻辑、数据架构模块信息：分层、分类、连接、超时系统配置：网络、存储、主机、软件数据管理：文件、DB、备份、清理交易协议：会话类型、应用协议分类监控操作：特定监控、操作任务应用访系统问评关审ð系应：用系内统部接收访ð问监控关、系操作、、外CM联DB、状应态急、数据、容量
29.应急操作控制维护-化繁为简，拆分阶段，标准化设计整体预案技术预案系统手册技术演练持续维护业务影响分析整体预案制定事件定级流程设计系统结构梳理故障处置步骤演练场景设计实操与评测日常变更管理典型故障管理技术操控管理重点范畴识别业务风险控制故障影响指导整体工作分析明确故障升级及处置整体流程，建立规范建立整体了解关键业务以实战出发设计将系统的变更、典型系统结构，梳理各演练场景，验证故障，及时维护到应类故障处置方法操作有效性急管理手册之中整体工作落实策略设计实操评估
30.业务流程可用性维护-以业务通路为主线、从入口迭代操作由业务入口发起、层层传递、标准化操作反复迭代，融合到应用系统投产与变更过程
31.业务数据全生命周期管理维护工艺：拆分->调度 - 分析数据特性 - 确定备份要求 - 设定使用周期 - 定义保密程度 -备份计划管理 -备份操作调度 -介质归档管理 -数据访问控制数据规划数据生产 - 在线数据控制 - 近线数据查询 - 离线数据归档 - 废弃数据清理数据管理数据保护数据使用 -调用数据漂白 -数据传输控制 -数据介质管理 -受控数据交付
32.线上服务直通车维护实施工艺：前台现象->后台问题科技服务前台按业务场景保障分类目录身份信息变更业网点业务务场凭证更换交易景预约支付交易业业务务国债账号挂失分渠类道账号活期交易账号定期变更业 VOST交务客户信息交易易场景联网核查交易综合签约运维后台业务可用性管理（BAM）故障分类控制
33.运营服务的主动性与效益性：帮助企业赢得用户运维管理工具整合服务问题线上直通管理 IT服务窗口贴近用户、客户的服务业务移一动线 (用户) 科技服用务户手机银台行微信银行网络银行直销银行故障申报需求管理数据查询客户投诉账务处理常见问题 IT 服务管理事件管理问题管理变更管理发布管理配置管理 DEVOPS一体化管理建立服务创新模式，建设风险防控体系运维体系 Devo ps 研发体系评审功能评审监控评审批量评审非功能需求需求获取需求分析需求定义需求验证需求投产投产过程安全控制、质量控制、配套措施后台支应用功能、持应用性、操作性，可维护性，数据管理合规性质检监管要求 1、《商业银行操作风险指引 2、《商业银行信息科技风险》 3、《商业银行网上银行安全风险管理指引》 4、《商业银行数据中心监管指引》 5、《商业银行信用卡业务监督管理办法》 6、《银行业金融机构外包风险管理指引》
34.