基于Oracle自治数据库快速开发智能分析应用 李青

2020-03-01 170浏览

  • 1.基于Oracle自治数据库快速开发智能分析应用 李青 ADW专家团队 Copyright © 2019 Oracle and/or its affiliates.
  • 2.
  • 3.安全港声明 – 总论 以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。该内容不构成提供任何资料、代码或 功能的承诺，并且不应该作为制定购买决策的依据。此处所述有关 Oracle 产品的任何特性或功能的开发、发布、时间 计划及定价事宜均由 Oracle Corporation 自行决定。 这是为 Oracle 美国总部制作的英语演示文稿的翻译版本。此翻译是出于礼貌而为之，不保证完全没有错误。部分特性 和功能可能未在某些国家/地区和语言中提供。如有任何问题，请与您的 Oracle 销售代表联系。 安全港声明 – 中国专用 下文中提供的部分信息为 Oracle 从第三方行业分析师处收集而来，仅用于强调我们产品的总体发展方向。本内容仅 供参考，请勿将其用于区分 Oracle 与其他企业的产品。 Oracle 已经充分按照行业标准开展了“概念证明”检查，但不保证以下信息完全没有错误。Oracle 不表示或保证我 们的检查结果可以重现且/或可在逻辑上证明。Oracle 将不会提供与此检查相关的任何信息，包括但不限于方法、逻 辑、理念、检查策略及检查政策。 Copyright © 2019 Oracle and/or its affiliates.
  • 4.由数据提供支持的时速 1,000 英里/小时的汽车 假如... 时速最快的汽车能够自主运行 其成本与普通汽车一般无二 4 Copyright © 2019 Oracle and/or its affiliates.
  • 5.假如… 业务和 IT 部门可以 围绕数据联合起来 IT 和业务部门可以 自主运作 能够获得最具 性价比的技术 对您业务造成的转型影响 5 Copyright © 2019 Oracle and/or its affiliates.
  • 6.数据 展现业务的全局视图 但要确定如何完成以下任务： 连接和集成 存储和处理 分析和可视化 给业务和 IT 部门带来难题 Copyright © 2019 Oracle and/or its affiliates.
  • 7.引入数据仓库 是解决之道还是障碍？ 常见的数据仓库挑战 95% 38% 需要广泛的人工参与 前期采购和持续维护成本 周期长 投资大 复杂程度高 体验差 60% 33% 管理起来过于复杂 部署速度太慢、 时间太长 信息来源：Dimensional Research – 数据仓库现状 Copyright © 2019 Oracle and/or its affiliates.
  • 8.现代数据仓库需要提供怎样的成果 便捷 轻松设置数据实验， 以便发掘真知灼见 Copyright © 2019 Oracle and/or its affiliates. 快速 支持迅速访问数据、 完成查询以获得独 特见解 弹性 可扩展的资源， 按用量付费，探索 任何数据 Copyright © 2019 Oracle and/or its affiliates.
  • 9.现代化端到端数据仓库解决方案 数据源： 联接和集成 存储和处理 分析和可视化 用户： 销售 CRM LOB ￥ 财务 ERP 分析、可视化 数据转换、复制、 迁移和治理 分析师 社交数据 高性能分析查询 数据科学家 物联网数据 数据流式处理 旧有数据仓库 机器学习、处理 集散、数据资源池 开发人员 Copyright © 2019 Oracle and/or its affiliates.
  • 10.Autonomous Data Warehouse 简介 快速 从数据中发掘 更多价值 专为智能分析而设计 便捷 弹性 集成机器学习 基于自主运行的 ORACLE AUTONOMOUS DATABASE CLOUD Copyright © 2019 Oracle and/or its affiliates.
  • 11.自治数据库概览 创建数据库的步骤数 1980 1995 2007 2014 2018 4 15 30 48 70 自动化技术 40 年发展 历程中的顶点 转变为完全托管式自治服 务 消除了人工任务 Copyright © 2019 Oracle and/or its affiliates.
  • 12.自治数据库之旅 Oracle已经投入了数千工程师的时间来自动化和优化数据库 • • • • • 自动内存管理 • Automatic Memory Management • 自动段空间管理 • Automatic Segment Space Mgmt • 自动统计收集机 • Automatic Statistics Gathering • 自动存储管理 • Automatic Storage Management • 自动负载资料库 自动查询重写 • Automatic Workload Repository Automatic Query Rewrite • 自动诊断监视 自动UNDO管理 • Automatic Diagnostic Monitor Automatic Undo Management 9i 10g • • • • • • 自动健康架构 Autonomous Health Framework 自动诊断架构 Automatic Diagnostic Framework 自动刷新数据库克隆 Automatic Refresh of Clones 12c 11g • • • • • • • • • • 18c • • • • • • 自动列式缓存 Automatic Columnar Flash 自动IM填充 Automatic IM population 自动应用连续性 Automatic Application Continuity 自动SQL调优 Automatic SQL Tuning 自动负载捕获/重放 Automatic Workload Capture/Replay 自动SQL计划管理 Automatic SQL Plan Management 自动捕获SQL监控 Automatic Capture of SQL Monitor 自动数据优化 Automatic Data Optimization Copyright © 2019 Oracle and/or its affiliates.
  • 13.依托于革命性的机器学习平台 加速您的数字化转型 工作负载优化 安全性 监控和诊断 自动适应不断变化的工作负载 抵御外部恶意攻击 检测异常并修复已知问题 Copyright © 2019 Oracle and/or its affiliates.
  • 14.一个自治式数据库—根据工作负载优化 ORACLE AUTONOMOUS DATABASE Autonomous Data Warehouse (ADW) 最佳用于分析型工作负载: • 数据仓库，数据集市 • 数据湖，机器学习 Autonomous Transaction Processing (ATP) 最佳用于事务处理和混合型负载: • 事务，批量，报告，物联网 • 应用开发，机器学习 Copyright © 2019 Oracle and/or its affiliates.
  • 15.自治数据仓库入门 • • 供应只需要4个简单的问题: • 数据库名称？ • 有多少CPU？ • 有多少TB？ • 管理员密码? 几分钟内创建的新服务（无论大小） • 数据库已打开，可以进行连接 Copyright © 2019 Oracle and/or its affiliates.
  • 16.ADW自动化管理 • Oracle提供数据仓库的自动化端 到端管理 • • 供应新的数据库实例 • 存储或计算的增长/收缩 • 打补丁和升级 • 备份和恢复 使用服务控制台或 API 实现全部 生命周期管理 Copyright © 2019 Oracle and/or its affiliates.
  • 17.ADW自动化调优 • “加载和运行” • 定义表、加载数据、运行查询 • 不需要调整 • 不需要特殊的数据库专业知识 • 无需担心表空间、分区、压缩、内存、索 引、并行执行 • 开箱即用的高速性能，零调优 • 基于 web 的简单的监控控制台 • 内置资源管理计划 Copyright © 2019 Oracle and/or its affiliates.
  • 18.ADW自动化的可靠性 • • 容错、高度可用的 Exadata 基础架构 • 三重镜像磁盘，用于防止磁盘失效 • 真正应用程序集群（RAC），用于防止节点失效 • 和更多…… 自动备份 • • 在过去60天内随时恢复到任何时间点 在线打补丁 • 自动应用常规修补程序，零数据库停机 Copyright © 2019 Oracle and/or its affiliates.
  • 19.ADW即刻弹性：真正为您的使用付费 • 将 DW 的大小调整到所需OPCU 和 TB 的确切数量 • • • 不受固定构建块约束 按需缩放 DW • 可独立扩展计算或存储 • 调整大小立即发生，完全在线 关闭闲置计算资源省钱 • 需要时可立即重新启动 Copyright © 2019 Oracle and/or its affiliates.
  • 20.自治数据仓库云和数据湖 • 使用ADW查询对象存储中的文件 • 高性能SQL查询，支持 Oracle 对象存储、 AWS S3 或 Azure Blob 存储 • ADW 和数据湖之间的扩展Join • 任何支持的 Oracle 加载程序的文件格式 • 不需要加载数据到ADW中 Copyright © 2019 Oracle and/or its affiliates.
  • 21.OracleML:内置的笔记本（Notebook） • 面向数据科学家的协作用户界面 • 轻松访问共享笔记本、模板、权限、 计划程序等。 • 基于 Apache Zeppelin • 未来发展路线图: 跨多个服务的 数据科学家通用 UI* *已经在Big Data/Big Data Cloud，BDA中提供 Copyright © 2019 Oracle and/or its affiliates.
  • 22.便捷的管理和性能监控 ADW自带详细的监控报表 Copyright © 2019 Oracle and/or its affiliates.
  • 23.ADW消除DBA低价值的重复劳动 • 低价值重复劳动 – 架构整合、系统调优、网络与存储配置等等 – 数据库部署、打补丁 – 数据库备份，高可用配置，容灾 – 数据库优化 • 高价值工作 – 架构规划与数据模型 – 数据安全与生命周期管理 – 应用调优 – 端到端服务管理 ADW Copyright © 2019 Oracle and/or its affiliates.
  • 24.自治数据仓库云的关键应用场景 数据集市/数据仓库 数据科学家沙箱 数据湖 业务分析 机器学习 跨所有数据查询 Copyright © 2019 Oracle and/or its affiliates.
  • 25.Report LINK Copyright © 2019 Oracle and/or its affiliates.
  • 26.数据分析的新浪潮 结合机器学习 - 增强分析 更广泛和快速 的创新和转型 快速敏捷 可视自助化 – 自助分析 数据语义化 – 集中分析 提高用户生产力 更强的管理 业务价值 Copyright © 2019 Oracle and/or its affiliates.
  • 27.Oracle 提供了一个完整的商务智能前端展现分析平台 自治 让业务人员能自安装，自 学习，自服务，自发布， 自问答 敏捷 数据 探索 数据可 视化 灵活的数据二次加工，自动 的数据关联，多种可视化插 件，动态逻辑数据推理 数据分析云 协同 一键上云，支持40多种数据 源，安全管理，多渠道信息 共享 创新 BI 报表 AI数据解释，可视化机器学 习，0代码数据模型训练， 内嵌多种常用算法 OAC包含组件： 1. 数据分析云服务：敏捷、快速的数据数据分析能力 2. 数据可视化桌面：本地数据分析、训练与开放，可发布到数据分析云 3. 移动端APP：移动端的数据展现 4. Essbase多维数据分析与沙箱：基于立方体的多维数据分析与存储 Copyright © 2019 Oracle and/or its affiliates.
  • 28.OAC面向分析提供了完整的解决方案 面向企业用户，开发人员和IT的完整分析平台 • 可实现零代码，简化IT工作， 企业应用 SaaS 个人数据 传感器 搜索 智能 预测 学习 移动 自然语言 满足业务人员分析需求 个性化 数据分析 使用智慧理解数据和采取行动：搜索，可视化和用数据讲故 事 业务人员 混搭 数据流 对所有数据进行准备丰富，共享和提供可靠的数据集 分析人员 数据目录 一个收集，搜索，探索和加工所有数据的地方 数据专家 开发人员 数据湖服务 数据仓库服务 • 自助服务可视化和交互式数 据分析，自助服务准备和自 社交 移动 • 连接到任何数据，支持数据 由的数据探索 • 自动的数据质量持续优化 • 高级分析和机器学习 （R\Python） Copyright © 2019 Oracle and/or its affiliates.
  • 29.智能洞察数据隐含模式推荐 城市相关数 据自动匹配 • 自动生成 • 扩展分析维度 • 一键式应用 所有智能建议 敏感数据的 自动加密 Copyright © 2019 Oracle and/or its affiliates.
  • 30.基于机器学习的预测模型训练 直接在任何数据流中训 练复杂的机器学习模型， 不再仅仅局限于某个开 发好的应用和业务。 • CART • 朴素贝叶斯 • 神经网络 • 随机森林模型 • 支持向量机、 利用最佳实践模型配 置参数 • 线性回归模型 • 弹性网络线性回归模型 • 分层聚类 • K-Means聚类 • Logistic回归模型 Copyright © 2019 Oracle and/or its affiliates.
  • 31.模型训练结果给出详细的评估模型 评估模型 F1值给出了我们的整体准确性， 以及预测结果的好坏 （2 *（（精确*召回）/（精确+召 回）） 混淆矩阵按类显示正确和 错误预测的数量 精度给出了所有预测值正确的百 分比，例如所有预测值是51％， 实际是（884/1741 = 0.51） 召回（又称灵敏度）为我们提供 了正确预测值的百分比。 例如所 有实际是的模型可以预测74％ （884/1198 = 0.74） Copyright © 2019 Oracle and/or its affiliates.
  • 32.交互式可视化分析 创建你自己的数据故事 •令人惊叹的可视化和交互式分析展 示 •基于智能数据服务的自动图表创建 •单击就能查看趋势，预测，聚类和 异常值 •内置100多种丰富的调色板和第三方 可视化 •针对网页和手机进行了展示优化 创建可视化是交互式和直观的。 任何用户都可以通过点击几下来创建复杂的探索体验。 Copyright © 2019 Oracle and/or its affiliates.
  • 33.从任何数据中解放数据见解 轻松访问所有数据源 •直接连接到50多个不同的多结构 数据源 •混合任何数据，不管其来源或类 型 •支持应用程序，大数据，数据库， 服务，文件等 •智能连接器到SaaS应用程序 Copyright © 2019 Oracle and/or its affiliates.
  • 34.随心随遇自由切换可视化形式 丰富的可视化显示形式 •内嵌40多个不同的可视化组件 •增强的可视化组件——平性坐标、 弦图标、桑基图、文字云、树图 标、网络 •支持D3/GeoJESON等自定义开发 •扩展的中国地图 •Analytics Store免费下载可视化插 件 Copyright © 2019 Oracle and/or its affiliates.
  • 35.vhttp://oracle.com/analytics-library
  • 36.强大的数据流和数据丰富能力 自助服务数据准备 •可共享和可追溯的业务数据转换 •避免Excel杂乱无章，使分析师能 够在不需要编码技能的情况下增 强数据 •支持组值，连接数据集，子选择 行/列，聚集，计算字段等 Copyright © 2019 Oracle and/or its affiliates. 36
  • 37.数据流 - 分节点输出，实现一个数据流满足不同分析需求的数据输出 将数据流分支到具有单个数据流中的各 种转换轨迹的子数据集中 基于新数据标识符（唯一键）列在 增量数据上运行数据流，而不是在 已处理的数据上运行相同的数据流 Copyright © 2019 Oracle and/or its affiliates.
  • 38.地图展示 – 支持多个数据层 单击图层图标打开或关闭图层 用于管理地图图层的菜单 支持百度/谷歌 图形属性 Copyright © 2019 Oracle and/or its affiliates.
  • 39.预构建函数 所有函数均可通过表达式编辑器访问 • 参考线 — 在 VA 中一键式获取 • 趋势线 — 在 VA 中一键式获取 • Bin/直方图 • 预测 *1 • 集群 *1 • 离群值 *1 • 回归分析 *1 Copyright © 2019 Oracle and/or its affiliates.
  • 40.一键即可应用的内置高级分析&预测分析，任何人都能使用 一键式高级分析&预测分析功能 • 聚类: K-means, Hierarchical • 非正常值: Multivariate, K-means, Hierarchical • 参照线: min, max, mean, median, constant • 趋势线: linear, exp, polynomial • 预测: Forecast Copyright © 2019 Oracle and/or its affiliates.
  • 41.OAC 移动应用APP Oracle Synopsis – 离线数据自动分析 Day by Day - 通过自学来预测问题 • 将洞察融入日常活动中 • 直接在您的移动设备上处理任何Excel / CSV文件 • 根据您的兴趣偏好，随时随地预测并推送定制的 分析结果 • 具备语音交互，并自动获取答案 • 移动设备上的数据会自动转换为移动可视化图表 行动 请到App Store或Google Play获取Oracle Day by Day和Oracle Synopsis Copyright © 2019 Oracle and/or its affiliates.
  • 42.ADW自治数据仓库整体架构 开发者工具 可视化&高级分析 Oracle Services 自治数据仓库 Data Warehouse (EDWs, DW, departmental marts and sandboxes) 服务管理 内置访问工具 Oracle Exadata Cloud Service Oracle SQL Developer Oracle Analytics Cloud Oracle Database Cloud Service 服务控制台 Express Cloud Service Oracle ML 数据集成服务 Oracle Data Integration Platform Cloud 3rd Party DI on Oracle Cloud Compute 数据仓库&数据库 Oracle Object Storage Cloud （Oracle 对象存储云） Flat Files and Staging 3rd Party DI On-premises Copyright © 2019 Oracle and/or its affiliates.
  • 43.案例分享：HR离职分析 应用步骤 1.数据导入 定义字段，创建关系 2.模型创建 使用OAC机器学习和数据流，使用历史在职员工数据创建二分 类预测模型，应用到当前预测数据中 3.可视化分析 离职预测 离职原因及流向 Copyright © 2019 Oracle and/or its affiliates.
  • 44.HR离职分析①-导入数据 花名册 离职流向 离职数据 离职原因 离职预测 Copyright © 2019 Oracle and/or its affiliates.
  • 45.HR离职分析②-创建模型 Step1：使用贝叶斯二分类模型训练历史数据 Step3：应用训练模型应用在职人员花名册 Step2：系统给出的样本数据集测试结果： 精确度（命中率）：87% Step4：对每一名员工的离职风险和离职倾向做出判断 Copyright © 2019 Oracle and/or its affiliates.
  • 46.HR离职分析③-可视化分析-离职原因及流向 结合离职系统的员工离职访谈数据，掌握员工离职流向和离职原因 Copyright © 2019 Oracle and/or its affiliates.
  • 47.HR离职分析③-可视化分析-离职预测 对在职员工的高危预测，掌握高离职风 险员工的分布。 分析高风险离职员工的工作现状， 结合业务实际进行判断（工时， 工作满意度等） Copyright © 2019 Oracle and/or its affiliates.
  • 48.Copyright © 2019 Oracle and/or its affiliates.
  • 49.快速预约 ADW 方案演示 49
  • 50.Copyright © 2019 Oracle and/or its affiliates.
  • 51.Thank You 李青 ADW专家团队 Copyright © 2019 Oracle and/or its affiliates.