IT运维分析与日志搜索分析 引擎案例分析
2020-02-27 273浏览
- 1.IT运维分析与日志搜索分析 引擎案例分析 日志易CEO 陈军
- 2.提纲 IT 运维分析（IT Operation Analytics） 不同数据源及解决方案对比 日志处理技术的演进 日志搜索分析引擎详解 日志搜索分析引擎案例
- 3.IT 运维分析 ª 从 IT Operation Management (ITOM) 到 IT Operation Analytics (ITOA) ª 大数据技术应用于IT运维，通过数据分析提升IT运维效率 • 可用性监控 • 应用性能监控 • 故障根源分析 • 安全审计 ª Gartner估计，到2017年15%的大企业会积极使用ITOA； 而在2014年这一数字只有5%
- 4.ITOA 的四种数据来源 ª 机器数据（Machine Data） • 日志 ª 通信数据（Wire Data） • 网络抓包，流量分析 ª 代理数据（Agent Data） • 在 .NET/Java/Ruby/Python/PHP 字节码里插入代码，统计函数调用、堆栈使 用 ª 探针数据（Probe Data） • 布点拨测 • 在各地模拟ICMP ping、HTTP GET请求，对系统进行检测
- 5.ITOA 四种数据来源使用占比 100% 90% 93% 86% 80% 72% 70% 60% 47% 50% 40% 30% 20% 10% 0% machine data（日志） wire data（网络抓包） agent data（插入代码） probe data（模拟检测）
- 6.ITOA 四种数据来源/解决方案比 较 ª 机器数据（日志） • 旁路 • 日志无所不在 • 但不同应用输出的日志内容的完整性、可用性不同 ª 通信数据（网络抓包） • 旁路 • 网络流量信息全面 • 但一些事件未必触发网络流量 ª 代理数据（嵌入代码） • 侵入式 • 代码级精细监控 • 对C/C++无效 • 带来安全、稳定、性能问题 ª 探针数据（布点拨测） • 旁路 • 端到端监控 • 只是模拟，不是真实用户度量（Real User Measurement，RUM）
- 7.ITOA 解决方案厂商（1） ª 机器数据（日志） • Splunk • ELK • 日志易 ª 通信数据（网络抓包） • Netscout • 科来 • 天旦 ª 代理数据（嵌入代码） • New Relic • AppDynamics • DynaTrace (Compuware) • 云智慧 • OneAPM
- 8.ITOA 解决方案厂商（2） ª 探针数据（布点拨测） • Gomez (Compuware) • Keynote • 听云（基调） • 博睿 ª 大公司综合性产品 • IBM • HP • Computer Associate • BMC • Riverbed
- 9.日志：时间序列机器数据 ª 带时间戳的机器数据 ª IT 系统信息 • 服务器 • 网络设备 • 操作系统 • 应用软件 ª 用户信息 • 用户行为 ª 业务信息 ª 日志反映的是事实数据 • 深度解析LinkedIn大数据平台（http://www.csdn.net/article/2014-07-23/2820811/1） • “TheLog:What every software engineer should know about real-time data's unifying abstraction”, Jay Kreps, LinkedIn engineer
- 10.一条 Apache Access 日志 • 180.150.189.243 - - [15/Apr/2015:00:27:19 +0800] “POST /report HTTP/1.1” 200 21 “https://rizhiyi.com/search/'>https://rizhiyi.com/search/
