falcon-log-agent- 日志采集工具
Google Go 日志工具(Logging)
共0Star
详细介绍
falcon-log-agent 简介
falcon-log-agent 是一个开源版的日志采集工具,旨在从流式的日志中抓取、统计日志中的特征信息。
获取的特征信息,与开源版 Open-Falcon 监控系统打通。可用于业务指标的衡量、也可用于稳定性的建设。
特性
-
准确可依赖 :历经滴滴线上业务近一年考验,统计准确性高。
-
性能高、资源消耗可控 :性能优化程度高,单核单策略可支撑日志分析:20W条/秒
-
接入成本低 :外挂式采集,只需要标准化日志即可;输出数据直接对接 open-falcon。
附:滴滴公司 agent 升级前后资源占用对比图
什么是日志采集
日志采集,是一种外挂式的采集。通过读取进程打印的日志,来进行监控数据的采集与汇聚计算。
falcon-log-agent如何工作
本 agent 即日志采集场景下的实时计算。实时读取文件内容,实时计算,将计算结果直接推送至falcon。
限定条件
-
要求日志必须包含时间 :不包含时间的日志,只能根据当前时间统计日志条数,结果非常不准确。
-
不支持文件软链
-
日志时间必须有序 :为了应对日志延迟落盘等,agent会根据日志的时间来判断某一周期的数据是否采集完成,如果日志时间顺序错乱,可能导致采集不准。