Drain: An Online Log Parsing Approach with Fixed Depth Tree

Drain: An Online Log Parsing Approach with Fixed Depth Tree

摘要

论文提出了一种名为 Drain 的在线日志解析方法，旨在解决由于日志量快速增长而导致的离线日志解析方法的效率问题。Drain 通过使用固定深度的解析树，并在树节点中编码特殊设计的规则，实现了日志的流式解析，并大大提高了解析效率和准确性。

介绍

现代云计算和服务导向架构（SOA）的普及使得日志分析在服务管理中变得至关重要。日志通常是唯一记录系统运行时信息的数据资源，然而，原始日志信息是非结构化的，需要解析成结构化事件以便进一步分析。现有大多数日志解析方法集中于离线批处理，而随着日志量的增加，这种方法变得越来越耗时。

方法

Drain 提出了一个固定深度的解析树，用于在线解析日志信息。具体步骤包括：

• 预处理：使用简单的正则表达式去除日志信息中的常见变量。
• 通过日志长度搜索：根据日志信息的长度选择解析树的路径。
• 通过前缀搜索：根据日志信息的前几个标记选择下一层节点。
• 相似性搜索：计算日志信息与日志事件模板的相似性，并选择最适合的日志组。
• 更新解析树：如果找到合适的日志组，则更新其信息；如果没有，则创建新的日志组并更新解析树。

实验

日志数据集：

• BGL：来自 BlueGene/L 超级计算机系统的日志数据集。
<