原文:LogAnomaly: Unsupervised Detection of Sequential and Quantitative Anomalies in Unstructured Logs
现有的日志序列异常检测方法分类:
基于日志消息计数器的方法检测quantitative(定量)异常,如PCA、不变量挖掘和LogClustering 等。
基于深度学习的方法:从日志序列中学习序列模式,如DeepLog(DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning)
现有方法的问题:
现有的日志异常检测方法,没有利用语义和语法信息。
例如,两个不同的template在语义上可能是相似的,但是它们对应的索引却不同
如果只使用template,可能会丢失有价值的信息,因为它们无法揭示日志的语义关系。
现有的方法不能同时检测序列(sequential )异常和定量(quantitative )异常
对于系统新产生的日志类型,无法准确的预测,传统方法都需要重新微调后才能预测准确。
解决方法:
- 提出了一个统一的数据驱动的深度学习框架—LogAnomaly, 用于非结构话

LogAnomaly是一个深度学习框架,旨在解决非结构化日志流中的序列和定量异常检测问题。它利用模板向量(templatevec)结合NLP方法,考虑语义和语法信息。通过FT-Tree提取模板,并使用LSTM进行序列和数量模式的分析。当遇到未见过的日志类型时,能通过临时模板匹配并预测。LogAnomaly还引入了Template2Vec和Log2Vec来增强对同义词和反义词的处理,提高模型的泛化能力。

4万+

被折叠的 条评论
为什么被折叠?



