Log Anomaly:日志异常检测

LogAnomaly是一个深度学习框架,旨在解决非结构化日志流中的序列和定量异常检测问题。它利用模板向量(templatevec)结合NLP方法,考虑语义和语法信息。通过FT-Tree提取模板,并使用LSTM进行序列和数量模式的分析。当遇到未见过的日志类型时,能通过临时模板匹配并预测。LogAnomaly还引入了Template2Vec和Log2Vec来增强对同义词和反义词的处理,提高模型的泛化能力。

原文:LogAnomaly: Unsupervised Detection of Sequential and Quantitative Anomalies in Unstructured Logs

现有的日志序列异常检测方法分类:
        基于日志消息计数器的方法检测quantitative(定量)异常,如PCA、不变量挖掘和LogClustering 等。
        基于深度学习的方法:从日志序列中学习序列模式,如DeepLog(DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning)

现有方法的问题:

        现有的日志异常检测方法,没有利用语义和语法信息。
                例如,两个不同的template在语义上可能是相似的,但是它们对应的索引却不同
        如果只使用template,可能会丢失有价值的信息,因为它们无法揭示日志的语义关系。
        现有的方法不能同时检测序列(sequential )异常和定量(quantitative )异常
        对于系统新产生的日志类型,无法准确的预测,传统方法都需要重新微调后才能预测准确。

解决方法:

  • 提出了一个统一的数据驱动的深度学习框架—LogAnomaly, 用于非结构话
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值