LogRobust是一种针对不稳定日志数据的异常检测方法，它通过语义向量化和基于注意力的Bi-LSTM模型捕捉日志序列的上下文信息和事件重要性。这种方法能处理日志模板的变化和噪声，解决了传统方法在日志不稳定时的局限性，如需频繁模型重训和忽视上下文信息。LogRobust的流程包括日志预处理、语义向量化、基于TF-IDF的聚合以及使用Bi-LSTM进行异常检测。评估指标为F1分数，用于衡量模型的精确度和召回率。
原文：Robust Log-Based Anomaly Detection on Unstable Log Data
理解：log robust 将具有相同特征的模板聚在一起，在HDFS数据中就是具有相同的blk_id的
template 放在一起，供模型学习其特征。
现有方法假设日志数据随时间变化是稳定的，且已知不同的日志集。
而实际中日志数据是不稳定的：一是日志语句的变化，二是日志数据的噪声。
如上图，新增日志模板随时间不断增加，而未更新过的日志模板再下降。
现有方法将日志序列转换成日志计数向量，建立无监督或有监督的机器学习模型来检测异常。
日志计数向量保存日志序列中每个日志事件的发生。日志计数向量的维数等于不同的已知日志事件的数目。由于日志不稳定的问题，方法的局限性很明显。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
