我们的服务符合学术规范和道德
专业 高端让您使用时没有后顾之忧

现代电子技术2024年第21期:基于词模式规则的轻量级日志模板提取方法

来源:期刊VIP网 时间:


作者:顾兆军;张智凯;刘春波;叶经纬;

单位:中国民航大学信息安全测评中心;中国民航大学计算机科学与技术学院;

摘要:传统基于规则的日志解析方法针对每类日志需单独编写规则,且随着系统更新,出现新的日志模式时,需人工再次干预;基于深度学习的日志解析方法虽准确率高,但计算复杂度高。为解决日志解析方法人力成本和计算复杂度高的问题,文中提出一种基于词模式规则的轻量级日志模板提取方法,该方法由初始规则集生成、词模式规则应用、潜在错误样本发掘三个部分构成。首先,原始日志基于自适应随机抽样获取彼此间相似度较低的代表性日志;然后,基于专家反馈提取初始词模式规则集,在词模式规则应用模块对原始日志进行处理并提取日志模板;最后,在潜在错误样本发掘模块检查生成的日志模板聚类,发现潜在的错误分类样本并对其进行规则集更新。经过实验验证,在16个公开日志数据集上,文中方法的平均准确度达到97.8%,与基于深度学习的日志解析算法准确度基本持平;在计算效率方面,文中方法的单线程解析速度达到每秒20 000条,且随着可用内核数量的增加,性能持续提升,满足系统日志的故障诊断和安全分析需求。

关键词:日志解析;;模板提取;;词模式规则;;正则匹配;;启发式策略;;规则集

基金资助:中国民航大学联合基金项目(U2333201)