通信学报 ›› 2024, Vol. 45 ›› Issue (4): 95-113.doi: 10.11959/j.issn.1000-436x.2024071

• 学术论文 • 上一篇    下一篇

基于启发式规则的流式在线日志解析方法

蒋忠元1, 陶梅悦1, 赵晓庆1, 方晓彤2, 李兴华1, 马建峰1   

  1. 1.西安电子科技大学网络与信息安全学院,陕西 西安 710071
    2.中国船舶集团有限公司综合技术经济研究院,北京 100081
  • 收稿日期:2023-11-21 修回日期:2024-02-15 出版日期:2024-04-30 发布日期:2024-05-27
  • 作者简介:蒋忠元(1988- ),男,陕西榆林人,博士,西安电子科技大学教授、博士生导师,主要研究方向为隐私保护、社会计算、城市计算和网络功能虚拟化。
    陶梅悦(2001- ),女,安徽芜湖人,西安电子科技大学硕士生,主要研究方向为异常检测、软件可靠性等。
    赵晓庆(1996- ),男,山东泰安人,西安电子科技大学硕士生,主要研究方向为大数据安全、数据挖掘和异常检测等。
    方晓彤(1989-),女,安徽合肥人,中国船舶集团有限公司高级工程师,主要研究方向为舰船通用质量特性设计与分析。
    李兴华(1978- ),男,河南南阳人,博士,西安电子科技大学教授、博士生导师,主要研究方向为隐私保护、网络与信息安全。
    马建峰(1963- ),男,陕西西安人,博士,西安电子科技大学教授、博士生导师,主要研究方向为密码学、无线网络安全、数据安全和移动智能代理系统安全。
  • 基金资助:
    国家重点研发计划基金资助项目(2022YFB2701800);陕西省重点研发计划基金资助项目(2023-YBGY-270);国家自然科学基金资助项目(62076191)

Streaming online log parsing method based on heuristic rule

Zhongyuan JIANG1, Meiyue TAO1, Xiaoqing ZHAO1, Xiaotong FANG2, Xinghua LI1, Jianfeng MA1   

  1. 1.School of Cyber Engineering, Xidian University, Xi’an 710071, China
    2.China Institute of Marine Technology & Economy, Beijing 100081, China
  • Received:2023-11-21 Revised:2024-02-15 Online:2024-04-30 Published:2024-05-27
  • Supported by:
    The National Key Research and Development Program of China(2022YFB2701800);The Key Research and Development Program of Shaanxi Province(2023-YBGY-270);The National Natural Science Foundation of China(62076191)

摘要:

为了解决现有日志解析方法中存在的解析不准确、效果不稳定等问题,提出了一种基于启发式规则的流式在线日志解析方法——启发式正则树(HRTree)。其在Drain方法解析结构树基础上,引入启发式规则对日志进行拆分构造,并优化了解析结构树的部分构造方式,从而解决了日志参数过拟合、不同系统日志解析结果不稳定的问题。实现了解析结果分类准确,且参数内容识别准确的解析效果。大量实验结果表明,所提出的HRTree方法在不同的系统日志上均展现了90%以上的解析准确率。

关键词: 海量日志, 日志解析, 启发式规则, HRTree方法, 准确率

Abstract:

To address the issues of inaccurate parsing and unstable performance in existing log parsing methods, a streaming online log parsing method based on heuristic rules, known as heuristic regex tree (HRTree), was proposed. Based on the drain method of parsing the structure tree, heuristic rules were introduced to split and construct the log, and some construction methods of the parse structure tree were optimized, so as to solve the problems of over fitting of log parameters and unstable parsing results of different system logs. Not only the classification of parsing results was accurate, but also the parameter content recognition was accurate. A large number of experimental results demonstrate that the proposed HRTree parsing method shows more than 90% parsing accuracy on different system logs.

Key words: massive log, log parsing, heuristic rule, HRTree method, accuracy

中图分类号: 

No Suggested Reading articles found!