基于深度学习的系统日志异常检测研究

doi:10.11959/j.issn.2096-109x.2019055

网络与信息安全学报 ›› 2019, Vol. 5 ›› Issue (5): 105-118.doi: 10.11959/j.issn.2096-109x.2019055

• 学术论文 • 上一篇

基于深度学习的系统日志异常检测研究

王易东, 刘培顺(), 王彬

1.中国海洋大学信息科学与工程学院，山东青岛 266100；2.中国海洋大学继续教育学院，山东青岛 266100

修回日期:2019-04-30 出版日期:2019-10-15 发布日期:2019-11-02
作者简介:王易东（1996- ），男，山东济宁人，中国海洋大学硕士生，主要研究方向为信息安全、云计算和大数据。|刘培顺（1975- ），男，山东菏泽人，中国海洋大学讲师，主要研究方向为网络与信息安全。|王彬（1981- ），男，山东沾化人，中国海洋大学实验师，主要研究方向为计算机应用技术。
基金资助:
国家重点研发计划基金资助项目(2016YFF0806200)

Research on system log anomaly detection based on deep learning

Yidong WANG, Peishun LIU(), Gbin WAN

1.College of Information Science and Engineering,Ocean University of China,Qingdao 266100,China 2.School of Continuing Education,Ocean University of China,Qingdao 226100,China

Revised:2019-04-30 Online:2019-10-15 Published:2019-11-02
Supported by:
The National Key Research and Development Program of China(2016YFF0806200)

摘要/Abstract

摘要：

系统日志反映了系统运行状态，记录着系统中特定事件的活动信息,快速准确地检测出系统异常日志，对维护系统安全稳定具有重要意义。提出了一种基于GRU神经网络的日志异常检测算法，基于log key技术实现日志解析，利用执行路径的异常检测模型和参数值的异常检测模型实现日志异常检测，具有参数少、训练快的优点，在取得较高检测精度的同时提升了运行速度，适用于大型信息系统的日志分析。

关键词: 日志异常检测, 深度学习, GRU神经网络

Abstract:

The system log reflects the running status of the system and records the activity information of specific events in the system.Therefore,the rapid and accurate detection of the system abnormal log is important to the security and stability of the system.A log anomaly detection algorithm based on GRU neural network is proposed.Log parsing is implemented based on log key technology.Log anomaly detection is realized by using anomaly detection model of execution path and anomaly detection model of parameter value.The system has the advantages of less parameters and faster training.It improves the running speed while achieving higher detection accuracy,and is suitable for log analysis of large information systems.

Key words: log anomaly detection, deep learning, GRU neural network

中图分类号:

TP390

王易东, 刘培顺, 王彬. 基于深度学习的系统日志异常检测研究[J]. 网络与信息安全学报, 2019, 5(5): 105-118.

Yidong WANG, Peishun LIU, Gbin WAN. Research on system log anomaly detection based on deep learning[J]. Chinese Journal of Network and Information Security, 2019, 5(5): 105-118.

图/表 15

图1

图2

图3

图4

表1

表2

图5

表3

图6

图7

表4

图8

图9

表5

图10

参考文献 12

[1]	XU W , HUANG L , FOX A ,et al. Detecting large-scale system problems by mining console logs[C]// ACM SIGOPS 22nd symposium on Operating systems principles. 2009: 117-132.
[2]	YU X , JOSHI P , XU J ,et al. CloudSeer:workflow monitoring of cloud infrastructures via interleaved logs[J]. ACM Sigarch Computer Architecture News, 2016,44(2): 489-502.
[3]	DU M , LI F , ZHENG G ,et al. Deeplog:anomaly detection and diagnosis from system logs through deep learning[C]// 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017: 1285-1298.
[4]	JURAFSKY D . Speech ＆ language processing[M]. Pearson Education India, 2000: 35-61.
[5]	DU M , LI F . spell:Streaming parsing of system event logs[C]// IEEE 16th International Conference on Data Mining (ICDM). 2016: 859-864.
[6]	ZHU J , HE S , LIU J ,et al. Tools and benchmarks for automated log parsing[J]. arXiv preprint arXiv:1811.03509, 2018.
[7]	HE P , ZHU J , HE S ,et al. An evaluation study on log parsing and its use in log mining[C]// 46th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN). 2016: 654-661.
[8]	KINGMA D P , BA J . Adam:a method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014.
[9]	MC MAHAN H B , HOLT G , SCULLEY D ,et al. Ad click prediction:a view from the trenches[C]// The 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2013: 1222-1230.
[10]	HE S , ZHU J , HE P ,et al. Experience report:system log analysis for anomaly detection[C]// IEEE 27th International Symposium on Software Reliability Engineering (ISSRE). 2016: 207-218.
[11]	XU W , HUANG L , FOX A ,et al. Online system problem detection by mining patterns of console logs[C]// Ninth IEEE International Conference on Data Mining. 2009: 588-597.
[12]	OLINER A , STEARLEY J . What supercomputers say:a study of five system logs[C]// 37th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN'07). 2007: 575-584.

	训练集（本文方法）	测试集
正常会话数	4 855	558 224
异常会话数	0	16 838
Logkey数	29	29

算法	假阳性	假阴性	准确率
PCA	281	5 429	99.00%
IM	2 131	1 226	99.42%
DeepLog	839	615	99.75%
GRU	857	624	99.74%

方法	日志条数	总时间/s	平均时间/s	时间成本
DeepLog	11 175 629	11 399	1.02	1.00
GRU （本文方法）	11 175 629	9 499	0.85	0.833

模型情况	真阳性	假阴性	召回率
执行路径异常检测模型	5	17	22.70%
同时使用两种模型	22	0	100%

模型情况	假阳性	假阴性	真阳性
N(10%)	804 961	0	155 613
N(20%)	616 215	0	123 539
Y(10%)	20 619	0	155 613
Y(20%)	14 648	0	123 539

基于深度学习的系统日志异常检测研究

Research on system log anomaly detection based on deep learning

在线阅读

pdf下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 12

相关文章 15

Metrics

推荐阅读 0

[1]	李晓萌, 郭玳豆, 卓训方, 姚恒, 秦川. 载体独立的抗屏摄信息膜叠加水印算法[J]. 网络与信息安全学报, 2023, 9(3): 135-149.
[2]	谢绒娜, 马铸鸿, 李宗俞, 田野. 基于卷积神经网络的加密流量分类方法[J]. 网络与信息安全学报, 2022, 8(6): 84-91.
[3]	章登勇, 文凰, 李峰, 曹鹏, 向凌云, 杨高波, 丁湘陵. 基于双分支网络的图像修复取证方法[J]. 网络与信息安全学报, 2022, 8(6): 110-122.
[4]	林佳滢, 周文柏, 张卫明, 俞能海. 空域频域相结合的唇型篡改检测方法[J]. 网络与信息安全学报, 2022, 8(6): 146-155.
[5]	陈晋音, 吴长安, 郑海斌. 基于softmax激活变换的对抗防御方法[J]. 网络与信息安全学报, 2022, 8(2): 48-63.
[6]	邱宝琳, 易平. 基于多维特征图知识蒸馏的对抗样本防御方法[J]. 网络与信息安全学报, 2022, 8(2): 88-99.
[7]	李丽娟, 李曼, 毕红军, 周华春. 基于混合深度学习的多类型低速率DDoS攻击检测方法[J]. 网络与信息安全学报, 2022, 8(1): 73-85.
[8]	秦中元, 贺兆祥, 李涛, 陈立全. 基于图像重构的MNIST对抗样本防御算法[J]. 网络与信息安全学报, 2022, 8(1): 86-94.
[9]	邹德清, 李响, 黄敏桓, 宋翔, 李浩, 李伟明. 基于图结构源代码切片的智能化漏洞检测系统[J]. 网络与信息安全学报, 2021, 7(5): 113-122.
[10]	王正龙, 张保稳. 生成对抗网络研究综述[J]. 网络与信息安全学报, 2021, 7(4): 68-85.
[11]	李炳龙, 佟金龙, 张宇, 孙怡峰, 王清贤, 常朝稳. 基于TensorFlow的恶意代码片段自动取证检测算法[J]. 网络与信息安全学报, 2021, 7(4): 154-163.
[12]	谭清尹, 曾颖明, 韩叶, 刘一静, 刘哲理. 神经网络后门攻击研究[J]. 网络与信息安全学报, 2021, 7(3): 46-58.
[13]	杨路辉,白惠文,刘光杰,戴跃伟. 基于可分离卷积的轻量级恶意域名检测模型[J]. 网络与信息安全学报, 2020, 6(6): 112-120.
[14]	刘西蒙,谢乐辉,王耀鹏,李旭如. 深度学习中的对抗攻击与防御[J]. 网络与信息安全学报, 2020, 6(5): 36-53.
[15]	杜思佳,于海宁,张宏莉. 基于深度学习的文本分类研究进展[J]. 网络与信息安全学报, 2020, 6(4): 1-13.