基于深度学习的系统日志异常检测研究

doi:10.11959/j.issn.2096-109x.2019055

网络与信息安全学报 ›› 2019, Vol. 5 ›› Issue (5): 105-118.doi: 10.11959/j.issn.2096-109x.2019055

• 学术论文 • 上一篇

基于深度学习的系统日志异常检测研究

王易东, 刘培顺(), 王彬

1.中国海洋大学信息科学与工程学院，山东青岛 266100；2.中国海洋大学继续教育学院，山东青岛 266100

修回日期:2019-04-30 出版日期:2019-10-15 发布日期:2019-11-02
作者简介:王易东（1996- ），男，山东济宁人，中国海洋大学硕士生，主要研究方向为信息安全、云计算和大数据。|刘培顺（1975- ），男，山东菏泽人，中国海洋大学讲师，主要研究方向为网络与信息安全。|王彬（1981- ），男，山东沾化人，中国海洋大学实验师，主要研究方向为计算机应用技术。
基金资助:
国家重点研发计划基金资助项目(2016YFF0806200)

Research on system log anomaly detection based on deep learning

Yidong WANG, Peishun LIU(), Gbin WAN

1.College of Information Science and Engineering,Ocean University of China,Qingdao 266100,China 2.School of Continuing Education,Ocean University of China,Qingdao 226100,China

Revised:2019-04-30 Online:2019-10-15 Published:2019-11-02
Supported by:
The National Key Research and Development Program of China(2016YFF0806200)

摘要/Abstract

摘要：

系统日志反映了系统运行状态，记录着系统中特定事件的活动信息,快速准确地检测出系统异常日志，对维护系统安全稳定具有重要意义。提出了一种基于GRU神经网络的日志异常检测算法，基于log key技术实现日志解析，利用执行路径的异常检测模型和参数值的异常检测模型实现日志异常检测，具有参数少、训练快的优点，在取得较高检测精度的同时提升了运行速度，适用于大型信息系统的日志分析。

关键词: 日志异常检测, 深度学习, GRU神经网络

Abstract:

The system log reflects the running status of the system and records the activity information of specific events in the system.Therefore,the rapid and accurate detection of the system abnormal log is important to the security and stability of the system.A log anomaly detection algorithm based on GRU neural network is proposed.Log parsing is implemented based on log key technology.Log anomaly detection is realized by using anomaly detection model of execution path and anomaly detection model of parameter value.The system has the advantages of less parameters and faster training.It improves the running speed while achieving higher detection accuracy,and is suitable for log analysis of large information systems.

Key words: log anomaly detection, deep learning, GRU neural network

中图分类号:

TP390

王易东, 刘培顺, 王彬. 基于深度学习的系统日志异常检测研究[J]. 网络与信息安全学报, 2019, 5(5): 105-118.

Yidong WANG, Peishun LIU, Gbin WAN. Research on system log anomaly detection based on deep learning[J]. Chinese Journal of Network and Information Security, 2019, 5(5): 105-118.

图/表 15

图1

图2

图3

图4

表1

表2

图5

表3

图6

图7

表4

图8

图9

表5

图10

参考文献 12

[1]	XU W , HUANG L , FOX A ,et al. Detecting large-scale system problems by mining console logs[C]// ACM SIGOPS 22nd symposium on Operating systems principles. 2009: 117-132.
[2]	YU X , JOSHI P , XU J ,et al. CloudSeer:workflow monitoring of cloud infrastructures via interleaved logs[J]. ACM Sigarch Computer Architecture News, 2016,44(2): 489-502.
[3]	DU M , LI F , ZHENG G ,et al. Deeplog:anomaly detection and diagnosis from system logs through deep learning[C]// 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017: 1285-1298.
[4]	JURAFSKY D . Speech ＆ language processing[M]. Pearson Education India, 2000: 35-61.
[5]	DU M , LI F . spell:Streaming parsing of system event logs[C]// IEEE 16th International Conference on Data Mining (ICDM). 2016: 859-864.
[6]	ZHU J , HE S , LIU J ,et al. Tools and benchmarks for automated log parsing[J]. arXiv preprint arXiv:1811.03509, 2018.
[7]	HE P , ZHU J , HE S ,et al. An evaluation study on log parsing and its use in log mining[C]// 46th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN). 2016: 654-661.
[8]	KINGMA D P , BA J . Adam:a method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014.
[9]	MC MAHAN H B , HOLT G , SCULLEY D ,et al. Ad click prediction:a view from the trenches[C]// The 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2013: 1222-1230.
[10]	HE S , ZHU J , HE P ,et al. Experience report:system log analysis for anomaly detection[C]// IEEE 27th International Symposium on Software Reliability Engineering (ISSRE). 2016: 207-218.
[11]	XU W , HUANG L , FOX A ,et al. Online system problem detection by mining patterns of console logs[C]// Ninth IEEE International Conference on Data Mining. 2009: 588-597.
[12]	OLINER A , STEARLEY J . What supercomputers say:a study of five system logs[C]// 37th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN'07). 2007: 575-584.

	训练集（本文方法）	测试集
正常会话数	4 855	558 224
异常会话数	0	16 838
Logkey数	29	29

算法	假阳性	假阴性	准确率
PCA	281	5 429	99.00%
IM	2 131	1 226	99.42%
DeepLog	839	615	99.75%
GRU	857	624	99.74%

方法	日志条数	总时间/s	平均时间/s	时间成本
DeepLog	11 175 629	11 399	1.02	1.00
GRU （本文方法）	11 175 629	9 499	0.85	0.833

模型情况	真阳性	假阴性	召回率
执行路径异常检测模型	5	17	22.70%
同时使用两种模型	22	0	100%

模型情况	假阳性	假阴性	真阳性
N(10%)	804 961	0	155 613
N(20%)	616 215	0	123 539
Y(10%)	20 619	0	155 613
Y(20%)	14 648	0	123 539

基于深度学习的系统日志异常检测研究

Research on system log anomaly detection based on deep learning

在线阅读

pdf下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 12

相关文章 11

Metrics

推荐阅读 0

[1]	杨路辉,白惠文,刘光杰,戴跃伟. 基于可分离卷积的轻量级恶意域名检测模型[J]. 网络与信息安全学报, 2020, 6(6): 112-120.
[2]	刘西蒙,谢乐辉,王耀鹏,李旭如. 深度学习中的对抗攻击与防御[J]. 网络与信息安全学报, 2020, 6(5): 36-53.
[3]	杜思佳,于海宁,张宏莉. 基于深度学习的文本分类研究进展[J]. 网络与信息安全学报, 2020, 6(4): 1-13.
[4]	翟明芳,张兴明,赵博. 基于深度学习的加密恶意流量检测研究[J]. 网络与信息安全学报, 2020, 6(3): 66-77.
[5]	段广晗,马春光,宋蕾,武朋. 深度学习中对抗样本的构造及防御研究[J]. 网络与信息安全学报, 2020, 6(2): 1-11.
[6]	尹赢,吉立新,黄瑞阳,杜立新. 网络表示学习的研究与发展[J]. 网络与信息安全学报, 2019, 5(2): 77-87.
[7]	李珍, 邹德清, 王泽丽, 金海. 面向源代码的软件漏洞静态检测综述[J]. 网络与信息安全学报, 2019, 5(1): 1-14.
[8]	燕昺昊,韩国栋. 基于深度循环神经网络和改进SMOTE算法的组合式入侵检测模型[J]. 网络与信息安全学报, 2018, 4(7): 48-59.
[9]	明拓思宇, 陈鸿昶. 文本摘要研究进展与趋势[J]. 网络与信息安全学报, 2018, 4(6): 1-10.
[10]	王宇龙,刘开元. 基于面部特征点运动的活体识别方法[J]. 网络与信息安全学报, 2018, 4(6): 36-44.
[11]	江玉朝,吉立新,高超,李邵梅. 面向Logo识别的合成数据生成方法研究[J]. 网络与信息安全学报, 2018, 4(5): 21-31.