基于差分压缩的大规模日志压缩系统

doi:10.11959/j.issn.1000-436x.2015300

摘要/Abstract

摘要：

大型信息系统的日志数据规模呈现快速增长趋势，导致线速压缩与存储大规模日志数据成为当今数据管理的一大挑战。对大量的网络系统日志进行了研究，发现日志数据存在冗余的结构模式，在内容上存在时间局部相似性。提出了基于模板的细粒度日志差分压缩架构，针对具体日志数据，可配置与其相适应的细粒度差分策略。实验结果表明，与gzip工具相比，所提日志压缩系统在压缩速度上提高了2～10倍，压缩率比gzip更低，可达到10%。

关键词: 日志, 差分压缩, 细粒度, 模板

Abstract:

The scale of log data produced by the large scale information system is growing rapidly.It leads to the big challenge of line-speed compressing and saving the large scale log data.By analysis on massive network log data,it is found that the log data has redundant pattern in terms of log structure and time local similarity in terms of log content.A differential log compression architecture based on template is proposed.Fine-grained differential compressive strategies in the architecture can be configured for a special log data.Experimental results show that,compared with gizp,the proposed log compressing architecture improves 2～10 times’ compressive speed and gain a better compressing ratio approaching to 10%.

Key words: log, differential compression, fine grain, template

唐球,姜磊,戴琼. 基于差分压缩的大规模日志压缩系统[J]. 通信学报, 2015, 36(Z1): 197-202.

Qiu TANG,Lei JIANG,Qiong DAI. Large-scale log compressing system based on differential compression[J]. Journal on Communications, 2015, 36(Z1): 197-202.

图/表 6

表1

表2

表3

图1

图2

图3

参考文献 14

[1]	YEN T F , et al. Beehive:large-scale log analysis for detecting suspicious activity in enterprise networks[A]. Proceedings of the 29th Annual Computer Security Applications Conference[C]. 2013. 199-208.
[2]	BREIER J , BRANI?OVá J . Anomaly detection from log files using data mining techniques[A]. Information Science and Applications[C]. 2015. 449-457.
[3]	DUMAIS S , et al. Understanding user behavior through log data and analysis[A]. Ways of Knowing in HCI[C]. 2014. 349-372.
[4]	SRIVASTAVA M , GARG , MISHRA P K . Analysis of data extraction and data cleaning in Web usage mining[A]. Proceedings of the 2015 International Conference on Advanced Research in Computer Science Engineering Technology (ICARCSET 2015)[C]. 2015. 1-6.
[5]	SKIBI?SKI P , SWACHA J . Fast and efficient log file compression[A]. Proceedings of CEUR Workshop of 11th East-European Conference on Advances in Databases and Information Systems(ADBIS 2007)[C]. 2007.
[6]	GRABOWSKI S , DEOROWICZ S . Web log compression[J]. Automatyka/Akademia Górniczo-Hutniczaim Stanis?awa Staszicaw Krakowie, 2007,(11): 417-424.
[7]	DEOROWICZ S , GRABOWSKI S . Efficient preprocessing for Web log compression[J]. International Journal of Computing, 2008,7(1): 35-42.
[8]	DEOROWICZ S , GRABOWSKI S . Sub-atomic field processing for improved Web log compression[A]. Proceedings of IEEE International Conference on Modern Problems of Radio Engineering,Telecommunications and Computer Science[C]. 2008. 551-556.
[9]	H?T?NEN K . et al. Comprehensive log compression with frequent patterns[A]. Data Warehousing and Knowledge Discovery[C]. 2003. 360-370.
[10]	王艳峰, 王正, 阎保平 . 一种高效的 DNS 日志压缩算法[J]. 计算机工程, 2010,36(15): 32-35. WANG Y F , WANG Z , YAN B P . High efficient DNS log compression algorithm[J]. Copular Engineering, 2010,36(15): 32-35.
[11]	CHRISTENSEN R . Improving compression of massive log data[EB/OL]. , 2013.
[12]	JANG J H , et al. Accelerating forex trading system through transaction log compression[A]. SoC Design Conference (ISOCC),2014 Interna-tional[C]. IEEE, 2014. 24-75.
[13]	LONVICK C . RFC 3164:The BSD Syslog Protocol[S]. Network Working Group.
[14]	LEB128[EB/OL]. , 2015.

日志	数据
思科防火墙日志	Apr 29 2015 23:49:55 ASA5585:%ASA-2-106017:Deny IP due to Land Attack from 10.0.1.5 to10.0.1.6
思科防火墙日志	Apr 29 2015 23:00:09 ASA5585 :%ASA-2-106017:Deny IP due to Land Attack from 10.0.1.7 to10.0.1.8
天融信防火墙日志	id=tos time=＂2015-04-30 08:01:49＂ fw=TopsecOS pri=6 type=conn recorder=session src=10.0.1.5 dst=10.0.1.6 proto=tcp sport=49726 dport=10050 inpkt=9
	outpkt=10 …
	id=tos time=＂2015-04-30 15:01:49＂ fw=TopsecOS pri=6 type=conn recorder=session src=10.0.1.5 dst=10.0.1.6 proto=tcp sport=2450 dport=88 inpkt=5 outpkt=4 …
绿盟IDS日志	time:2015-04-30
	12:11:02;danger_degree:1;breaking_sighn:0;
	event:[30061]DNS服务获取服务器版本号请求操作;
	src_addr:10.0.1.5;src_port:58729;dst_addr:10.0.1.6 …

差分策略	说明
定值（const）	用于值始终固定不变的字段。将该字段值直接定义在模板字段中。编码时直接删除字段值，解码时通过模板可直接恢复
复制（copy）	当前字段值（val）与前一条同类型日志消息的对应字段值（val'）相同时，直接删除当前字段值；否则保留该字段值
差值（delta）	存储当前字段值（val）与前一条同类型日志消息对应字段值（val'）的差值（?）。对于整数，?=val ⁱ–val'；对于字符串值适用于相同长度的字符串，其?为字符末尾的不同字符子串。如对于日期时间字符串值，val=20150501001324,val'=20150501002326，则?=val ⁱ–val' =1224
其他（other）	未能使用已定义差分策略的字段值差分方法。它可以是原文；或是其他传统的压缩技术，由具体字段差分程序实现

数据集	日志条数	大小/KB
fw_log(1w）	1万	607
fw_log(10w)	10万	6 071
fw_log_(20w)	20万	12 143
fw_log(150w)	150万	94 831

[1]	朱晓荣, 陈康. 基于细粒度切片的6G网络弹性切换算法研究[J]. 通信学报, 2022, 43(9): 148-156.
[2]	寇旗旗, 黄绩, 程德强, 李云龙, 张剑英. 基于语义融合的域内相似性分组行人重识别[J]. 通信学报, 2022, 43(7): 153-162.
[3]	陈志旺, 张忠新, 宋娟, 雷海鹏, 彭勇. 在线目标分类及自适应模板更新的孪生网络跟踪算法[J]. 通信学报, 2021, 42(8): 151-163.
[4]	应作斌, 斯元平, 马建峰, 刘西蒙. 基于区块链的分布式EHR细粒度可追溯方案[J]. 通信学报, 2021, 42(5): 205-215.
[5]	李明,杨晓鹏,朱辉,王枫为,李祁. 高效的隐私保护在线人脸认证方案[J]. 通信学报, 2020, 41(5): 205-214.
[6]	郭云川,李凌,李勇俊,成林,杜君,张玲翠. 基于动态模板的策略翻译及配置方法[J]. 通信学报, 2019, 40(12): 138-148.
[7]	王燚,吴震,蔺冰. 对加掩加密算法的盲掩码模板攻击[J]. 通信学报, 2019, 40(1): 1-14.
[8]	吴震,杜之波,王敏,向春玲. 密码芯片基于聚类的模板攻击[J]. 通信学报, 2018, 39(8): 83-93.
[9]	张恩,裴瑶瑶,杜蛟. 基于RLWE的密文策略属性代理重加密[J]. 通信学报, 2018, 39(11): 129-137.
[10]	袁鑫攀,汪灿飞,龙军,章成源,满君丰. FGBC-iDistance:细粒度位码过滤的高维索引[J]. 通信学报, 2017, 38(Z1): 127-134.
[11]	伍祈应,马建峰,苗银宾,张俊伟,沈丽敏. 多数据拥有者认证的密文检索方案[J]. 通信学报, 2017, 38(11): 161-170.
[12]	姚亮，杨超，马建峰，张俊伟. 云端数据访问控制中基于中间代理的用户撤销新方法[J]. 通信学报, 2015, 36(11): 92-101.
[13]	章思宇，姜开达，韦建文，罗萱，王海洋. 基于SQL-on-Hadoop的网络日志分析[J]. 通信学报, 2014, 35(Z1): 4-19.
[14]	徐凯硕，袁华. CoolView中的日志管理子系统的设计和实现[J]. 通信学报, 2014, 35(Z1): 25-133.
[15]	章思宇,姜开达,韦建文,罗萱,王海洋. 基于SQL-on-Hadoop的网络日志分析[J]. 通信学报, 2014, 35(Z1): 14-19.