基于改进聚类分析的网络流量异常检测方法

doi:10.11959/j.issn.2096-109x.2015.00009

网络与信息安全学报 ›› 2015, Vol. 1 ›› Issue (1): 66-71.doi: 10.11959/j.issn.2096-109x.2015.00009

基于改进聚类分析的网络流量异常检测方法

李洪成¹(),吴晓平¹,姜洪海²

¹ 海军工程大学信息安全系，湖北武汉 430033
² 海军北海舰队司令部，山东青岛 266071

修回日期:2015-10-08 出版日期:2015-12-01 发布日期:2016-01-12
作者简介:李洪成（1991-），男，河南商丘人，海军工程大学博士生，主要研究方向为信息安全、数据挖掘。|吴晓平（1961-），男，山西新绛人，博士，海军工程大学教授、博士生导师，主要研究方向为信息安全、密码学。|姜洪海（1972-），男，山东乳山人，海军北海舰队司令部工程师，主要研究方向为信息安全。
基金资助:
国家自然科学基金资助项目(61100042);中国博士后基金资助项目(2014M552656);湖北省自然科学基金资助项目(2015CFC867)

Traffic anomaly detection method in networks based on improved clustering algorithm

Hong-cheng LI¹(),Xiao-ping WU¹,Hong-hai JIANG²

¹ Information Security Department,Naval University of Engineering,Wuhan 430033,China
² Headquarters,Command of Naval North-Sea Fleet,Qingdao 266071,China

Revised:2015-10-08 Online:2015-12-01 Published:2016-01-12
Supported by:
The National Natural Science Foundation of China(61100042);Postdoctoral Science Foundation of China(2014M552656);The Natural Science Foundation of Hubei Province(2015CFC867)

摘要/Abstract

摘要：

针对传统基于聚类分析的网络流量异常检测方法准确性较低的问题，提出了一种基于改进 k-means聚类的流量异常检测方法。通过对各类流量特征数据的预处理，使k-means算法能适用于枚举型数据检测，进而给出一种基于数值分布分析法的高维数据特征筛选方法，有效解决了维数过高导致的距离失效问题，并运用二分法优化K个聚簇的划分，减少了初始聚类中心选择对k-means算法结果的影响，进一步提高了算法的检测率。最后通过仿真实验验证了所提出算法的有效性。

关键词: 网络安全, 流量异常检测, 聚类分析, k-均值算法

Abstract:

To solve the problem that traditional traffic abnormal detection methods were not accurate enough,a traf-fic anomaly detection method based on improved k-means was proposed.All kinds of network traffic data were pre-processed to make k-means algorithm can apply to enumeration data detection.Then a features selection method was pro-posed with the analysis of the distribution of network traffic data to avoid the distance useless caused by too much fea-tures.Furthermore,the clustering process of K clusters was optimized based on dichotomy,aiming to reduce the effects of initial clusters centers selection.Simulation results demonstrate the effectiveness of the algorithm.

Key words: network security, traffic abnormal detection, clustering analysis, k-means algorithm

中图分类号:

TP309.7

李洪成,吴晓平,姜洪海. 基于改进聚类分析的网络流量异常检测方法[J]. 网络与信息安全学报, 2015, 1(1): 66-71.

Hong-cheng LI,Xiao-ping WU,Hong-hai JIANG. Traffic anomaly detection method in networks based on improved clustering algorithm[J]. Chinese Journal of Network and Information Security, 2015, 1(1): 66-71.

图/表 6

图1

图2

表1

表2

表3

表4

参考文献 12

[1]	唐成华, 刘鹏程, 汤申生 ,等. 基于特征选择的模糊聚类异常入侵行为检测[J]. 计算机研究与发展, 2015,52(3): 718-728.
	TANG C H , LIU P C , TANG S S ,et al. Fuzzy clustering abnormal behavior detection based on feature selection[J]. Computer Re-search and Development, 2015,52(3): 718-728.
[2]	XU J H , LIU H . Web user clustering analysis based on k-means algorithm[C]// Proceeding of the 2010 International Conference on Information,Networking and Automation (ICINA),New York. 2010: 6-9.
[3]	LI P , LIU L , GAO D ,et al. On challenges in evaluating malware clustering[C]. Recent Advances in Intrusion Detection,Ottawa. 2010: 238-255.
[4]	武小年, 彭小金, 杨宇洋 ,等. 入侵检测中基于 SVM 的两级特征选择方法[J]. 通信学报, 2015,36(4): 19-26.
	WU X N , PENG X J , YANG Y Y ,et al. Two levels of feature selec-tion methods based on SVM in intrusion detection[J]. Journal on Communication, 2015,36(4): 19-26.
[5]	郑黎明, 邹鹏, 韩伟红 ,等. 基于多维熵值分类的骨干网流量异常检测研究[J]. 计算机研究与发展, 2012,49(9): 1972-1981.
	ZHENG L M , ZOU P , HAN W H ,et al. Backone network traffic anomaly detection study based on multidimensional entropy classi-fication[J]. Computer Research and Development, 2012,49(9): 1972-1981.
[6]	SHINGO M , CHEN C , LU N N . Intrusion-detection model based on fuzzy class-association-rule mining using genetic programming network[J]. IEEE Transaction on Systems,Man,and Cybernetics, 2011,41(1): 130-139.
[7]	DASH S K , REDDY K S . Adaptive naive Bayes method for mas-querade detection[J]. Security and Communications Networks, 2011,4(4): 410-417.
[8]	张玲, 白中英, 罗守山 ,等. 基于粗糙集和人工免疫的集成入侵检测模型[J]. 通信学报, 2013,34(9): 166-176.
	ZHANG L , BAI Z Y , LUO S S ,et al. Ensemble intrusion detection model based on rough set and artificial immunity[J]. Journal on Communication, 2013,34(9): 166-176.
[9]	陆悠, 李伟, 罗军舟 ,等. 一种基于选择性协同学习的网络用户异常行为检测方法[J]. 计算机学报, 2014,37(1): 28-40.
	LU Y , LI W , LUO J Z ,et al. A method of network users abnormal behavior based on selective collaborative learning[J]. Chinese Journal of Computer, 2014,37(1): 28-40.
[10]	FLAVIO C , NILESH D , RAVI K . Correlation clustering in MapRe-duce[C]// Proceeding of the 20th ACM SIGKDD International Con-ference on Knowledge Discovery and Data Mining (KDD 2014),New York. 2014: 641-650.
[11]	钱叶魁, 陈鸣, 叶立新 ,等. 基于多尺度主成分分析的全网络异常检测方法[J]. 软件学报, 2012,23(2): 361-377.
	QIAN Y K , CHEN M , YE L X ,et al. Methods of full network anomaly detection based on multi-scale principle component analy-sis[J]. Journal of Software, 2012,23(2): 361-377.
[12]	RUBINSTEIN B , NELSON B , HUANG L ,et al. Stealthy poison-ing attacks on PCA-based anomaly detectors[C]// Proceeding of the ACM SIGMETRICS,New York. 2009.

所属攻击大类	在10%训练集中出现的攻击类型	只在测试集中出现的攻击类型
DoS	back、land、neptune、pod、smurf、teardrop	apache2 mailbomb processtable udpstorm
R2L	ftp_write guess_passwd imap multihop phf warezmaster、 spy、warezclient	named sendmail snmpgetattack snmpguess worm xlock、 xsnoop
U2R	buffer_overflow、loadmodule、perl、rootkit	httptunnel、ps、sqlattack、xterm
Probing	ipsweep、nmap、portsweep、satan	mscan、saint

类型	在10%训练集中的数量/个	在10%训练集中占的比例/%	在测试集中的数量/个	在测试集中占的比例/%
DoS	391 458	79.24	229 851	73.90
R2L	1 126	0.23	16 311	5.24
U2R	52	0.01	104	0.03
Probing	4 107	0.83	4 166	1.34
Normal	97 278	19.69	60 593	19.48
Overall	494 021	100.00	311 025	100.00

序号	特征名称	特征含义
2	protocol_type	网络协议的类型
3	service	网络流目的主机的服务类别
4	flag	连接正常则为1，错误为0
10	hot	网络流访问密级较高资源的次数
12	logged_in	是否成功登录的状态
22	is_guest_login	是否为guest登录的状态
23	count	两秒时间里，与该网络连接目的主机一致的连接数目
28	srv_rerror_rate	两秒时间里，标记“REJ”错误的网络连接占与该网络连接服务类型一致的网络连接的比例
32	dst_host_count	在此前100个网络连接里与该网络连接目的主机一致的网络连接数目
33	dst_host_srv_count	在此前100个网络连接里，与该网络连接目的主机和服务类型均一致的网络连接数目
3437	dst_host_same_srv_ratedst_host_srv_diff_host_rate	在此前100个网络连接里，与该网络连接目的主机和服务类型均一致的网络连接占的比例在此前100个网络连接里，在与该网络连接目的主机和服务类型均一致的网络连接中，与该网络连接源主机不一致的网络连接所占比例
39	dst_host_srv_serror_rate	在此前100个网络连接里，在与该网络连接目的主机和服务类型均一致的网络连接中，标记“SYN”错误的网络连接所占比例

类型	基本k-means的检测率/%	基本k-means的误报率/%	本文算法的检测率/%	本文算法的误报率/%
DoS	82.08	17.92	87.01	12.99
R2L	83.44	16.56	88.45	11.55
U2R	85.07	14.93	90.17	9.83
Probing	80.20	19.80	85.01	14.99

[1]	王贺立, 闫巧. 基于交易记录特征的自私挖矿检测方案[J]. 网络与信息安全学报, 2023, 9(2): 104-114.
[2]	陈训逊, 李明哲, 吕宁, 黄亮. 内禀安全：网络安全能力体系化构建方法[J]. 网络与信息安全学报, 2023, 9(1): 92-102.
[3]	李东, 郝艳妮, 彭升辉, 訾瑞杰, 刘西蒙. 国家自然科学基金委员会网络安全现状与展望[J]. 网络与信息安全学报, 2022, 8(6): 92-101.
[4]	邢福康, 张铮, 隋然, 曲晟, 季新生. 面向进程多变体软件系统的攻击面定性建模分析[J]. 网络与信息安全学报, 2022, 8(5): 121-128.
[5]	王泽南, 李佳浩, 檀朝红, 皮德常. 面向网络安全资源池的智能服务链系统设计与分析[J]. 网络与信息安全学报, 2022, 8(4): 175-181.
[6]	王馨雅, 华光, 江昊, 张海剑. 深度学习模型的版权保护研究综述[J]. 网络与信息安全学报, 2022, 8(2): 1-14.
[7]	王洋, 汤光明, 王硕, 楚江. 基于API调用管理的SDN应用层DDoS攻击防御机制[J]. 网络与信息安全学报, 2022, 8(2): 73-87.
[8]	邱洁, 韩瑞, 魏志丰, 王志洋. 网络空间公共基础设施体系及安全策略研究[J]. 网络与信息安全学报, 2021, 7(6): 56-67.
[9]	王硕, 柏军, 王佰玲, 张旭, 刘红日. 基于时间压缩的流量加速回放方法[J]. 网络与信息安全学报, 2021, 7(5): 178-188.
[10]	赵昊, 舒辉, 康绯, 邢颖. 基于智能合约的高对抗性僵尸网络研究[J]. 网络与信息安全学报, 2021, 7(4): 30-41.
[11]	王涛, 陈鸿昶. 考虑拜占庭属性的SDN安全控制器多目标优化部署方案[J]. 网络与信息安全学报, 2021, 7(3): 72-84.
[12]	张成磊, 付玉龙, 李晖, 曹进. 6G网络安全场景分析及安全模型研究[J]. 网络与信息安全学报, 2021, 7(1): 28-45.
[13]	杨路辉,白惠文,刘光杰,戴跃伟. 基于可分离卷积的轻量级恶意域名检测模型[J]. 网络与信息安全学报, 2020, 6(6): 112-120.
[14]	谢博,申国伟,郭春,周燕,于淼. 基于残差空洞卷积神经网络的网络安全实体识别方法[J]. 网络与信息安全学报, 2020, 6(5): 126-138.
[15]	张孟媛,袁钟怡. 美国网络安全审查制度发展、特点及启示[J]. 网络与信息安全学报, 2019, 5(6): 1-9.

基于改进聚类分析的网络流量异常检测方法

Traffic anomaly detection method in networks based on improved clustering algorithm

在线阅读

pdf下载

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 12

相关文章 15

Metrics

推荐阅读 0