改进粒子群联合禁忌搜索的特征选择算法

doi:10.11959/j.issn.1000?436x.2018287

通信学报 ›› 2018, Vol. 39 ›› Issue (12): 60-68.doi: 10.11959/j.issn.1000?436x.2018287

改进粒子群联合禁忌搜索的特征选择算法

张震¹,魏鹏¹,李玉峰¹,兰巨龙¹,徐萍²,陈博¹

¹ 国家数字交换系统工程技术研究中心，河南郑州 450002
² 中国人民解放军战略支援部队信息工程大学，河南郑州 450002

修回日期:2018-05-14 出版日期:2018-12-01 发布日期:2019-01-21
作者简介:张震（1985?），男，山东济宁人，博士，国家数字交换系统工程技术研究中心讲师，主要研究方向为网络测量、网络管理。|魏鹏（1994?），男，湖南衡阳人，国家数字交换系统工程技术研究中心硕士生，主要研究方向为新型网络体系结构。|李玉峰（1976?），男，山东烟台人，博士，国家数字交换系统工程技术研究中心副教授，主要研究方向为宽带信息网络、高速路由器核心技术。|兰巨龙（1962?），男，河北张北人，博士，国家数字交换系统工程技术研究中心教授、博士生导师，主要研究方向为宽带信息网络。|徐萍（1983?），女，江西永新人，中国人民解放军战略支援部队信息工程大学讲师，主要研究方向为信息素质教育、信息资源建设。|陈博（1989?），男，河南商丘人，国家数字交换系统工程技术研究中心博士生、讲师，主要研究方向为网络安全。
基金资助:
国家重点研究发展计划基金资助项目(No.2017YFB0803201);国家自然科学基金资助项目(No.61502528);网络空间安全专项课题基金资助项目(No.2017YFB0803204);上海市科学技术委员会科研计划课题基金资助项目(No.16DZ1120503)

Feature selection algorithm based on improved particle swarm joint taboo search

Zhen ZHANG¹,Peng WEI¹,Yufeng LI¹,Julong LAN¹,Ping XU²,Bo CHEN¹

¹ National Digital Switching System Engineering and Technological Research and Development Center,Zhengzhou 450002,China
² Information Engineering University,Zhengzhou 450002,China

Revised:2018-05-14 Online:2018-12-01 Published:2019-01-21
Supported by:
The National Key Research and Development Program(No.2017YFB0803201);The National Natural Science Foundation of China(No.61502528);The Network Space Security Special Project(No.2017YFB0803204);The Shanghai Science and Technology Commission Research Project(No.16DZ1120503)

摘要/Abstract

摘要：

针对入侵检测中数据特征维度高的问题，提出了改进粒子群联合禁忌搜索(IPSO-TS)的特征选择算法。采用遗传算子对粒子群算法进行了改进，得到了特征选择初始最优解；对该解进行禁忌搜索(TS)得到了特征子集的全局优化解。基于KDD CUP 99数据集的实验结果表明，相较遗传算子整合粒子群算法(CMPSO)、粒子群算法(PSO)和粒子群联合禁忌算法，IPSO-TS减少了至少29.2%的特征，缩短了至少15%的平均检测时间，提高了至少2.96%的平均分类准确率。

关键词: 入侵检测, 特征选择, 粒子群, 遗传算法, 禁忌搜索

Abstract:

To solve the problem of high data feature dimensionality in intrusion detection, a feature selection algorithm based on improved particle swarm optimization taboo search (IPSO-TS) was proposed. The genetic algorithm was used to improve the particle swarm optimization, and the initial optimal solution of feature selection was obtained. A taboo search (TS) algorithm was used for initial optimal solution to obtain the global optimal solution of the feature subset. Compared with genetic algorithm integrated particle swarm optimization (CMPSO), particle swarm optimization (PSO) and PSO-TS algorithms, experimental results based on the KDD CUP 99 dataset show that the method reduces the features by about 29.2% , shortens about 15% of the average detection time, and increases about 2.96% of the average classification accuracy.

Key words: intrusion detection, feature selection, particle swarm optimization, genetic algorithm, taboo search

中图分类号:

TP393

张震,魏鹏,李玉峰,兰巨龙,徐萍,陈博. 改进粒子群联合禁忌搜索的特征选择算法[J]. 通信学报, 2018, 39(12): 60-68.

Zhen ZHANG,Peng WEI,Yufeng LI,Julong LAN,Ping XU,Bo CHEN. Feature selection algorithm based on improved particle swarm joint taboo search[J]. Journal on Communications, 2018, 39(12): 60-68.

图/表 8

图1

图2

图3

表1

表2

表3

表4

表5

参考文献 20

[1]	WANG C R , XU R F , LEE S J , et al. Network intrusion detection using equality constrained-optimization-based extreme learning machines[J]. Knowledge-Based Systems, 2018.
[2]	武小年，彭小金，杨宇洋，等. 入侵检测中基于 SVM 的两级特征选择方法[J]. 通信学报， 2015,36(4): 1271-1278.
	WU X N , PENG X J , YANG Y Y , et al. Two-level feature selection method based on SVM in intrusion detection[J]. Chinese Journal of Communications, 2015,36(4): 1271-1278.
[3]	张俐，王枞 . 基于最大相关最小冗余联合互信息的多标签特征选择算法[J]. 通信学报， 2018(5).
	ZHANG L , WANG C . Multi-label feature selection algorithm based on maximum correlation minimum redundant joint mutual information[J]. Transactions of Communications, 2018(5).
[4]	VIEIRA S M , MENDONCA L F , FARINHA G J , et al. Modified binary PSO for feature selection using SVM applied to mortality prediction of septic patients[J]. Applied Soft Computing, 2013,13(8): 3494-3504.
[5]	XUE B , ZHANG M , BROWNE W N , et al. A survey on evolutionary computation approaches to feature selection[J]. IEEE Transactions on Evolutionary Computation, 2016,20(4): 606-626.
[6]	GHAMISI P , BENEDIKTSSON J A . Feature selection based on hybridization of genetic algorithm and particle swarm optimization[J]. IEEE on Geoscience and Remote Sensing Letters, 2015,12(2): 309-313.
[7]	董跃华，刘力 . 基于自适应改进粒子群优化的数据离散化算法[J]. 计算机应用， 2016,26(1): 188-193.
	DONG Y H , LIU L . Data discretization algorithm based on adaptive improved particle swarm optimization[J]. Journal of Computer Applications, 2016,26(1): 188-193.
[8]	TRAN B , XUE B , ZHANG M . A new representation in PSO for discretization-based feature selection[J]. IEEE Transactions on Cybernetics, 2017,pp(99): 1-14.
[9]	NGUYEN H B , XUE B , ANDREAE P , et al. Particle swarm optimisation with genetic operators for feature selection[C]. Evolutionary Computation. IEEE, 2017: 286-293.
[10]	翟俊海，刘博，张素芳 . 基于粗糙集相对分类信息熵和粒子群优化的特征选择方法[J]．智能系统学报[J]. 智能系统学报， 2017,12(3): 397-404.
	ZHAI J H , LIU B , ZHANG S F . Feature selection based on rough classification relative classification information entropy and particle swarm optimization[J]. Journal of Intelligent Systems, 2017,12(3): 397-404.
	刘杨，田学锋，詹志辉 . 粒子群优化算法惯量权重控制方法的研究[J]．智能系统学报[J]. 南京大学学报：自然科学版， 2011,47(4): 364-371.
	LIU Y , TIAN X F , ZHAN Z H . tudy on inertia weight control method based on particle swarm optimization algorithm[J]. Journal of Nanjing University:Nature Science, 2011,47(4): 364-371.
[12]	ZHANG Q , XUE S . An improved multi-objective particle swarm optimization algorithm[J]. Mathematical Problems in Engineering, 2017,28(7): 482-490.
[13]	BHARTI K K , SINGH P K . Opposition chaotic fitness mutation based adaptive inertia weight BPSO for feature selection in text clustering[J]. Applied Soft Computing, 2016,43: 20-34.
[14]	LAI X , YUE D , HAO J K , et al. Solution-based tabu search for the maximum min-sum dispersion problem[J]. Information Sciences, 2018.
[15]	KUO S Y , CHOU Y H . Entanglement-enhanced quantum-inspired tabu search algorithm for function optimization[J]. IEEE Access, 2017,pp(99): 1-1.
[16]	HOU N , HE F , CHEN Y . An adaptive neighborhood taboo search on GPU for Hardware/Software Co-design[C]// International Conference on Computer Supported Cooperative Work in Design. 2016: 239-244.
[17]	JANARTHANAN T , ZARGARI S . Feature selection in UNSW-NB15 and KDDCUP'99 datasets[C]// International Symposium on Industrial Electronics. 2017: 1881-1886.
[18]	ZHANG S , LI X , ZONG M , et al. Learning k, for kNN classification[J]. ACM Transactions on Intelligent Systems and Technology, 2017,8(3): 43.
[19]	DAS S , LIU Y , ZHANG W , et al. Semantics-based online malware detection: towards efficient real-time protection against malware[J]. IEEE Transactions on Information Forensics and Security, 2017,11(2): 289-302.
[20]	ZHANG Y , YANG A , XIONG C , et al. Feature selection using data envelopment analysis[J]. Knowledge-Based Systems, 2014,64(64): 70-80.

数据类型		10%训练数据集			测试数据集（corrected）
数据类型	异常样本量	正常样本量	总样本量	异常样本量		正常样本量	总样本量
异常类型数据DoS	391 458	91 848	483 306	229 853		45 941	275 794
异常类型数据Probe	4 107	4 200	8 307	4 166		4 130	8 296
异常类型数据R2L	1 126	1 130	2 256	16 189		10 112	26 231
异常类型数据U2R	52	100	152	228		410	638
汇总数据	396 743	97 278	494 021	250 436		60 593	311 029

特征分类	特征名称
tcp连接基本特征(9个特征)	1) duration, 2) protocol_type, 3) service, 4) flag, 5) src_bytes, 6) dst_bytes, 7) land, 8) wrong_fragment, 9) urgent
tcp连接的内容特征(13个特征)	10) hot, 11) num_failed_logins, 12) logged_in, 13) num_compromised, 14) root_shell, 15) num_root, 16) su_attempted, 17) num_file_creations, 18) num_shells, 19) num_access_files, 20) num_outbound_cmds, 21) is_host_login, 22) is_guest_login
基于时间的网络流量统计特征(9个特征)	23) count, 24) srv_count, 25) serror_rate, 26) srv_serror_rate, 27) rerror_rate, 28) srv_rerror_rate, 29) same_srv_rate, 30) diff_srv_rate, 31) srv_diff_host_rate
基于主机的网络流量统计特征(10个特征)	32) dst_host_count, 33) dst_host_srv_count, 34) dst_host_same_srv_rate, 35) dst_host_diff_srv_rate, 36) dst_host_same_src_port_rate, 37) dst_host_srv_diff_host_rate, 38) dst_host_serror_rate, 39) dst_host_srv_serror_rate, 40) dst_host_rerror_rate, 41) dst_host_srv_rerror_rate

入侵检测模型		特征选择维数	（特征个数/个）			特征选择时间/s
入侵检测模型	IPSO-TS	CMPSO	PSO-TS	PSO	IPSO-TS	CMPSO	PSO-TS	PSO
DoS	4(2,4,8,13)	5(3,25,28,34,35)	6(2,14,23,31,34,36)	10(1,3,4,5,6,11,12,16,19,20)	9845.27	9541.10	8836.66	7218.32
Probe	3(22,33,35)	4(23,31,38,41)	5(2,4,8,13,33)	8(2,23,25,31 32,35,36,39)	5128.18	4330.32	4635.58	3171.21
R2L	3(2,4,13)	3(5,10,15)	7(2,3,4,7,10,24,37)	8(2,7,8,9,17,27,38,41)	7349.34	6582.27	8224.35	5631.37
U2R	1(3)	1(3)	2(3,38)	7(2,23,31,32,35,36,39)	498.96	477.48	311.68	258.47
汇总数据	6(4,8,9,15,23,27)	11(2,4,5,11,22,26, 28,30,33,37.41)	14(2,3,8,12,16,22,31, 32,33,35,36,37,40,41)	16(2,3,4,8,12,16,17,22,23, 31,32,33,35,36,37,40)	18301.15	16459.36	16235.23	14338.53

入侵检测模型			分类准确率					检测时间/s
入侵检测模型	IPSO-TS	CMPSO	PSO-TS	PSO	所有特征	IPSO-TS	CMPSO	PSO-TS	PSO	所有特征
DoS	99.18%	95.38%	96.19%	95.37%	99.35%	19 238.52	22 881.48	22 623.93	2 3219.71	29 683.82
Probe	99.47%	96.45%	95.11%	95.54%	99.21%	941.61	1 233.48	1 333.72	1 821.40	1 743.76
R2L	98.91%	95.46%	93.88%	93.23%	98.41%	2 517.42	3 141.29	3 222.62	3 545.26	4 581.32
U2R	99.49%	95.48%	94.47%	93.78%	98.82%	0.51	0.58	0.62	0.71	0.83
汇总数据	99.53%	98.98%	93.55%	92.46%	99.45%	20 128.37	23 127.41	2 4701.14	31 682.21	38 213.46

入侵检测模型			漏报率					误报率
入侵检测模型	IPSO-TS	CMPSO		PSO-TS	PSO	IPSO-TS	CMPSO		PSO-TS	PSO
DoS	1.69%	2.22%		4.14%	5.29%	0.79%	1.36%		1.86%	2.20%
Probe	2.63%	3.11%		5.35%	4.34%	0.95%	2.22%		1.84%	3.55%
R2L	2.41%	2.52%		4.28%	3.70%	1.41%	2.38%		2.56%	3.88%
U2R	1.43%	3.42%		2.52%	2.95%	0.83%	1.32%		1.29%	2.82%
汇总数据	1.14%	2.02%		1.69%	2.85%	1.79%	1.85%		2.38%	1.92%

改进粒子群联合禁忌搜索的特征选择算法

Feature selection algorithm based on improved particle swarm joint taboo search

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 20

相关文章 15

Metrics

推荐阅读 0

[1]	苏新, 张桂福, 行鸿彦, Zenghui Wang. 基于平衡生成对抗网络的海洋气象传感网入侵检测研究[J]. 通信学报, 2023, 44(4): 124-136.
[2]	仪双燕, 梁永生, 陆晶晶, 柳伟, 胡涛, 何震宇. 联合低秩重构和投影重构的稳健特征选择方法[J]. 通信学报, 2023, 44(3): 209-219.
[3]	赵庶旭, 韦萍, 王小龙. 多任务并发边缘计算环境中最优联盟结构生成策略[J]. 通信学报, 2023, 44(2): 172-184.
[4]	王维琼, 许豪杰, 崔萌, 谢琼. 优良布尔函数的混合禁忌搜索算法[J]. 通信学报, 2022, 43(5): 133-143.
[5]	李翠然, 王雪洁, 谢健骊, 吕安琪. 基于改进PSO的铁路监测线性无线传感器网络路由算法[J]. 通信学报, 2022, 43(5): 155-165.
[6]	曹阳, 钟烨, 彭醇陵, 彭小峰. 基于混合供能和能量协作的异构网络能量效率优化算法[J]. 通信学报, 2022, 43(3): 135-147.
[7]	毛伊敏, 甘德瑾, 廖列法, 陈志刚. 基于Spark框架和ASPSO的并行划分聚类算法[J]. 通信学报, 2022, 43(3): 148-163.
[8]	邱航, 汤红波, 游伟, 赵宇, 柏溢. NFV中基于量子遗传算法的网络服务扩展算法[J]. 通信学报, 2022, 43(11): 44-52.
[9]	王一丰, 郭渊博, 陈庆礼, 方晨, 林韧昊. 基于对比学习的细粒度未知恶意流量分类方法[J]. 通信学报, 2022, 43(10): 12-25.
[10]	丛玉良, 孙闻晞, 薛科, 钱志鸿, 陈绵书. 基于改进的混合遗传算法的车联网任务卸载策略研究[J]. 通信学报, 2022, 43(10): 77-85.
[11]	苏新, 薛淏阳, 周一青, 朱金秀. 面向海洋观监测传感网的计算卸载方法研究[J]. 通信学报, 2021, 42(5): 149-163.
[12]	孙爱晶, 李世昌, 张艺才. 基于PSO优化模糊C均值的WSN分簇路由算法[J]. 通信学报, 2021, 42(3): 91-99.
[13]	黄小红, 张勇, 闪德胜, 钱叶魁, 韩璐, 李丹丹, 丛群. 基于多目标效用优化的分布式数据交易算法[J]. 通信学报, 2021, 42(2): 52-63.
[14]	刘奇旭, 王君楠, 尹捷, 陈艳辉, 刘嘉熹. 对抗机器学习在网络入侵检测领域的应用[J]. 通信学报, 2021, 42(11): 1-12.
[15]	张兆娟,王万良,唐继军. 适应度二次选择的QPSO和SA协同搜索大规模离散优化算法[J]. 通信学报, 2020, 41(8): 22-31.