一种基于特征集构建的Bagging集成方法及其在流量分类中的应用

doi:10.11959/j.issn.1000-0801.2018094

电信科学 ›› 2018, Vol. 34 ›› Issue (4): 41-48.doi: 10.11959/j.issn.1000-0801.2018094

一种基于特征集构建的Bagging集成方法及其在流量分类中的应用

钱亚冠¹,关晓惠²,吴淑慧¹,云本胜¹,任东晓¹

¹ 浙江科技学院大数据科学系，浙江杭州310023
² 浙江水利水电学院，浙江杭州310018

修回日期:2018-01-18 出版日期:2018-04-01 发布日期:2018-05-02
作者简介:钱亚冠（1976–），男，博士，浙江科技学院理学院大数据科学系副教授，主要研究方向为互联网流量分类、机器学习与大数据处理、对抗性机器学习。|关晓惠（1977–），女，浙江水利水电学院副教授，主要研究方向为机器学习与大数据处理、对抗性机器学习。|吴淑慧（1975–），女，博士，浙江科技学院理学院大数据科学系讲师，主要研究方向为量子计算与机器学习。|云本胜（1980–），男，博士，浙江科技学院理学院大数据科学系讲师，主要研究方向为数据挖掘、服务计算。|任东晓（1982–），女，博士，浙江科技学院理学院大数据科学系高级工程师，主要研究方向为机器学习与大数据处理、对抗性机器学习。

An approach of Bagging ensemble based on feature set and application for traffic classification

Yaguan QIAN¹,Xiaohui GUAN²,Shuhui WU¹,Bensheng YUN¹,Dongxiao REN¹

¹ Department of Big-Data Science,Zhejiang University of Science and Technology,Hangzhou 310023,China
² Zhejiang University of Water Resources and Electric Power,Hangzhou 310018,China

Revised:2018-01-18 Online:2018-04-01 Published:2018-05-02

摘要/Abstract

摘要：

Bagging是一种经典的分类器集成方法，其有效性依赖于基分类器之间的差异度。通过遗传算法为每个基分类器构建独立的特征集，目的是获得基分类器之间更好的差异性。同时，根据不同基分类器的分类性能进行优化加权集成，获得更好的泛化能力。最后，采用Softmax回归作为基分类器，将改进的Bagging集成方法应用到互联网流量分类，实验结果表明，改进方法相比经典 Bagging 方法在分类准确率上有显著提高，与利用决策树集成的随机森林相比也有较好的性能提升。

关键词: Bagging集成, 特征子集, 遗传算法, 流量分类

Abstract:

Bagging is a classic ensemble approach,whose effectiveness depends on the diversity of component base classifiers.In order to gain the largest diversity,employing genetic algorithms to get independent feature subset for each base classifier was proposed.Meanwhile,for better generalization,the optimal weights for the base classifiers according to their predictive performance were selected.Finally,refined Bagging ensemble based on simple Softmax regression was applied successfully in traffic classification.The experiment result shows that the proposed approach can get more improvement than the original Bagging ensemble in classification performance,and is better than the random-forests to a certain extent.

Key words: Bagging ensemble, feature subset, genetic algorithm, traffic classification

中图分类号:

TP301.6

钱亚冠,关晓惠,吴淑慧,云本胜,任东晓. 一种基于特征集构建的Bagging集成方法及其在流量分类中的应用[J]. 电信科学, 2018, 34(4): 41-48.

Yaguan QIAN,Xiaohui GUAN,Shuhui WU,Bensheng YUN,Dongxiao REN. An approach of Bagging ensemble based on feature set and application for traffic classification[J]. Telecommunications Science, 2018, 34(4): 41-48.

图/表 5

图1

图2

图3

表1

表2

参考文献 14

[1]	ZHOU Z H . Ensemble methods:foundations and algorithms[M]. Boca Raton: CRC PressPress, 2012.
[2]	LI H , WANG X , DING S . Research and development of neural network ensembles:a survey[J]. Artificial Intelligence Review, 2017: 1-25.
[3]	AMOZEGAR M , KHORASANI K . An ensemble of dynamic neural network identifiers for fault detection and isolation of gas turbine engines[J]. Neural Networks, 2016(76): 106-121.
[4]	INOUE H . Fast and accurate inference with adaptive ensemble prediction in image classification with deep neural networks[J]. arXiv preprint arXiv:1702.08259, 2017.
[5]	WANG Q , LUO Z H , HUANG J C ,et al. A novel ensemble method for imbalanced data learning:bagging of extrapolation-SMOTE SVM[J]. Computational Intelligence and Neuroscience, 2017(3):1827016.
[6]	高文, 钱亚冠, 吴春明 ,等. 网络流量特征选择方法中的分治投票策略研究[J]. 电子学报, 2015,43(4): 795-799.
	GAO W , QIAN Y G , WU C M ,et al. The divide-conquer and voting strategy for traffic feature selection[J]. Acta Electronica Sinica, 2015,43(4): 795-799.
[7]	钱亚冠, 张旻 . 基于过抽样技术的 P2P 流量识别方法[J]. 电信科学, 2014,30(4): 109-113.
	QIAN Y G , ZHANG M . P2P traffic identification based over-sampling technique[J]. Telecommunications Science, 2014,30(4): 109-113.
[8]	KEARNS M . Learning Boolean formulae or finite automata is as hard as factoring[R]. Technical Report TR-14-88 Harvard University Aiken Computation Laboratory, 1988.
[9]	KEARNS M , VALIANT L . Cryptographic limitations on learning Boolean formulae and finite automata[J]. Journal of the ACM (JACM), 1994,41(1): 67-95.
[10]	EFRON B , TIBSHIRANI R . An introduction to the bootstrap[M]. New York: Chapman ＆ HallPress, 1993.
[11]	TONGAONKAR A , TORRES R , ILIOFOTOU M ,et al. Towards self-adaptive network traffic classification[J]. Computer Communications, 2015(56): 35-46.
[12]	SOYSALA M , SCHMIDT E G . Machine learning algorithms for accurate flow-based network traffic classification:evaluation and comparison[J]. Performance Evaluation, 2010,67(6): 451-467.
[13]	SINGH H , . Performance analysis of unsupervised machine learning techniques for network traffic classification[C]// 2015 Fifth International Conference on Advanced Computing＆Communication Technologies (ACCT),May 15-16,2015,Haryana,India. Piscataway:IEEE Press, 2015: 401-404.
[14]	MOORE A W . Dataset[EB]. 2017

	召回率		精度		F-measure
	Bagging	Bagging+	Bagging	Bagging+	Bagging	Bagging+
WWW	99.1%	99.9%	97.6%	98.4%	98.3%	99.1%
mail	97.8%	100.0%	97.4%	99.6%	97.6%	99.8%
FTP-control	100.0%	100.0%	98.0%	98.0%	99.0%	99.0%
FTP-PASV	15.7%	60.5%	76.5%	84.4%	26.5%	67.5%
P2P	19.2%	51.1%	50.4%	98.0%	27.8%	67.1%
database	100.0%	100.0%	82.9%	88.9%	90.7%	94.1%
FTP-data	96.7%	100.0%	97.5%	99.8%	97.1%	99.9%
multimedia	33.3%	94.7%	49.2%	99.3%	39.7%	96.9%

	召回率		精度		F-measure
	随机森林	Bagging+	随机森林	Bagging+	随机森林	Bagging+
WWW	97.1%	99.9%	99.3%	98.4%	98.2%	99.1%
mail	100.0%	100.0%	98.7%	99.6%	99.3%	99.8%
FTP-control	96.0%	100.0%	100.0%	98.0%	98.0%	99.0%
FTP-PASV	68.8%	60.5%	82.7%	84.4%	70.8%	67.5%
P2P	39.4%	51.1%	77.1%	98.0%	52.1%	67.1%
database	98.5%	100.0%	100.0%	88.9%	99.2%	94.1%
FTP-data	100.0%	100.0%	70.9%	99.8%	83.0%	99.9%
multimedia	92.0%	94.7%	91.4%	99.3%	91.7%	96.9%

[1]	刘璐, 杨丹, 陈睿杰, 李嘉, 周熹. 基于KPCA-GA-BP神经网络的POI质量预测研究[J]. 电信科学, 2023, 39(1): 108-116.
[2]	马焜, 徐玲玉, 沈晓萍, 龚志城, 蓝建平, 陈双喜, 钱钧. 云计算中基于Shapley值改进遗传算法的虚拟机调度模型[J]. 电信科学, 2022, 38(12): 1-10.
[3]	章鹏, 金小萍, 陈东晓. 一种面向RDSM系统的基于遗传算法优化色散矩阵的方法[J]. 电信科学, 2022, 38(12): 46-55.
[4]	金小萍, 刘家瑜, 蒋晨, 郭强. 基于改进遗传算法的STSK系统色散矩阵和3D星座的联合优化[J]. 电信科学, 2021, 37(9): 86-94.
[5]	顾玥, 李丹, 高凯辉. 基于机器学习和深度学习的网络流量分类研究[J]. 电信科学, 2021, 37(3): 105-113.
[6]	姚晓辉,李青,孙焜焜. 一种域适配混合遗传算法及在安全服务链编排中的验证[J]. 电信科学, 2020, 36(5): 16-24.
[7]	胡文玉,王文举. 我国信息通信技术创新扩散效应及预测实证研究[J]. 电信科学, 2020, 36(1): 66-76.
[8]	周凯. 一种基于网格划分的水下传感器网络多维优化部署策略[J]. 电信科学, 2018, 34(11): 48-58.
[9]	蔡畅,王亚芳,苗兵梅,姜慧. 基于改进遗传算法的认知无线传感网动态频谱分配方案[J]. 电信科学, 2017, 33(8): 85-93.
[10]	张国玲. 基于情感神经网络的风电功率预测[J]. 电信科学, 2017, 33(3): 168-172.
[11]	包晓安,魏雪,陈磊,胡国亨,张娜. 基于mean-variance的服务集群负载均衡方法[J]. 电信科学, 2017, 33(1): 1-8.
[12]	郑寒冰,余翔,王维维. 基于混合遗传算法的导频优化[J]. 电信科学, 2016, 32(9): 75-81.
[13]	申情,蒋云良,沈张果,楼俊钢. 基于组合混沌遗传算法的最小测试用例集生成[J]. 电信科学, 2016, 32(6): 93-102.
[14]	刘珍,王若愚. 基于行为特征学习的互联网流量分类方法[J]. 电信科学, 2016, 32(6): 143-152.
[15]	钱亚冠,关晓惠,云本胜,楼琼,马鹏飞. 基于可变特征空间SVM的互联网流量分类[J]. 电信科学, 2016, 32(5): 105-113.

一种基于特征集构建的Bagging集成方法及其在流量分类中的应用

An approach of Bagging ensemble based on feature set and application for traffic classification

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 14

相关文章 15

Metrics

推荐阅读 0