基于密度聚类的网络性能故障大数据分析方法

doi:10.11959/j.issn.1000-0801.2020270

摘要/Abstract

摘要：

针对层出不穷的网络安全事件，如何快速在海量监测数据中发现异常数据，并开展网络故障分析成为研究难点。针对该问题，提出一种基于密度聚类的网络性能故障大数据分析方法，通过熵权分析、数据清洗与标准化处理实现关键性能特征提取与数据整形，基于参数调优的DBSCAN聚类算法提取性能故障异常数据。基于实时采集的全国多家运营商海量骨干网链路性能数据验证该算法，结果表明，与人工标注网络性能异常数据相比，其识别的准确性超过90%，可满足开展全国网络运行故障分析的需求。

关键词: 网络性能, 机器学习, 密度聚类, 测量分析

Abstract:

Facing frequent network security incidents,how to quickly find abnormal data in massive monitoring database and carry out network failure analysis becomes a research difficulty.A density-based network performance failure big data analysis algorithm was proposed,which extracted key performance characteristic indicators through entropy weight analysis,implemented data shaping through data cleaning and standardization,and extracted abnormal performance data on the basis of DBSCAN clustering algorithm.Relying on the real-time massive backbone network link performance data of multiple domestic operators to validated this algorithm,the results shows that compared with the manually manner,the recognition accuracy of the algorithm proposed to the network performance abnormal data is more than 90%,which can well fit for the analysis of real-time Internet network operation failure.

Key words: network performance, machine learning, density clustering, measurement analysis

中图分类号:

TP393

李想,李原,张子飞,杨哲. 基于密度聚类的网络性能故障大数据分析方法[J]. 电信科学, 2020, 36(9): 51-58.

Xiang LI,Yuan LI,Zifei ZHANG,Zhe YANG. A density clustering-based network performance failure big data analysis algorithm[J]. Telecommunications Science, 2020, 36(9): 51-58.

图/表 9

表1

图1

表2

图2

图3

表3

表4

图4

图5

参考文献 14

[1]	李玥 . 机器学习的分类、聚类研究[J]. 电脑知识与技术, 2020,16(4): 161-162.
	LI Y . Research on classification and clustering of machine learning[J]. Computer Knowledge and Technology, 2020,16(4): 161-162.
[2]	蔡志荣 . 基于熵权的模糊综合评价法在学习质量评价中的应用[J]. 计算机时代, 2018.(12): 75-77.
	CAI Z R . Application of entropy weight based fuzzy comprehensive evaluation method in learning quality evaluation[J]. Computer Era, 2018.(12): 75-77.
[3]	刘竞妍, 张可, 王桂华 . 综合评价中数据标准化方法比较研究[J]. 数字技术与应用, 2018,36(6): 84-85.
	LIU J Y , ZHANG K , WANG G H . Comparative study on data standardization methods in comprehensive evaluation[J]. Digital Technology ＆ Application, 2018,36(6): 84-85.
[4]	展金梅, 陈君涛 . 聚类集成算法中度量方法[J]. 电子技术与软件工程, 2020(3): 170-171.
	CHEN J M , CHEN J T . Measurement method in clustering integration algorithm[J]. Electronic Technology ＆ Software Engineering, 2020(3): 170-171.
[5]	贺玲, 吴玲达, 蔡益朝 . 数据挖掘中的聚类算法综述[J]. 计算机应用研究, 2017,(1): 10-13.
	HE L , WU L D , CAI Y C . Survey of clustering algorithms in data mining[J]. Application Research of Computers, 2017(1): 10-13.
[6]	周爱武, 于亚飞 . K-means聚类算法的研究[J]. 计算机技术与发展, 2011,21(2): 62-65.
	ZHOU A W , YU Y F . The research about clustering algorithm of K-means[J]. Computer Technology and Development, 2011,21(2): 62-65.
[7]	闫玮 . 基于多种层次聚类的算法研究[D]. 西安:西安电子科技大学, 2019.
	YAN W . Algorithms research based on multiple hierarchical clustering[D]. Xi’an:Xidian University, 2019.
[8]	ESTER M , KRIEGEL H P , XU X . A density-based algorithm for discovering clusters adensity-based algorithm for discovering clusters in large spatial databases with noise[C]// Proceedings of International Conference on Knowledge Discovery ＆ Data Mining. New York:ACM Press, 1996.
[9]	谢娟英, 丁丽娟 . 完全自适应的谱聚类算法[J]. 电子学报, 2019,47(5): 1000-1008.
	XIE J Y , DING L J . The true self-adaptive spectral clustering algorithms[J]. Acta Electronica Sinica, 2019,47(5): 1000-1008.
[10]	孙鹏, 韩承德, 曾涛 . S-DBSCAN:一种基于DBSCAN发现高密度簇的算法[J]. 高技术通讯, 2012,22(6): 589-595.
	SUN P , HAN C D , ZENG T . S-DBSCAN:an algorithm for finding high density clusters based on DBSCAN[J]. Chinese High Technology Letters, 2012,22(6): 589-595.
[11]	SHAH G H , . An improved DBSCAN,a density based clustering algorithm with parameter selection for high dimensional data sets[C]// Proceedings of Nirma University International Conference on Engineering. Piscataway:IEEE Press, 2013.
[12]	冯振华 . 基于 DBSCAN 聚类算法的研究与应用[D]. 无锡:江南大学, 2016.
	FENG Z H . Research and application of clustering algorithm based on DBSCAN[D]. Wuxi:Jiangnan University, 2016.
[13]	SUNITA J , PATAG K . Algorithm to determine ε-distance parameter in density based clustering[J]. Expert Systems With Applications, 2014,(6): 2939-2946.
[14]	冯万兴, 朱晔, 郭钧天 ,等. 基于改进的 DBSCAN 方法和多项式拟合的雷电短时预测[J]. 计算机工程与科学, 2014,36(10): 2028-2033.
	FENG W X , ZHU Y , GUO J T ,et al. Lightning forecast based on the improved DBSCAN and polynomial fitting[J]. Computer Engineering and Science, 2014,36(10): 2028-2033.

链路方向	时延指标权重	分组丢失率指标权重	跳数指标权重
上海电信-上海电信	0.99	0.005	0.005
上海电信-四川联通	0.011 3	0.987 9	0.000 8
宁夏电信-安徽鹏博士	0.191 5	0.726 4	0.082 1

链路方向		eps值
链路方向	默认值0.8	曲线多项式拟合并求差值	指数拟合并求导	计算相邻点之间斜率
上海电信-上海电信	0.8	0.127 2	0	0.127 2
上海电信-四川联通	0.8	3.541 5	3.325 3	3.340 7
宁夏电信-安徽鹏博士	0.8	0.864 2	0.746 0	0.842 0

对比项	湖南电信-安徽移动	江苏移动-浙江电信	辽宁移动-浙江电信	安徽电信-浙江电信	吉林联通-山西电信
机器识别异常记录数	93/个	5/个	25/个	10/个	49/个
人工判断异常记录数	102/个	5/个	28/个	8/个	45/个
识别准确率	91.2%	100%	89.2%	80%	91.8%

对比项	湖南电信-安徽移动	江苏移动-浙江电信	辽宁移动-浙江电信	安徽电信-浙江电信	吉林联通-山西电信
DBSCAN算法	91.2%	100%	89.2%	80%	91.8%
K-means++算法	88.2%	70%	75%	47.5%	93.75%
AGNES算法	89.2%	70%	92.8%	42.1%	91.8%

[1]	郭泽华, 朱昊文, 徐同文. 面向分布式机器学习的网络模态创新[J]. 电信科学, 2023, 39(6): 44-51.
[2]	刘雅琼, 吕哲, 赵亚飞, 寿国础. AI技术在卫星通信/互联网领域的应用综述[J]. 电信科学, 2023, 39(2): 10-24.
[3]	章坚武, 安彦军, 邓黄燕. DNS攻击检测与安全防护研究综述[J]. 电信科学, 2022, 38(9): 1-17.
[4]	李奕江, 叶会标, 谢仁华, 楼佳丽, 庄丹娜, 李传煌. 基于图神经网络的网络性能智能预测[J]. 电信科学, 2022, 38(3): 143-157.
[5]	周志超, 冯毅, 夏小涵, 冯瑜瑶, 蔡超, 邱佳慧, 杨立辉, 乌云霄. 基于移动蜂窝网的机器学习室外指纹定位方案[J]. 电信科学, 2021, 37(8): 85-95.
[6]	肖子玉. 面向2030的未来网络关键技术综述——Beyond 5G[J]. 电信科学, 2020, 36(9): 114-121.
[7]	邱亚星,王希栋,边森,岳磊. 基于聚类分析和深度学习的多频多模网络负载均衡优化[J]. 电信科学, 2020, 36(7): 156-162.
[8]	欧阳晔,杨爱东,孟凡语. 一种博弈论辅助的机器学习算法检测用户流失行为[J]. 电信科学, 2020, 36(6): 79-89.
[9]	林锋,徐柳婧,陈晓华,戚伟强,陈可,朱添田. 一种基于多视角特征融合的Webshell检测方法[J]. 电信科学, 2020, 36(6): 125-132.
[10]	盛剑涛,陈茂飞,刘东鑫,汪来富,史国水,金华敏. 基于组合分类器的恶意域名检测技术[J]. 电信科学, 2020, 36(5): 47-55.
[11]	庞涛,丘海华,潘碧莹. 手机终端人工智能关键技术研究[J]. 电信科学, 2020, 36(5): 145-151.
[12]	钟其柱. 基于机器学习分析VoLTE视频通话质量的研究及应用[J]. 电信科学, 2020, 36(3): 156-165.
[13]	刘姿杉,程强,吕博. 面向机器学习的隐私保护关键技术研究综述[J]. 电信科学, 2020, 36(11): 18-27.
[14]	陈孝莲,秦奕,张杰,李亚杰,宋浩鲲,张会彬. 基于机器学习的光纤窃听检测方法[J]. 电信科学, 2020, 36(11): 61-67.
[15]	桂飞,程阳,李丹,洪思虹. 互联网智能路由架构及算法[J]. 电信科学, 2020, 36(10): 12-20.