基于MapReduce的PCA异常流量检测系统实现

doi:10.3969/j.issn.1000-0801.2010.06.018

摘要/Abstract

摘要：

PCA是一种在高维空间中检测网络异常流量的有效方法，它可以从全局角度对网络流量数据进行分析，检测网络中隐藏的异常。在面对运营商全网流量数据时，如何快速从海量的Netflow流量数据中生成统计矩阵供PCA检测分析，是PCA异常流量检测方法面临的最大困难之一。MapReduce是随着云计算兴起的一项分布式计算方法，它充分利用计算机集群的处理能力，能有效应对海量数据分析任务。本文提出了一种有效的机制，将MapReduce分布式计算方法应用在PCA异常流量检测中。结果表明，MapReduce方法极大地提高了PCA异常流量检测方法的处理性能，使得PCA异常流量检测能有效处理运营商全网数据。

关键词: PCA, MapReduce, 网络异常流量检测, Netflow

Abstract:

PCA is an effective method for network anomaly detection in high dimensional data space.It can analyze traffics and detect anomalies from network-wide perspective.When analyzing the carrier's whole network traffic，we have to think of the massive property.How to derive the statistic matrix from massive netflow records for PCA analysis is one of the biggest difficulties.MapReduce is a new distributed computation paradigm coming with cloud computing technologies.It takes full use of computer processing power of clusters，thus could handle data analysis tasks over large scale data.In this paper，we proposed a new approach based on MapReduce model for large scale PCA network anomaly detection.The experiment result shows MapReduce based PCA implementation can effectively handle the whole network traffics

Key words: PCA, MapReduce, network traffic flow anomalies dectection, netflow

黄志兰,丁圣勇,杨国良,罗颂锋. 基于MapReduce的PCA异常流量检测系统实现[J]. 电信科学, 2010, 26(6): 76-80.

Zhilan Huang,Shengyong Ding,Guoliang Yang,Songfeng Luo. A PCA-based Network Anomaly Detection System Using MapReduce Method[J]. Telecommunications Science, 2010, 26(6): 76-80.

图/表 5

参考文献 9

1	杨丹，胡光岷，李宗林，姚兴苗 . 全局的多流量相关异常检测算法. 电子科技大学学报，， 200837（6）
2	贾冠昕，杨波，陈贞翔，彭立志 . 基于NetFlow 时间序列的网络异常检测. 基于NetFlow 时间序列的网络异常检测，， 200844（24）
3	杨丹，胡光岷，李宗林，姚兴苗 . 全局的多流量相关异常检测算法. 电子科技大学学报，， 200837（6）
4	柴志成 . 一种基于SVM 的网络异常流量检测新方法. 贵阳学院学报，， 20083（1）
5	王敏，李纯喜，陈常嘉 . 浅谈基于PCA的网络流量分析. 微计算机信息，， 200622（6）
6	Lakhina A ， Crovella M ， Diot C . Diagnosing network-wide traffic anomalies. ACM SIGCOMM， Portland， August 2004
7	王海龙，杨岳湘，李强 . 基于子空间方法的大规模网络流量异常检测. 计算机工程与应用， 200743（11）
8	Lakhina A ， Crovella M ， Diot C . Diagnosing network-wide traffic anomalies. ACM SIGCOMM， Portland， August 2004
9	Dean Jeffrey ， Sanjay Ghemawat . MapReduce:simplified data processing on large clusters.In: Proc of Symposium on Operating System Design and Implementation， 2004

[1]	王源,江昊,吴明,姚冬桂,张毅,羿舒文,汪海,吴静. 基于用户移动网络接入位置的高效分布式相似矩阵计算方法[J]. 电信科学, 2018, 34(5): 26-38.
[2]	张梦丹,卢光跃,王宏刚,刘继明. 基于线性内插法改进的室内定位算法[J]. 电信科学, 2017, 33(1): 9-15.
[3]	赵会敏,雒江涛,杨军超,徐正,雷晓,罗林. 集成BP神经网络预测模型的研究与应用[J]. 电信科学, 2016, 32(2): 60-67.
[4]	王忠伟,陈叶芳,肖四友,钱江波. 一种高维大数据全k近邻查询算法[J]. 电信科学, 2015, 31(7): 52-62.
[5]	任建新,陈华辉. 一种自适应子空间相似性搜索方法[J]. 电信科学, 2015, 31(7): 63-74.
[6]	方艾,徐雄,梁冰,张玉忠,杨翊平. 主流大数据处理开源架构的分析及对比评测[J]. 电信科学, 2015, 31(7): 152-157.
[7]	许金凤,董一鸿,王诗懿,何贤芒,陈华辉. 大规模图数据划分算法综述[J]. 电信科学, 2014, 30(7): 100-106.
[8]	单观敏,董一鸿,何贤芒. 基于MapReduce的连续SkyIine查询[J]. 电信科学, 2014, 30(5): 94-104.
[9]	刘勇,雒江涛,邓生雄,王小平. 基于Hadoop的网络分流和流特征计算[J]. 电信科学, 2014, 30(12): 76-81.
[10]	丁圣勇,闵世武,樊勇兵. 基于Spark平台的NetFIow流量分析系统[J]. 电信科学, 2014, 30(10): 48-51.
[11]	陶彩霞,谢晓军,陈康,郭利荣,刘春. 基于云计算的移动互联网大数据用户行为分析引擎设计[J]. 电信科学, 2013, 29(3): 27-31.
[12]	唐宏. 基于MapReduce的大规模流量分析系统的设计[J]. 电信科学, 2013, 29(12): 155-157.
[13]	吴斌,刘心光. 一种基于改进的链式MapReduce的并行ETL应用[J]. 电信科学, 2013, 29(12): 1-8.
[14]	周国亮,朱永利,王桂兰. CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J]. 电信科学, 2013, 29(10): 31-37.
[15]	黎宏剑,刘恒,黄广文,卜立. 基于Hadoop的海量电信数据云计算平台研究[J]. 电信科学, 2012, 28(8): 80-85.