基于MapReduce的大规模流量分析系统的设计

doi:10.3969/j.issn.1000-0801.2013.12.025

电信科学 ›› 2013, Vol. 29 ›› Issue (12): 155-157.doi: 10.3969/j.issn.1000-0801.2013.12.025

基于MapReduce的大规模流量分析系统的设计

唐宏

中国电信股份有限公司广东研究院广州510630

出版日期:2013-12-20 发布日期:2017-07-04

A Large Scale Network Traffic Analysis System Design Based on the MapReduce Platform

Hong Tang

Guangdong Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China

Online:2013-12-20 Published:2017-07-04

摘要/Abstract

摘要：

随着用户和网络规模的快速扩大以及精细化运营需求的增加，网络流量分析系统面临的数据规模及分析深度要求都在快速发展，针对传统技术在系统扩展性、建设成本以及分析深度方面已经很难满足目前需求这一问题，提出了一种基于MapReduce 技术的大规模流量分析系统技术方案，对数据存储、数据分析全部并行化处理，消除传统系统存在的若干瓶颈。

关键词: MapReduce, 流量分析, 大规模

Abstract:

With the rapid development of network scale and the stricter requirement for operation efficiency, network traffic analysis system is facing big challenges in terms of the scale and analyzing depth. Traditional technologies cannot meet the current requirement for the scalability, cost and analyzing depth of the system. A MapReduce based traffic analysis system was presented, which could eliminate the performance bottleneck by parallelizing the storage and computation.

Key words: MapReduce, traffic analysis, large scale

唐宏. 基于MapReduce的大规模流量分析系统的设计[J]. 电信科学, 2013, 29(12): 155-157.

Hong Tang. A Large Scale Network Traffic Analysis System Design Based on the MapReduce Platform[J]. Telecommunications Science, 2013, 29(12): 155-157.

数据量	45 GB	74 GB	104 GB
处理时间	5 min 6 s	6 min 41 s	9 min 9 s

节点数量	4个节点	6个节点	8个节点
处理时间	20 min 38 s	14 min 12 s	9 min 9 s

[1]	王晓云, 邓伟, 张龙, 孙奇. 多域协同的TDD大规模组网方法研究[J]. 电信科学, 2023, 39(4): 43-51.
[2]	王雪荣, 唐政治, 李银川, 齐美玉, 朱建波, 张亮. 基于优化决策树的时延敏感流智能感知调度[J]. 电信科学, 2023, 39(4): 120-132.
[3]	吴冬升, 李凤娜, 夏宁馨, 李大成. 智能网联汽车测试方案研究与展望[J]. 电信科学, 2023, 39(3): 61-69.
[4]	王晖, 邰其心, 刘镠, 王鸿, 宋荣方. 基于GSIC的上行链路毫米波大规模MIMO-NOMA系统低功耗传输方法[J]. 电信科学, 2023, 39(1): 51-59.
[5]	邓丹昊, 王朝炜, 江帆, 王卫东. 无人机辅助无蜂窝大规模MIMO中的空地协同调度[J]. 电信科学, 2022, 38(8): 37-44.
[6]	曹海燕, 汪忠亮, 徐好, 陈千鸿, 许方敏. 基于混合精度ADC量化的大规模MIMO系统能效联合优化算法[J]. 电信科学, 2022, 38(8): 65-74.
[7]	王越, 许方敏, 曹海燕. TDD模式下无小区大规模MIMO系统的导频干扰抑制[J]. 电信科学, 2022, 38(5): 87-94.
[8]	黄秋萍, 刘晓峰, 高秋彬, 刘正宣, 金立强, 孙韶辉. 基于人工智能的大规模天线信道状态信息反馈研究[J]. 电信科学, 2022, 38(3): 74-83.
[9]	楼梦婷, 金婧, 王菡凝, 王启星, 王江舟. 面向大规模天线系统的稀布阵技术研究与评估[J]. 电信科学, 2021, 37(9): 48-56.
[10]	陈浩椅, 李光球, 李辉. 基于IAFS算法的毫米波大规模MIMO混合预编码方法[J]. 电信科学, 2021, 37(8): 77-84.
[11]	张沛昌, 安万年, 钟世达, 黄磊, 庄春生, 张伟. 一种新型低复杂度双层分组天线选择算法[J]. 电信科学, 2021, 37(7): 67-76.
[12]	华郁秀, 李荣鹏, 赵志峰, 吴建军, 张宏纲. 基于生成对抗网络的MIMO信道估计方法[J]. 电信科学, 2021, 37(6): 14-22.
[13]	章坚武, 王路鑫, 孙玲芬, 章谦骅, 单杭冠. 人工智能在5G系统中的应用综述[J]. 电信科学, 2021, 37(5): 14-31.
[14]	宋晓群, 金明, 贾忠杰. 一种大规模MIMO系统的联合用户活跃性和信号检测方法[J]. 电信科学, 2021, 37(5): 113-123.
[15]	卢艳萍, 刘留, 付丽琴, 邱佳慧, 刘凯. 大规模MIMO信道测量与建模综述[J]. 电信科学, 2021, 37(4): 14-27.

基于MapReduce的大规模流量分析系统的设计

A Large Scale Network Traffic Analysis System Design Based on the MapReduce Platform

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 2

参考文献 2

相关文章 15

Metrics

推荐阅读 0

1	White T . Hadoop: the Definitive Guide. O'Reilly Media, 2011
2	Ghemawat S , Gobioff H , Leung S . The Google file system. ACM SIGOPS Operating Systems Review, 2003（5）