基于信息增益的Hadoop瓶颈检测算法

doi:10.11959/j.issn.1000-0801.2016203

摘要/Abstract

摘要：

当今，Hadoop已经成为了大数据存储和大数据挖掘的主要平台。虽然Hadoop平台通过分布式的机器集群来实现高性能的并行计算，但由于其由廉价主机组成，故当集群负载增大时，便不可避免地在某机器上出现瓶颈。针对此问题，提出一种基于信息增益的瓶颈检测算法，该算法通过计算各个资源的信息增益来检测集群的瓶颈资源。实验证明了该瓶颈检测算法具有可行性。

关键词: 大数据, Hadoop, 信息增益, 瓶颈检测

Abstract:

Hadoop has become a major platform for big data storage and large data mining nowadays.Although Hadoop platform achieves high performance parallel computing through a distributed cluster of machines,the bottlenecks will inevitably appear on a machine when cluster load increases,because the cluster is composed of inexpensive host.Aiming at this problem,a bottleneck detection algorithms based on information gain was proposed.The algorithm detected cluster's bottlenecks resource by computing the information gain of each resource.The experiments show that the bottleneck detection algorithm is feasible.

Key words: big data, Hadoop, information gain, bottleneck detection

谭造乐,郝志峰,蔡瑞初,肖晓军,卢宇. 基于信息增益的Hadoop瓶颈检测算法[J]. 电信科学, 2016, 32(7): 115-120.

Zaole TAN,Zhifeng HAO,Ruichu CAI,Xiaojun XIAO,Yu LU. Hadoop bottleneck detection algorithm based on information gain[J]. Telecommunications Science, 2016, 32(7): 115-120.

图/表 6

图1

图2

表1

图3

表2

图4

参考文献 12

[1]	中国互联网络信息中心第37次中国互联网络发展状况统计报告[EB/OL]. [2016-02-10]. .China Internet Network Information Center The 37th China internet network development state statistic report[EB/OL]. [2016-02-10]. .
[2]	张呈 . Hadoop集群下海量小文件优化处理[D]．武汉：武汉理工大学， 2014. ZHANG C . Mass small files to optimize processing under the Hadoop cluster[D]. Wuhan: Wuhan University of Technology, 2014.
[3]	唐霞 . Hadoop调度器优化及其在舆情分析中的应用[D]．北京：北京化工大学， 2015. TANG X . Hadoop scheduler optimization and its application in public opinion analysis[D]. Beijing:Beijing University of Chemical Industry, 2015.
[4]	曾婉琳，陈兴蜀，罗永刚 . Hadoop节点资源参数优化策略[J]. 计算机工程， 2016(1): 1-6. ZENG W L , CHEN X S , LUO Y G . Hadoop node resource parameter optimization strategy[J]. Computer Engineering, 2016(1): 1-6.
[5]	董新华，李瑞轩，周湾湾，等. Hadoop系统性能优化与功能增强综述[J]. 计算机研究与发展， 2013,50(z2): 1-15. DONG X H , LI R X , ZHOU W W , et al. Hadoop system performance optimization and function enhanced review[J]. Journal of Computer Research and Development, 2013,50(z2): 1-15.
[6]	李怿铭 . 基于MapReduce性能优化的研究[D]．上海：上海师范大学， 2015. LI Y M . Based on graphs performance optimization research[D]. Shanghai: Shanghai Normal University, 2015.
[7]	DA V , PRADHAN P , DAN R . Provisioning servers in the application tier for E-commerce systems[J]. ACM Transactions on Internet Technology, 2007,7(1): 57-66.
[8]	朱显杰 . 大规模复杂系统瓶颈检测和性能预测方法的研究[D]．杭州：浙江大学， 2010. ZHU X J . Large-scale complicated system bottleneck detection and performance prediction method research[D]. Hangzhou:Zhejiang University, 2010.
[9]	GHEMAWAT S , GOBIOFF H , LEUNG S T . The Google file system[J]. ACM Sigops Operating Systems Review, 2003,37(5): 29-43.
[10]	DEAN J , GHEMAWAT S . MapReduce: simplified data processing on large clusters[J]. Communications of the ACM, 2008,51(1): 107-113.
[11]	Apache Software Foundation Eagle: secure Hadoop in real time[EB/OL]. [2016-02-11]. .
[12]	王小巍，蒋玉明 . 决策树ID3算法的分析与改进[J]. 计算机工程与设计， 2011,32(9): 3069-3072. WANG X W , JIANG Y M . Analysis and improvement of the decision tree ID3 algorithm[J]. Computer Engineering and Design, 2011,32(9): 3069-3072.

指标	作业进度	reduce数量	CPU每秒消耗字节数	作业用时与历史对比	作业用时	洗牌大小
比例	32%	24%	23%	%15%	3%	2%

磁盘I/O	CPU	网络带宽	响应满意度
非常低	非常高	低	高
低	非常高	低	高
低	非常高	中等	高
中等	非常高	中等	高
中等	非常高	中等	高
高	非常高	中等	高
高	非常高	高	高
高	非常高	高	高
非常高	高	高	中
非常高	非常高	高	中
非常高	非常高	高	低
非常高	非常高	高	低
非常高	非常高	非常高	低
非常高	非常高	非常高	低
非常高	非常高	非常高	低

[1]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[2]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[3]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[4]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[5]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[6]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[7]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[8]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[9]	刘晓军,武娟,徐晓青. 大数据架构剖析及数据安全融合技术[J]. 电信科学, 2020, 36(7): 146-155.
[10]	刘玉娇,宋坤煌,王向. 基于电力大数据的经济景气指数分析[J]. 电信科学, 2020, 36(6): 166-171.
[11]	程卫华,何肖嵘. 基于大数据的网页浏览质差分析方法研究[J]. 电信科学, 2020, 36(11): 174-181.
[12]	高建,陈文彬,庞建民,于华东,宋国瑞. 基于组合密钥的智能电网多源数据安全保护[J]. 电信科学, 2020, 36(1): 134-138.
[13]	谭晓敏,方艾,梁冰,杨豪杰. 基于决策树的EPG体验异常原因定位[J]. 电信科学, 2019, 35(8): 158-164.
[14]	鲁泽霖,李强治. 电子商务平台的演化逻辑和运营机理[J]. 电信科学, 2019, 35(7): 152-158.
[15]	廖明,陈明,周冀,向小华,李芳,焦叶芬. 基于大数据融合算法的DNS日志分析系统[J]. 电信科学, 2019, 35(5): 129-139.