主流大数据处理开源架构的分析及对比评测

doi:10.11959/j.issn.1000-0801.2015174

电信科学 ›› 2015, Vol. 31 ›› Issue (7): 152-157.doi: 10.11959/j.issn.1000-0801.2015174

主流大数据处理开源架构的分析及对比评测

方艾,徐雄,梁冰,张玉忠,杨翊平

中国电信股份有限公司广州研究院广州 510630

出版日期:2015-08-21 发布日期:2015-08-21

Comparison of Open-Source Distributed Computing Framework for Big Data

Ai Fang,Xiong Xu,Bing Liang,Yuzhong Zhang,Yiping Yang

Guangzhou Research Institute of China Telecom Co.，Ltd.，Guangzhou 510630，China

Online:2015-08-21 Published:2015-08-21

摘要/Abstract

摘要：

结合电信增值业务领域中对大数据处理的实际需求，对现有主流的分布式大数据处理架构（Hive、Impala、Spark）的核心进行分析与实测，比较它们在大数据处理过程中的优劣及适用的场景，从而为大数据分析所面临的架构适用性选型提供参考。

关键词: 大数据, Hive, MapReduce, Impala, Spark

Abstract:

A comparison of three open source distributed computing frameworks for big data （Hive，Impala and Spark）was conducted.Tests were run to evaluate the performance aiming at real business demands.The cost of implementation to meet business requirements was also discussed.

Key words: big data, Hive, MapReduce, Impala, Spark

方艾,徐雄,梁冰,张玉忠,杨翊平. 主流大数据处理开源架构的分析及对比评测[J]. 电信科学, 2015, 31(7): 152-157.

Ai Fang,Xiong Xu,Bing Liang,Yuzhong Zhang,Yiping Yang. Comparison of Open-Source Distributed Computing Framework for Big Data[J]. Telecommunications Science, 2015, 31(7): 152-157.

图/表 10

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

1	Hadoop. ， 2014
2	耿益锋，陈冠诚 . Impala：新一代开源大数据分析引擎. 程序员， 2013（8） Geng Y F ， Chen G C . Impala：next-gen open-source big data analytic engine. Programmer， 2013（8）
3	Spark. ， 2013
4	Hive与Impala比较. ， 2013Comparison between Impala and Hive. ， 2013
5	Dremel. ， 2012
6	Spark API. ， 2014
7	Resilient distributed datasets：a fault-tolerant abstraction for in-memory cluster computing. ， 2012
8	PageRank. ， 2014
9	微博 3.5 亿用户关系数据（样例）. ， 2014Relationship data of 350 million weibo users（samples）. ， 2014

[1]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[2]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[3]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[4]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[5]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[6]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[7]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[8]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[9]	刘晓军,武娟,徐晓青. 大数据架构剖析及数据安全融合技术[J]. 电信科学, 2020, 36(7): 146-155.
[10]	刘玉娇,宋坤煌,王向. 基于电力大数据的经济景气指数分析[J]. 电信科学, 2020, 36(6): 166-171.
[11]	程卫华,何肖嵘. 基于大数据的网页浏览质差分析方法研究[J]. 电信科学, 2020, 36(11): 174-181.
[12]	高建,陈文彬,庞建民,于华东,宋国瑞. 基于组合密钥的智能电网多源数据安全保护[J]. 电信科学, 2020, 36(1): 134-138.
[13]	谭晓敏,方艾,梁冰,杨豪杰. 基于决策树的EPG体验异常原因定位[J]. 电信科学, 2019, 35(8): 158-164.
[14]	鲁泽霖,李强治. 电子商务平台的演化逻辑和运营机理[J]. 电信科学, 2019, 35(7): 152-158.
[15]	廖明,陈明,周冀,向小华,李芳,焦叶芬. 基于大数据融合算法的DNS日志分析系统[J]. 电信科学, 2019, 35(5): 129-139.

主流大数据处理开源架构的分析及对比评测

Comparison of Open-Source Distributed Computing Framework for Big Data

在线阅读

PDF下载

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 9

相关文章 15

Metrics

推荐阅读 0