基于PaaS技术的大数据云化平台实践

doi:10.11959/j.issn.1000-0801.2018043

摘要/Abstract

摘要：

大数据平台作为数据存储、处理和服务的基础平台，需支撑内部和外部多种大数据应用的开发及运行。提出一种把PaaS（platform as a service，平台即服务）技术应用到大数据平台的方案，详细描述了大数据PaaS云化平台的架构体系以及分层调度、多租户管理、Hadoop任务全局调度等关键技术方案。实践证明，该平台可以显著提高大数据应用的开发效率，实现应用快速部署上线；同时，其良好的弹性伸缩能力可以有效地提高大数据应用系统资源的使用效率。

关键词: 大数据, PaaS, Hadoop, YARN调度器, 云服务

Abstract:

As a platform of data storage,processing,and service,big data platform needs to support internal and external various big data applications.A solution applied PaaS technology to the big data platform was proposed.Details of the key technical solutions such as the architecture of PaaS cloud computing platform,hierarchical scheduling scheme,multi-tenant management and global scheduling of Hadoop tasks were described.It was proved that the platform could remarkably improve big data application development efficiency and help application deployment fast.In the meantime,good elastic scaling capability can effectively improve big data application system resource utilization.

Key words: big data, PaaS, Hadoop, YARN scheduler, cloud service

中图分类号:

TP311

徐海勇,黄岩. 基于PaaS技术的大数据云化平台实践[J]. 电信科学, 2018, 34(1): 148-157.

Haiyong XU,Yan HUANG. Applications of a big data platform based on PaaS[J]. Telecommunications Science, 2018, 34(1): 148-157.

图/表 13

图1

图2

图3

图4

图5

图6

图7

图8

图9

表1

图10

图11

表2

参考文献 11

[1]	Gartner. Platform as a service(PaaS)[EB/OL].（2014-04-28）[2017-11-28]. .
[2]	齐磊, 张海峰, 张天骁 ,等. 基于容器技术的 PaaS 云平台方案[J]. 电信科学, 2017,33(4): 177-182.
	QI L , ZHANG H F , ZHANGT X ,et al. PaaS cloud platform based on container technology[J]. Telecommunications Science, 2017,33(4): 177-182.
[3]	VERMA A , PEDROSA L , KORUPOLU M ,et al. Large-scale cluster management at Google with Borg[C]// 10th European Conference on Computer Systems,April 21-24,2015,Bordeaux,France. New York:ACM Press, 2015:18.
[4]	张基, 李大中, 张呈宇 ,等. DC/OS 关键技术与应用场景[J]. 电信科学, 2016,32(12): 13-19.
	ZHANG J , LI D Z , ZHANG C Y ,et al. Key technologies and application scenario of DC/OS[J]. Telecommunications Science, 2016,32(12): 13-19.
[5]	BERNSTEIN D . Containers and cloud:from LXC to Docker to Kubernetes[J]. IEEE Cloud Computing, 2015,1(3): 81-84.
[6]	BALALAIE A , HEYDARNOORI A , JAMSHIDI P . Microservices Architecture enables DevOps:migration to a cloud-native architecture[J]. IEEE Software , 2016,33(3): 42-52.
[7]	王峰, 雷葆华 . Hadoop分布式文件系统的模型分析[J]. 电信科学, 2010,26(12): 95-99.
	WANG F , LEI B H . Modeling and analysis of Hadoop distributed file system[J]. Telecommunications Science, 2010,26(12): 95-99.
[8]	KONAR M , . Apache Hadoop YARN:yet another resource negotiator[C]// ACM Symposium on Cloud Computing,Oct 1-3,2013,Santa Clara,CA,USA. New York:ACM Press, 2013:5.
[9]	LU X , LIANG F , WANG B ,et al. DataMPI:Extending MPI to Hadoop-like big data computing[C]// International Parallel and Distributed Processing Symposium,May 19-23,2014,Phoenix,Arizona,USA. Piscataway:IEEE Press, 2014: 829-838.
[10]	郑文武, 李先绪, 黄执勤 . 云计算中的并行计算技术分析[J]. 电信科学, 2012,27(12): 31-38.
	ZHENG W W , LI X X , HUANG Z Q . Technolical analysis of parallel computing in cloud computing[J]. Telecommunications Science, 2012,27(12): 31-38.
[11]	李小宁, 李磊, 金连文 ,等. 基于OpenStack构建私有云计算平台[J]. 电信科学, 2012,27(9): 1-8.
	LI X N , LI L , JIN L W ,et al. Constructing a private cloud computing platform based on OpenStack[J]. Telecommunications Science, 2012,27(9): 1-8.

领域	开源调度器	全局调度器
多租户调度	在同构集群上，只能选择容量调度器或公平调度器两者之一，且FusionInsight集群当前不支持公平调度器。容量调度器只支持百分比方式配置，而公平调度器只支持绝对值方式	支持异构集群和多资源池；
		在单一策略框架中同时支持百分比调度和绝对值方式配置资源需求；
		支持预留，以保证直接访问资源
数据位置感知调度	从节点到作业的调度策略导致降低数据本地话命中率，潜在影响应用的执行性能	从作业到节点的调度策略，可具有更精确的数据位置感知，数据本地化调度的作业命中率比较高
基于机器负载的均衡调度	不支持	在调度时考虑机器的负载和资源分配情况，做到均衡调度
租户内多用户公平调度	不支持	租户内用户的公平调度，支持关键字default、others
作业等待原因	不支持	作业等待原因信息可显示为什么作业需等待

对比项	传统开发模式	大数据云化开发模式
硬件资源准备时间	1～3个月	小时级别
开发工具准备时间	1～3周	小时级别
数据准备时间	1～3个月	小时级别
应用部署时间	小时级别	分钟级别
资源利用率	资源独占，利用率低	资源池化共享，资源利用率高

[1]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[2]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[3]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[4]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[5]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[6]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[7]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[8]	陈志宏, 姚元. 基于云计算的政务信息系统整合研究[J]. 电信科学, 2021, 37(9): 118-128.
[9]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[10]	刘晓军,武娟,徐晓青. 大数据架构剖析及数据安全融合技术[J]. 电信科学, 2020, 36(7): 146-155.
[11]	刘玉娇,宋坤煌,王向. 基于电力大数据的经济景气指数分析[J]. 电信科学, 2020, 36(6): 166-171.
[12]	孙福洲,钱瑾,杨静,钱岭. 云服务时代下的开源发展[J]. 电信科学, 2020, 36(11): 156-164.
[13]	程卫华,何肖嵘. 基于大数据的网页浏览质差分析方法研究[J]. 电信科学, 2020, 36(11): 174-181.
[14]	高建,陈文彬,庞建民,于华东,宋国瑞. 基于组合密钥的智能电网多源数据安全保护[J]. 电信科学, 2020, 36(1): 134-138.
[15]	谭晓敏,方艾,梁冰,杨豪杰. 基于决策树的EPG体验异常原因定位[J]. 电信科学, 2019, 35(8): 158-164.