数据流计算环境下的集群资源管理技术

doi:10.11959/j.issn.2096-0271.2020026

大数据 ›› 2020, Vol. 6 ›› Issue (3): 87-100.doi: 10.11959/j.issn.2096-0271.2020026

• 专题：面向大数据处理的数据流计算技术 • 上一篇下一篇

数据流计算环境下的集群资源管理技术

汤小春,符莹,丁朝,毛安琪,李战怀

西北工业大学计算机学院，陕西西安 710129

出版日期:2020-05-15 发布日期:2020-05-15
作者简介:汤小春（1969- ），男，博士，西北工业大学计算机学院副教授，主要研究方向为大数据计算、大图数据挖掘、集群资源管理等|符莹（1996- ），女，西北工业大学计算机学院硕士生，主要研究方向为大数据计算、集群资源管理等|丁朝（1995- ），男，西北工业大学计算机学院硕士生，主要研究方向为大数据计算、集群资源管理等|毛安琪（1996- ），女，西北工业大学计算机学院硕士生，主要研究方向为大数据计算、集群资源管理等|李战怀（1961- ），男，博士，西北工业大学计算机学院教授，大数据存储与管理工业和信息化部重点实验室主任，主要研究方向为数据库理论与技术、数据流、数据密集型计算、内存计算、数据挖掘等
基金资助:
国家重点研发计划基金资助项目(2018YFB1003400)

State-of-art research of cluster resource management in dataflow computing model

Xiaochun TANG,Ying FU,Zhao DING,Anqi MAO,Zhanhuai LI

School of Computer Science,Northwestern Polytechnical University,Xi’an 710129,China

Online:2020-05-15 Published:2020-05-15
Supported by:
The National Key Research and Development Program of China(2018YFB1003400)

摘要/Abstract

摘要：

以集群为基础的高性能计算的发展经历了3个阶段的演化，即计算子系统与存储子系统的分离、计算子系统与存储子系统的融合以及以数据并行为基础的dataflow编程模型。随着Spark、Flink等数据流编程模型在大数据计算领域的广泛使用，计算作业类型千变万化，如何保证各种数据流计算作业对集群资源的共享使用是集群资源管理的核心，也是降低基础设施成本的主要手段。分析集群资源管理的历史变化，从数据流编程模型的角度出发，对HoD、集中式、双层调度、分布式以及混合式管理展开了深入的探索，介绍了其各自的优缺点以及应用现状，为数据流计算环境下的集群资源管理和调度的使用或者研发提供一定的参考和借鉴。

关键词: 数据流模型, 集群资源, 调度框架, 大数据

Abstract:

The development of cluster-based high-performance computing has undergone three stages of evolution.With the widespread use of dataflow programming models such as Spark and Flink in the field of big data computing,how to ensure the fair share with the cluster resources by various dataflow computing applications is extremely important.It is also a main means to reduce the cost of infrastructures.As the drawbacks of traditional cluster resource management have becoming increasingly apparent in dataflow computing model,many alternative cluster resource management,including HoD,centralized scheduling,two-level scheduling,distributed scheduling,and hybrid scheduling management,have been proposed in recent years.Their respective advantages and disadvantages were introduced,and a certain reference for the uses or researches in development of cluster resource management and scheduling in a dataflow computing environment was provided.

Key words: dataflow model, cluster resource, schedule framework, big data

中图分类号:

TP31

汤小春, 符莹, 丁朝, 毛安琪, 李战怀. 数据流计算环境下的集群资源管理技术[J]. 大数据, 2020, 6(3): 87-100.

Xiaochun TANG, Ying FU, Zhao DING, Anqi MAO, Zhanhuai LI. State-of-art research of cluster resource management in dataflow computing model[J]. Big Data Research, 2020, 6(3): 87-100.

图/表 6

参考文献 16

[1]	HOVESTADT M , KAO O , KELLER A ,et al. Scheduling in HPC resource management systems:queuing vs planning[J]. Genetica, 2003:112-113(1): 445-461.
[2]	MISHRA M K , PATEL Y S , ROUT Y ,et al. A survey on scheduling heuristics in grid computing environment[J]. International Journal of Modern Education and Computer Science, 2014,6(10): 57-77.
[3]	杜小勇, 陈跃国, 范举 ,等. 数据整理——大数据治理的关键技术[J]. 大数据, 2019,5(3): 13-22.
	DU X Y , CHEN Y G , FAN J ,et al. Data wrangling:a key technique of data governance[J]. Big Data Research, 2019,5(3): 13-22.
[4]	陈康, 郑纬民 . 云计算:系统实例与研究现状[J]. 软件学报, 2009,20(5): 1337-1348.
	CHEN K , ZHENG W M . Cloud computing:system instances and current research[J]. Journal of Software, 2009,20(5): 1337-1348.
[5]	KARANASOS K , RAO S , CURINO C ,et al. Mercury:hybrid centralized and distributed scheduling in large shared clusters[C]// 2015 USENIX Annual Technical Conference. Berkeley:USENIX Association, 2015: 485-497.
[6]	DEAN J , GHEMAWAT S . MapReduce:simplified data processing on large clusters[J]. Communications of the ACM, 2008,51(1): 107-113.
[7]	PARK J J K , PARK Y , MAHLKE S . Dynamic resource management for efficient utilization of multitasking GPUs[C]// The 22nd International Conference on Architectural Support for Programming Languages and Operating Systems. New York:ACM Press, 2017: 527-540.
[8]	ZAHARIA M , CHOWDHURY M , DAS T ,et al. Resilient distributed datasets:a fault-tolerant abstraction for inmemory cluster computing[C]// The 9th USENIX Networked Systems Design and Implementation. Berkeley:USENIX Association, 2012: 2-14.
[9]	ARMBRUST M , XIN R S , LIAN C ,et al. Spark SQL:relational data processing in Spark[C]// The 2015 ACM SIGMOD International Conference on Management of Data. New York:ACM Press, 2015: 1383-1394.
[10]	CARBONE P , KATSIFODIMOS A , EWEN S ,et al. Apache Flink:stream and batch processing in a single engine[J]. IEEE Data Engineering Bulletin, 2015,38(4): 28-38.
[11]	FUKUTOMI D , IIDA Y , AZUMI T ,et al. GPUhd:augmenting YARN with GPU resource management[C]// International Conference on High Performance Computing in Asia-Pacific Region. New York:ACM Press, 2018: 127-136.
[12]	VERMA A , PEDROSA L , KORUPOLU M .et al Large-scale cluster management at Google with Borg[C]// The 10th European Conference on Computer Systems. New York:ACM Press, 2015: 1-17.
[13]	HINDMAN B , KONWINSKI A , ZAHARIA M ,et al. Mesos:a platform for finegrained resource sharing in the data center[C]// The 8th USENIX Conference on Networked Systems Design and Implementation. Berkeley:USENIX Association, 2011: 295-308.
[14]	BOUTIN E , EKANAYAKE J , LIN W ,et al. Apollo:scalable and coordinated scheduling for cloud-scale computing[C]// The 11th USENIX Conference on Operating Systems Design and Implementation. Berkeley:USENIX Association, 2014: 285-300.
[15]	KONSTANTINOS K , SRIRAM R , CARLO C ,et al. Mercury:hybrid centralized and distributed scheduling in large shared clusters[C]// 2015 USENIX Annual Technical Conference. Berkeley:USENIX Association, 2015: 485-497.
[16]	AKIDAU T , BRADSHAW R , CHAMBERS C ,et al. The dataflow model:a practical approach to balancing correctness,latency,and cost in massive-scale,unbounded,out-of-order data processing[J]. Proceedings of the VLDB Endowment, 2015,8(12): 1792-1803.

数据流计算环境下的集群资源管理技术

State-of-art research of cluster resource management in dataflow computing model

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 16

相关文章 15

Metrics

推荐阅读 0

[1]	钱海红, 王茂异, 熊贇. 高等教育数字化转型的现状与发展研究[J]. 大数据, 2023, 9(3): 56-70.
[2]	梅宏, 杜小勇, 金海, 程学旗, 柴云鹏, 石宣化, 靳小龙, 王亚沙, 刘驰. 大数据技术前瞻[J]. 大数据, 2023, 9(1): 1-20.
[3]	沈阳, 余梦珑. 元宇宙与大数据：时空智能中的数据洞察与价值连接[J]. 大数据, 2023, 9(1): 103-110.
[4]	陈静. 人文大数据及其在数字人文领域中的应用[J]. 大数据, 2022, 8(6): 3-14.
[5]	罗煜楚, 吴昊, 郭宇涵, 谭绍聪, 刘灿, 蒋瑞珂, 袁晓如. 数字人文中的可视化[J]. 大数据, 2022, 8(6): 74-93.
[6]	郑童哲恒, 李斌, 冯敏萱, 常博林, 王东波. 历史典籍的结构化探索——《史记·列传》数字人文知识库的构建与可视化研究[J]. 大数据, 2022, 8(6): 40-55.
[7]	李汶龙, 袁媛, 安筱鹏. 刍议大数据治理的三大基础思维[J]. 大数据, 2022, 8(4): 34-45.
[8]	汤奇峰, 邵志清, 叶雅珍. 数据交易中的权利确认和授予体系[J]. 大数据, 2022, 8(3): 40-53.
[9]	王陈慧子, 蔡玮. 元宇宙数字经济：现状、特征与发展建议[J]. 大数据, 2022, 8(3): 140-150.
[10]	杨玫, 李玮, 乔思渊, 刘巍. 中国大数据产业产值测算方法研究[J]. 大数据, 2022, 8(3): 151-160.
[11]	李德仁, 张过, 蒋永华, 沈欣, 刘伟玲. 论大数据视角下的地球空间信息学的机遇与挑战[J]. 大数据, 2022, 8(2): 3-14.
[12]	仇晓兰, 胡玉新, 上官松涛, 付琨. 遥感卫星大数据高精度一体化处理技术[J]. 大数据, 2022, 8(2): 15-27.
[13]	刘伟权, 王程, 臧彧, 胡倩, 于尚书, 赖柏锜. 基于遥感大数据的信息提取技术综述[J]. 大数据, 2022, 8(2): 28-57.
[14]	刘建强, 叶小敏, 兰友国. 我国海洋卫星遥感大数据及其应用服务[J]. 大数据, 2022, 8(2): 75-88.
[15]	杨何群, 王晓峰, 高彦青, 陆一闻, 麻炳欣, 王昕瑶. 数值天气预报对卫星大数据的需求分析[J]. 大数据, 2022, 8(2): 89-102.