大规模异构数据并行处理系统的设计、实现与实践

doi:10.11959/j.issn.2096-0271.2020030

大数据 ›› 2020, Vol. 6 ›› Issue (4): 18-29.doi: 10.11959/j.issn.2096-0271.2020030

• 专题：大数据异构并行系统 • 上一篇下一篇

大规模异构数据并行处理系统的设计、实现与实践

夏正勋,罗圣美,孙元浩,唐剑飞,张燕

星环信息科技（上海）有限公司，上海 200233

出版日期:2020-07-15 发布日期:2020-07-18
作者简介:夏正勋（1979- ），男，星环信息科技（上海）有限公司高级研究员，主要研究方向为大数据、数据库、人工智能、流媒体处理技术等|罗圣美（1971- ），男，博士，星环信息科技（上海）有限公司大数据研究院院长，主要研究方向为大数据、并行计算、云存储、人工智能等|孙元浩（1976- ），男，星环信息科技（上海）有限公司创始人，从2009年开始研究大数据技术，2013年创立公司，并开始新一代大数据技术的自主研发|唐剑飞（1986- ），男，星环信息科技（上海）有限公司大数据技术标准研究员，主要研究方向为大数据、数据库、图计算等|张燕（1985- ），女，星环信息科技（上海）有限公司大数据技术研究员，主要研究方向为大数据、人工智能等

Design,implementation and practice of parallel processing system for a large-scale heterogeneous data

Zhengxun XIA,Shengmei LUO,Yuanhao SUN,Jianfei TANG,Yan ZHANG

Transwarp Information Technology (Shanghai) Co.,Ltd.,Shanghai 200233,China

Online:2020-07-15 Published:2020-07-18

摘要/Abstract

摘要：

随着互联网和物联网应用的快速发展，数据处理模式从结构化逐渐扩展到结构化、半结构化和非结构化混合的异构数据处理模式。设计了一种大规模异构数据并行处理系统，在统一的平台功能视图基础上，采用统一的资源管理框架，实现对结构化、JSON/XML、图数据、文档数据等多种异构数据进行存储和查询，采用统一的开发语言，实现跨数据类型和数据存储引擎的并行计算，满足多业务应用开发的需要，并通过实际的商业部署，验证了系统的可行性。

关键词: 并行系统, 异构数据, 统一架构

Abstract:

With the rapid development of Internet and IoT applications,data processing has gradually expanded from structured to structured,semi-structured and unstructured hybrid heterogeneous data processing mode.A large-scale heterogeneous data parallel processing system was designed.Based on the functional view of a unified platform,the unified resource management framework was adopted to store and query a variety of heterogeneous data,including structured,JSON/XML,graph data,document data,etc.Adopting a unified database language,the parallel computing across data types and database engines was realized,and the needs of multi business application development were met.The feasibility of the system is verified by standard evaluation environment and commercial deployment.

Key words: parallel system, heterogeneous data, unified architecture

中图分类号:

TP311.13

夏正勋, 罗圣美, 孙元浩, 唐剑飞, 张燕. 大规模异构数据并行处理系统的设计、实现与实践[J]. 大数据, 2020, 6(4): 18-29.

Zhengxun XIA, Shengmei LUO, Yuanhao SUN, Jianfei TANG, Yan ZHANG. Design,implementation and practice of parallel processing system for a large-scale heterogeneous data[J]. Big Data Research, 2020, 6(4): 18-29.

图/表 8

图1

图2

图3

表1

图4

图5

图6

图7

参考文献 14

[1]	DAVOUDIAN A , LIU C , LIU M C . A survey on NoSQL stores[J]. ACM Computing Surveys, 2018,51(2): 1-43.
[2]	SHARMA S , SHANDILYA R , PATNAIK S ,et al. Leading NoSQL models for handling big data:a brief review[J]. International Journal of Business Information Systems, 2016,22(1): 1-25.
[3]	陈民峰 . 国产数据库管理系统应用的研究与探讨[J]. 计算机应用, 2003,23(z2): 39-42.
	CHEN M F . Research and discussion on the application of domestic database management system[J]. Journal of Computer Applications, 2003,23(z2): 39-42.
[4]	IDC. Data age 2025,the digitization of the world from edge to core[R]. 2018.
[5]	STONEBRAKER M , CETINTEMEL U . One size fits all:an idea whose time has come and gone[C]// The 21st International Conference on Data Engineering. Piscataway:IEEE Press, 2005.
[6]	CODD E F . A relational model of data for large shared data banks[J]. Communications of the ACM, 1970,13(6): 377-387.
[7]	DEWITT D J , GHANDEHARIZADEH S , SCHNEIDER D A ,et al. The Gamma database machine project[J]. IEEE Transactions on Knowledge ＆ Data Engineering, 1990,2(1): 44-62.
[8]	DEAN J , GHEMAWAT S . MapReduce:simplified data processing on large clusters[J]. Communications of the ACM, 2008,51(1): 107-113.
[9]	KORNACKER M , BEHM A , BITTORF V ,et al. Impala:a modern,open-source SQL engine for Hadoop[C]// Conference on Innovative Data Systems Research.[S.l.:s.n. ], 2015.
[10]	ZAHARIA M , CHOWDHURY M , DAS T ,et al. Resilient distributed datasets:a fault-tolerant abstraction for in-memory cluster computing[C]// The 9th USENIX Conference on Networked Systems Design and Implementation. Berkeley:USENIX Association, 2012.
[11]	ALEXANDROV A , BERGMANN R , EWEN S ,et al. The stratosphere platform for big data analytics[J]. VLDB Journal, 2014,23(6): 939-964.
[12]	DONALD F , ADAM R . Hype cycle for data management[Z]. 2019.
[13]	孙元浩 . 大数据进入3.0时代[J]. 信息技术与标准化, 2019(5): 94-104.
	SUN Y H . Big data enters 3.0 era[J]. Information Technology ＆ Standardization, 2019(5): 94-104.
[14]	刘汪根, 孙元浩 . 大数据3.0——后Hadoop时代大数据的核心技术[J]. 数据与计算发展前沿, 2019,1(1): 94-104.
	LIU W G , SUN Y H . Big data 3.0,the key technologies of big data in post-Hadoop era[J]. Frontiers of Data and Computing, 2019,1(1): 94-104.

技术点	基于MPP的计算引擎	基于DAG的统一的数据计算引擎
计算优化	单机执行速度快，侧重节点域存储与计算优化，全局计算任务优化困难	有全局的元数据信息，可以更好地协调执行器之间的数据通信、任务启停，支持集群域全局优化
容错性	依赖各个节点完成任务切分	任务设计简单、有幂等性
数据通信性能	依赖数据分布减少数据通信的性能损耗，不灵活	依赖全局的数据元信息减少通信的性能损耗，更加灵活
核心优势	优化器成熟，本地执行性能更好	灵活性、容错性更高，能够更好地减少数据通信消耗
劣势	总体性能依赖业务特性和数据分布	开发接口标准语法支持程度、优化器等仍需持续提升和改进

大规模异构数据并行处理系统的设计、实现与实践

Design,implementation and practice of parallel processing system for a large-scale heterogeneous data

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 14

相关文章 2

Metrics

推荐阅读 0

[1]	陈世超, 崔春雨, 张华, 马戈, 朱凤华, 商秀芹, 熊刚. 制造业生产过程中多源异构数据处理方法综述[J]. 大数据, 2020, 6(5): 55-81.
[2]	许洪波, 陈波. 面向国防安全的网络大数据分析与应用系统[J]. 大数据, 2015, 1(4): 29-37.