大数据 ›› 2020, Vol. 6 ›› Issue (3): 117-128.doi: 10.11959/j.issn.2096-0271.2020028

• 专题:面向大数据处理的数据流计算技术 • 上一篇    

数据流技术在GPU和大数据处理中的应用

苏华友(),梅松竹,李荣春,窦勇   

  1. 国防科技大学计算机学院,湖南 长沙 410073
  • 出版日期:2020-05-15 发布日期:2020-05-15
  • 作者简介:苏华友(1985- ),男,博士,国防科技大学计算机学院并行与分布处理国防科技重点实验室助理研究员,主要研究方向为高性能计算和并行优化|梅松竹(1984- ),男,博士,国防科技大学计算机学院并行与分布处理国防科技重点实验室助理研究员,主要研究方向为大数据分析及其性能优化|李荣春(1985- ),男,博士,国防科技大计算机学院并行与分布处理国防科技重点实验室副研究员,主要研究方向为深度学习、强化学习与高性能计算|窦勇(1966- ),男,博士,国防科技大计算机学院并行与分布处理国防科技重点实验室研究员、常务副主任,主要研究方向为深度学习、高性能计算、可重构计算等
  • 基金资助:
    国家重点研发计划基金资助项目(2018YFB1003400)

The usage of dataflow model in GPU and big data processing

Huayou SU(),Songzhu MEI,Rongchun LI,Yong DOU   

  1. School of Computer,National University of Defense Technology,Changsha 410073,China
  • Online:2020-05-15 Published:2020-05-15
  • Supported by:
    The National Key Research and Development Program of China(2018YFB1003400)

摘要:

数据流模型是一种高效的计算模型,由于其在并行性方面具有天然的优势,数据流技术在软硬件领域得到了广泛的应用。在硬件体系结构方面,数据流模型引领计算机体系结构在传统冯·诺伊曼架构下向支持更高并发的方向发展。基于超长向量处理单元的流处理和SIMT的现代GPU就广泛使用了数据流技术的思想。在编程模型方面,数据流思想在大数据编程模型领域得到了广泛应用,例如MapReduce和Spark等。从数据流模型的角度多层次分析了英伟达GPU的体系结构以及CUDA编程模型,阐述了数据流模型在GPU软硬件系统中的应用。分析了数据流思想和GPU大规模并行处理体系结构在大数据处理中的应用和发展趋势。

关键词: 数据流, GPU, 大数据处理

Abstract:

Dataflow model is an efficient computing model.It has been widely used in software and hardware fields due to its natural advantages in parallelism.In terms of hardware architecture,the dataflow model leads the computer architecture to the direction of supporting higher concurrency from the traditional von Neumann architecture.The stream processor based on the long vector processing unit and the SIMT GPU are two instances of using dataflow technology.In terms of programming models,dataflow ideas have been widely used in the field of big data programming models,such as MapReduce and Spark.The architecture of NVIDIA GPU and CUDA programming model were analyzed from the perspective of dataflow model.The applying and trend of dataflow and GPU were analyzed in big data processing,and ideas and methods were provided for applying GPU-based systems to the field of big data processing.

Key words: dataflow, GPU, big data processing

中图分类号: 

No Suggested Reading articles found!