大数据 ›› 2021, Vol. 7 ›› Issue (2): 101-122.doi: 10.11959/j.issn.2096-0271.2021016

• 专题:高性能计算虚拟数据空间 • 上一篇    下一篇

面向国家高性能计算环境的虚拟数据空间系统

秦广军1, 肖利民2,3, 张广艳4, 牛北方5,6, 陈志广7   

  1. 1 北京联合大学智慧城市学院,北京 100101
    2 北京航空航天大学计算机学院,北京 100191
    3 软件开发环境国家重点实验室,北京 100191
    4 清华大学计算机科学与技术系,北京 100084
    5 中国科学院计算机网络信息中心,北京 100190
    6 中国科学院大学,北京 100190
    7 中山大学计算机学院,广东 广州 510006
  • 出版日期:2021-03-15 发布日期:2021-03-01
  • 作者简介:秦广军(1977- ),男,博士,北京联合大学智慧城市学院讲师,中国计算机学会会员,主要研究方向为高性能计算、存储系统、大数据和机器学习等。作为项目骨干参与了国家863计划项目、国家重点研发计划项目、国家自然科学基金项目、北京市自然科学基金项目等。
    肖利民(1970- ),男,博士,北京航空航天大学计算机学院教授、博士生导师,计算机科学技术系主任,计算机系统结构研究所副所长,中国计算机学会大数据专家委员会委员、高性能计算专业委员会常务委员、容错计算专业委员会委员,中国电子学会云计算专家委员会委员,国家计算机科学技术名词审定委员会委员,国家科技基础条件平台专家组成员,工业和信息化部电子科学技术委员会委员,中国工程院中国信息与电子工程科技发展战略研究中心专家委员会特聘专家。主要研究方向为计算机体系结构、计算机软件系统、高性能计算、云计算、虚拟化技术等。先后获得国家科技进步奖二等奖、北京市科学技术奖一等奖、中国科学院科技进步奖一等奖、原信息产业部信息产业重大技术发明奖、科技部国家重点新产品奖等国家级和省部级科技奖励。
    张广艳(1976- ),男,博士,清华大学计算机系长聘副教授、博士生导师,主要从事大数据存储与分析的理论和方法研究,包括大数据计算、存储系统与分布式处理等方面。研究得到了国家杰出青年科学基金项目、国家重点研发计划项目、国家973项目和国家863项目等的支持。近年来提出了大规模存储系统构建及访问的方法与关键技术,有效提高了存储系统的性能、扩展性和可用性。发表学术论文40余篇,其中在FAST、USENIX ATC、ACM TOS、IEEE TC、IEEE TPDS等计算机系统领域高水平国际会议和期刊发表论文20余篇。近五年以第一发明人获得美国发明专利授权1项、中国发明专利授权7项。
    牛北方(1978- ),男,博士,中国科学院计算机网络信息中心研究员,中国科学院大学岗位教授、博士生导师。中国计算机学会高性能计算专业委员会委员。主要研究方向为高性能计算、数据分析算法与软件技术。
    陈志广(1984- ),男,博士,中山大学计算机学院副教授,主要研究方向为大数据存储与处理、并行与分布式计算、高性能计算与超级计算机。
  • 基金资助:
    国家重点研发计划资助项目(2018YFB0203901)

Virtual data space system for national highperformance computing environment

Guangjun QIN1, Limin XIAO2,3, Guangyan ZHANG4, Beifang NIU5,6, Zhiguang CHEN7   

  1. 1 Smart City College, Beijing Union University, Beijing 100101, China
    2 School of Computer Science and Engineering, Beihang University, Beijing 100191, China
    3 State Key Laboratory of Software Development Environment, Beijing 100191, China
    4 Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China
    5 Computer Network Information Center, Chinese Academy of Sciences, Beijing 100190, China
    6 University of Chinese Academy of Sciences, Beijing 100190, China
    7 School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, China
  • Online:2021-03-15 Published:2021-03-01
  • Supported by:
    The National Key Research and Development Program of China(2018YFB0203901)

摘要:

高性能计算环境是支撑国家科技创新、经济发展、国防建设的核心信息基础设施,世界高性能计算强国纷纷建设基于多超算中心资源的广域高性能计算环境。然而,高性能计算环境中资源种类繁多且地域分布广,无法有效发挥资源的聚合效应,难以满足大型应用对广域分布数据的统一管理和高效访问需求。为此,提出了一套可用于构建广域全局虚拟数据空间的完整技术体系,包括虚拟数据空间模型、跨域虚拟数据空间构建、广域环境中数据高效迁移、广域环境中存算协同调度、跨域高并发数据聚合处理等技术,并研发了一个可运行于国家高性能计算环境的虚拟数据空间系统,可有效支撑广域分散异构存储资源的统一高效访问,实现广域环境中分布数据的跨域共享和协同处理。目前,该软件系统已在国家高性能计算环境实验性部署,并验证了分子对接、全基因组关联分析、天气预报模式3类典型大型应用。验证结果表明,所研虚拟数据空间构建方法和系统可有效聚合广域分散的存储资源,满足大型应用的数据空间需求。

关键词: 高性能计算环境, 大型计算问题, 虚拟数据空间, 广域分布式存储, 统一命名空间

Abstract:

High-performance computing (HPC) environment is the core information infrastructure supporting national scientific and technological innovation, economic development and national defense construction.High-performance computing powers around the world have been building wide-area HPC environments based on multi-supercomputing center resources.However, in the high-performance computing environment, there are many kinds of resources and wide geographical distribution, which cannot effectively exert the aggregation effect of resources, and it is difficult to meet the requirements of large-scale applications for unified management and efficient access to wide-area distributed data.To this end, a complete set of technologies were proposed, which could be used to build wide-area global virtual data space, including virtual data space model, cross-domain virtual data space constructing, efficiently migrating data in a wide-area environment, co-scheduling of storage resources and computing job and cross-domain high concurrency data aggregation processing, etc.Based on the above, a virtual data space system has been developed for the national high-performance computing environment (NHPCE), which can effectively support the unified and efficient access to the wide area distributed heterogeneous storage resources, and the distributed data in the wide-area environment can be shared and cooperative processed in a cross-domain manner.At present, the system was experimental deployed in NHPCE and three typical large-scale applications, such as molecular docking, genome-wide association study and weather forecasting model, have been verified.The verification results show that the developed technology and software system can effectively aggregate the wide area distributed storage resources and meet the data space requirements of large-scale applications.

Key words: high-performance computing environment, large-scale computing problem, virtual data space, wide-area distributed storage, unified namespace

中图分类号: 

No Suggested Reading articles found!