国家高性能计算环境的虚拟数据空间运行支撑技术研究

doi:10.11959/j.issn.2096-0271.2021019

大数据 ›› 2021, Vol. 7 ›› Issue (2): 158-171.doi: 10.11959/j.issn.2096-0271.2021019

• 专题：高性能计算虚拟数据空间 • 上一篇下一篇

国家高性能计算环境的虚拟数据空间运行支撑技术研究

何小雨¹^,², 邓笋根¹, 栾海晶¹^,², 牛北方¹^,²

¹ 中国科学院计算机网络信息中心，北京 100190
² 中国科学院大学，北京 100190

出版日期:2021-03-15 发布日期:2021-03-01
作者简介:何小雨（1990- ），女，中国科学院计算机网络信息中心高性能计算技术与应用发展部、中国科学院大学博士生，主要研究方向为高性能计算、机器学习等。
邓笋根（1975- ），男，中国科学院计算机网络信息中心高性能计算技术与应用发展部高级工程师，主要研究方向为高性能计算软件、算法分析等。
栾海晶（1996- ），女，中国科学院计算机网络信息中心高性能计算技术与应用发展部、中国科学院大学硕士生，主要研究方向为高性能计算和深度学习。
牛北方（1978- ），男，博士，中国科学院计算机网络信息中心研究员，中国科学院大学岗位教授、博士生导师。中国计算机学会高性能计算专业委员会委员。主要研究方向为高性能计算、数据分析算法与软件技术。
基金资助:
国家重点研发计划资助项目(2018YFB0203903)

Study of technique support on the operation of virtual data space in national high performance computing environment

Xiaoyu HE¹^,², Sungen DENG¹, Haijing LUAN¹^,², Beifang NIU¹^,²

¹ Computer Network Information Center, Chinese Academy of Sciences, Beijing 100190, China
² University of Chinese Academy of Sciences, Beijing 100190, China

Online:2021-03-15 Published:2021-03-01
Supported by:
The National Key Research and Development Program of China(2018YFB0203903)

摘要/Abstract

摘要：

国家高性能计算环境的特点是广域分散、系统异构、存储资源隔离自治，这对存储设备管理、数据跨域共享等提出了极大的挑战。首先阐述了虚拟数据空间系统的概念，然后分析了其作为国家高性能计算环境的一部分，如何通过视图访问、数据共享、计算环境对接有效降低跨域的访问开销；接着通过模块化方式将虚拟数据空间系统与国家高性能计算环境进行深度的融合，将其功能补充到国家高性能计算环境中；最后通过统一的虚实空间用户管理框架实现了跨域统一、透明安全的存储服务和对大型计算应用的支撑，这对于国家高性能计算环境的发展具有十分重要的意义。

关键词: 虚拟数据空间系统, 国家高性能计算环境, 数据分布, 用户视图, 环境集成

Abstract:

The national high performance computing environment (NHPCE) is characterized by wide area dispersion, heterogeneous system and storage isolation autonomy, which posed great challenges to storage management and data sharing.Firstly, the concept of virtual data space system was described.Secondly, how the virtual data space system effectively reduce the cost of cross domain access through viewing-access, data sharing, computing environment docking , was analyzed.Thirdly, the virtual data space system were deeply integrated with the NHPCE by means of modularization and its functions were added to the NHPCE.Finally, the unified virtual and real space user management framework was used to achieve cross domain unified, transparent and secure storage service and the support of large-scale computing application, which is of great significance to the development of NHPCE.

Key words: virtual data space system, national high performance computing environment, data distribution, user view, environment integration

中图分类号:

TP31

何小雨, 邓笋根, 栾海晶, 牛北方. 国家高性能计算环境的虚拟数据空间运行支撑技术研究[J]. 大数据, 2021, 7(2): 158-171.

Xiaoyu HE, Sungen DENG, Haijing LUAN, Beifang NIU. Study of technique support on the operation of virtual data space in national high performance computing environment[J]. Big Data Research, 2021, 7(2): 158-171.

图/表 17

表1

表2

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

图11

图12

图13

图14

图15

参考文献 13

[1]	吴璨, 王小宁, 肖海力 ,等. 基于消息总线的高性能计算环境系统软件优化设计与实现[J]. 高技术通讯, 2020,30(3): 248-258.
	WU C , WANG X N , XIAO H L ,et al. Design and implement of middleware for high performance computing environment based on message bus[J]. Chinese High Technology Letters, 2020,30(3): 248-258.
[2]	王晓东, 赵一宁, 肖海力 ,等. 多节点系统异常日志流量模式检测方法[J]. 软件学报, 2020,31(10): 3295-3308.
	WANG X D , ZHAO Y N , XIAO H L ,et al. Multi-node system abnormal log flow mode detection method[J]. Journal of Software, 2020,31(10): 3295-3308.
[3]	和荣, 王小宁, 肖海力 . 高性能计算资源聚合服务在中国科技云门户的快速集成研究与实现[J]. 科研信息化技术与应用, 2019,10(3): 71-78.
	HE R , WANG X N , XIAO H L . Research and implementation of high performance computing resource aggregation service in CSTCloud portal[J]. e-Science Technology＆ Application, 2019,10(3): 71-78.
[4]	吴燦, 王小宁, 肖海力 ,等. 分布式消息系统研究综述[J]. 计算机科学, 2019,46(z1): 1-5,34.
	WU C , WANG X N , XIAO H L ,et al. Survey on distributed message system[J]. Computer Science, 2019,46(z1): 1-5,34.
[5]	吴燦, 王小宁, 肖海力 ,等. 高性能计算环境中间件的优化设计与实现[J]. 计算机应用研究, 2019,36(1): 163-167.
	WU C , WANG X N , XIA O H L ,et al. Design and implementation of high performance computing environment middleware[J]. Application Research of Computers, 2019,36(1): 163-167.
[6]	迟学斌 . 高性能计算环境与应用[J]. 国防科技工业, 2018(5): 21-22.
	CHI X B . High performance computing enviromment and applications[J]. Defence Science ＆ Technologg Industry, 2018(5): 21-22.
[7]	迟学斌 . 国家高性能计算环境发展报告(2002—2017年)[M]. 北京: 科学出版社, 2018.
	CHI X B . Development report on national high performance computing environment(2002—2017)[M]. Beijing: China Science Publishing ＆Media Ltd., 2018.
[8]	和荣, 王小宁, 卢莎莎 ,等. 高性能计算环境通用计算平台[J]. 计算机系统应用, 2019,28(12): 55-62.
	HE R , WANG X N , LU S S ,et al. Platform for high performance computing environment[J]. Computer Systems ＆Applications, 2019,28(12): 55-62.
[9]	胡正丁, 薛巍 . 面向异构众核超级计算机的大规模稀疏计算性能优化研究[J]. 大数据, 2020,6(4): 40-55.
	HU Z D , XUE W . Research on performance optimization for large-scale sparse computation over many-core heterogenous supercomputer[J]. Big Data Research, 2020,6(4): 40-55.
[10]	BIRD I G . LHC com puting (WLCG):past,present,and future[J]. Grid and Cloud Computing:Concepts and Practical Applications, 2016,192: 1.
[11]	FOATER I , KESSELM AN C . The grid:blueprint for a new computing infrastructure[M]. San Francisco: Morgan Kaufmann, 2004.
[12]	CHOLIA S , SKINNER D , BOVERHOF J . NEWT:a RESTful service for building high performance computing web applications[C]// 2010 Gateway Computing Environments Workshop(GCE). Piscataway:IEEE Press, 2010.
[13]	汤小春, 符莹, 丁朝 ,等. 数据流计算环境下的集群资源管理技术[J]. 大数据, 2020,6(3): 87-100.
	TANG X C , FU Y , DING Z ,et al. State-of-art research of cluster resource management in dataflow computing model[J]. Big Data Research, 2020,6(3): 87-100.

接口名称	接口描述	接口类型	请求URL	请求类别	请求说明	参数
vhpcs	查询高性能计算环境提供的HPC列表信息	REST	/resources/hpcs	GET	HPC信息查询	无
vapps	查询高性能计算环境提供的应用信息	REST	/resources/applications	GET	计算环境提供的应用信息查询	host：可选；字符串；表示计算环境中HPC的名称
vqueues	查询高性能计算环境中的应用可以使用的计算队列信息	REST	/resources/applications/{appName}	GET	appName表示应用的名字	host：可选；字符串；表示计算环境中HPC的名称
vjobs	查询高性能计算环境中的作业信息，包括所有已经提交的作业	REST	/jobs	GET	作业信息查询	host：字符串；表示计算环境中HPC的名称，被查询的作业在该HPC上计算任务

接口名称	接口描述	接口类型	请求URL	请求类别	请求说明	参数
vlu	查询虚拟数据空间用户信息	REST	/users/search/:name	GET	账户信息查询	账户名
vlg	虚拟数据空间用户组以区域为粒度，即一个区域内的主人和成员为一个用户组，区域主人具有增加/删除成员、修改/查询组的权限的功能	REST	/zone/share	POST	区域共享	区域名、账户名
		REST	/zone/sharecancel	POST	区域共享取消	区域名、账户名
		REST	/auth/modify	POST	区域权限修改	账户ID
		REST	/auth/search	POST	区域权限查询	账户ID
vmkuser	创建虚拟数据空间用户	REST	/users/registration	POST	账户注册	账户注册信息
vmoduser	修改虚拟数据空间用户信息	REST	/users/modify	POST	账户信息修改	账户名
vrsync	同步本地的数据与虚拟空间的数据，由于虚拟数据空间支持POSIX接口操作，故直接调用linux sync命令即可	-	-	-	同linux sync命令	同linux sync命令

[1]	任洪润, 朱扬勇. 数据管道模型：场外流式数据市场形态探索[J]. 大数据, 2023, 9(3): 15-28.
[2]	高玮军, 王凯. 基于联盟区块链的公益善款溯源系统研究[J]. 大数据, 2023, 9(3): 150-167.
[3]	罗超然, 马郓, 景翔, 黄罡. 数据空间基础设施的技术挑战及数联网解决方案[J]. 大数据, 2023, 9(2): 110-121.
[4]	贵向泉, 郭志礼, 杨裔, 秦炳峰. 基于区块链技术的旅游积分通兑系统设计[J]. 大数据, 2023, 9(2): 147-162.
[5]	叶雅珍, 朱扬勇. 数商：数据商品、数据商人和数据商业[J]. 大数据, 2023, 9(1): 111-125.
[6]	张伶俐, 褚琦凯, 王桂娟, 张巍瀚, 蒲慧, 宋振金, 吴亚东. 文本情感可视分析技术及其在人文领域的应用[J]. 大数据, 2022, 8(6): 56-73.
[7]	李爱黎, 张子帅, 林荫, 王秋菊, 杨建安, 孟炜程, 张岩峰. 基于社交网络大数据的民众情感监测研究[J]. 大数据, 2022, 8(6): 105-126.
[8]	夏正勋, 唐剑飞, 罗圣美, 张燕. 可信AI治理框架探索与实践[J]. 大数据, 2022, 8(4): 145-164.
[9]	叶雅珍, 朱扬勇. 盒装数据：一种基于数据盒的数据产品形态[J]. 大数据, 2022, 8(3): 15-25.
[10]	汤奇峰, 邵志清, 叶雅珍. 数据交易中的权利确认和授予体系[J]. 大数据, 2022, 8(3): 40-53.
[11]	张晓龙, 支龙, 高剑, 苗仲辰, 林越峰, 项雅丽, 熊贇. 一种半监督学习的金融新闻文本分类算法[J]. 大数据, 2022, 8(2): 134-144.
[12]	智峰, 田锋, 赵若凡. 计量科学大数据分级分类[J]. 大数据, 2022, 8(1): 60-72.
[13]	王永锋, 陈志广. 面向非易失性内存的持久索引数据结构研究综述[J]. 大数据, 2021, 7(6): 78-88.
[14]	马金锋, 饶凯锋, 李若男, 张京, 郑华. 水环境模型与大数据技术融合研究[J]. 大数据, 2021, 7(6): 103-119.
[15]	程耀东, 程垚松, 毕玉江, 高宇, 李海波, 汪璐, 姚秋玲. 基于国产处理器架构的高能物理数据处理系统[J]. 大数据, 2021, 7(5): 17-30.

国家高性能计算环境的虚拟数据空间运行支撑技术研究

Study of technique support on the operation of virtual data space in national high performance computing environment

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 13

相关文章 15

Metrics

推荐阅读 0