面向多星多任务的大数据处理系统设计

doi:10.11959/j.issn.2096-0271.2021045

大数据 ›› 2021, Vol. 7 ›› Issue (5): 3-16.doi: 10.11959/j.issn.2096-0271.2021045

• 专题：国产环境下的大数据处理系统 • 上一篇下一篇

面向多星多任务的大数据处理系统设计

马福利¹, 石涛², 陈玲¹, 郑岩¹, 熊森林¹

¹ 中国科学院国家空间科学中心，北京 100190
² 中国科学院空天信息创新研究院，北京 100094

出版日期:2021-09-15 发布日期:2021-09-01
作者简介:马福利（1986- ），男，中国科学院国家空间科学中心高级工程师，主要研究方向为卫星地面数据处理技术、大数据计算与存储技术
石涛（1982- ），男，中国科学院空天信息创新研究院副研究员，主要研究方向为卫星地面数据处理技术和卫星数据地面处理系统
陈玲（1987- ），女，中国科学院国家空间科学中心项目高级工程师，主要研究方向为卫星地面数据处理技术
郑岩（1983- ），男，中国科学院国家空间科学中心高级工程师，主要研究方向为大数据环境下的融合计算存储技术和通信网络技术
熊森林（1988- ），男，博士，中国科学院国家空间科学中心助理研究员，主要研究方向为空间物理学、卫星地面数据处理与管理技术

Design of big data processing system supporting multi-satellites and multi-tasks

Fuli MA¹, Tao SHI², Ling CHEN¹, Yan ZHENG¹, Senlin XIONG¹

¹ National Space Science Center, Chinese Academy of Sciences, Beijing 100190, China
² Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, China

Online:2021-09-15 Published:2021-09-01

摘要/Abstract

摘要：

随着我国发射的空间科学卫星越来越多，科学数据量爆发式增长，空间科学卫星大数据处理逐渐成为空间科学创新发展过程中被重点关注的环节，建设一套高性能的地面数据处理系统是建设我国自主可控的空间科学大数据生态、助力科学成果产出的重要推手。面向多星多任务并行处理的任务需求，针对空间科学卫星大数据处理中的多分级分类、多源产品融合组织以及高时效性要求等特点，提出了适用于大数据处理业务场景的高可靠硬件环境设计方案，并针对科学卫星处理任务类型多的特点，提出了基于任务类型感知的统一资源调度系统。完成了面向多星多任务的可扩展地面大数据处理系统的研制，支撑了中国科学院空间科学先导专项中的科学卫星数据处理任务。

关键词: 科学卫星, 大数据, 可扩展, 地面处理系统

Abstract:

With more and more space science satellites were launched in China, the scientific data amount has grown explosively, and the resulting space science satellite big data processing has gradually become a key link in the development of space science innovation.A high-performance ground data processing system is an important driver for promoting the construction of Chinese controllable space science big data ecology and boosting the output of scientific results.Aiming at the characteristics of multi-level classification, multi-source product integration organization and high timeliness requirements in space science satellite data processing, and for the task requirements of multi-satellite and multi-task parallel processing, a high-reliability hardware system design suitable for big data processing business scenarios was proposed, and a unified resource scheduling system based on task type perception was proposed according to the characteristics of scientific satellite processing tasks.Based on these designs, the development of a space science big data scalable ground big data processing system was completed, which had successfully supported the data processing tasks for space science missions from Chinese Academy of Sciences.

Key words: scientific satellite, big data, scalable, ground processing system

中图分类号:

V557

马福利, 石涛, 陈玲, 郑岩, 熊森林. 面向多星多任务的大数据处理系统设计[J]. 大数据, 2021, 7(5): 3-16.

Fuli MA, Tao SHI, Ling CHEN, Yan ZHENG, Senlin XIONG. Design of big data processing system supporting multi-satellites and multi-tasks[J]. Big Data Research, 2021, 7(5): 3-16.

图/表 8

图1

图2

图3

图4

图5

图6

图7

图8

参考文献 13

[1]	陈世荣, 严立, 申佩佩 . 高分遥感卫星影像预处理系统的设计和实现[J]. 测绘与空间地理信息, 2021,44(3): 1-3.
	CHEN S R , YAN L , SHEN P P . Design and implements of high-resolution satellite image preprocessing system[J]. Geomatics ＆Spatial Information Technology, 2021,44(3): 1-3.
[2]	刘定生, 陈元伟, 李景山 . 遥感卫星地面预处理系统技术发展模式探讨[J]. 遥感信息, 2008,23(5): 87-91.
	LIU D S , CHEN Y W , LI J S . The study on the development patterns of remote sensing satellite ground pre-processing systems[J]. Remote Sensing Information, 2008,23(5): 87-91.
[3]	MOSES J F , . Architectures toward reusable science data systems[C]// Proceedings of the AGU Fall Meeting.[S.l:s.n.], 2014.
[4]	钱建梅, 孙安来, 徐喆 ,等. 风云气象卫星数据存档与服务系统[J]. 应用气象学报, 2012,23(3): 369-376.
	QIAN J M , SUN A L , XU Z ,et al. Fengyun series meteorological satellite data archiving and service system[J]. Journal of Applied Meteorological Science, 2012,23(3): 369-376.
[5]	赵现纲, 林曼筠, 谢利子 ,等. 风云卫星地面应用系统计算机网络平台架构[J]. 气象科技进展, 2020,10(3): 43-48.
	ZHAO X G , LIN M J , XIE L Z ,et al. Computer network system of FY satellite ground segment[J]. Advances in Meteorological Science and Technology, 2020,10(3): 43-48.
[6]	李盛阳, 刘志文, 张万峰 ,等. 天宫二号应用任务地面数据处理与服务系统[J]. 中国科学:技术科学, 2020,50(8): 1066-1080.
	LI S Y , LIU Z W , ZHANG W F ,et al. Tiangong-2 application mission ground data processing and service system[J]. Scientia Sinica Technologica, 2020,50(8): 1066-1080.
[7]	BENKHOFF J , CASTEREN J V , HAYAKAWA H ,et al. BepiColombocomprehensive exploration of mercury:mission overview and science goals[J]. Planetary and Space Science, 2010,58(1-2): 2-20.
[8]	D’AMORE M , J?RN H , MATURILLI A ,et al. BepiColombo/MERTIS data processing pipeline at DLR[C]// Proceedings of the EGU General Assembly 2016.[S.l:s.n.], 2016.
[9]	DAMPE C . Direct detection of a break in the teraelectronvolt cosmic-ray spectrum of electrons and positrons[J]. Nature, 2017,552(7683): 63-66.
[10]	LIAO S K , CAI W Q , LIU W Y ,et al. Satelliteto-ground quantum key distribution[J]. Nature, 2017,549(7670): 43-47.
[11]	LIAO S K , YONG H L , LIU C ,et al. Long-distance free-space quantum key distribution in daylight towards intersatellite communication[J]. Nature Photonics, 2017,11(8): 509-513.
[12]	YIN J , CAO Y , LI Y H ,et al. Satellitebased entanglement distribution over 1200 kilometers[J]. Science, 2017,356(6343): 1140-1144.
[13]	LI T P , XIONG S L , ZHANG S N ,et al. Insight-HXMT observations of the first binary neutron star merger GW170817[J]. Science China Physics,Mechanics ＆Astronomy, 2017,61(3): 1-8.

[1]	钱海红, 王茂异, 熊贇. 高等教育数字化转型的现状与发展研究[J]. 大数据, 2023, 9(3): 56-70.
[2]	梅宏, 杜小勇, 金海, 程学旗, 柴云鹏, 石宣化, 靳小龙, 王亚沙, 刘驰. 大数据技术前瞻[J]. 大数据, 2023, 9(1): 1-20.
[3]	沈阳, 余梦珑. 元宇宙与大数据：时空智能中的数据洞察与价值连接[J]. 大数据, 2023, 9(1): 103-110.
[4]	郑童哲恒, 李斌, 冯敏萱, 常博林, 王东波. 历史典籍的结构化探索——《史记·列传》数字人文知识库的构建与可视化研究[J]. 大数据, 2022, 8(6): 40-55.
[5]	陈静. 人文大数据及其在数字人文领域中的应用[J]. 大数据, 2022, 8(6): 3-14.
[6]	罗煜楚, 吴昊, 郭宇涵, 谭绍聪, 刘灿, 蒋瑞珂, 袁晓如. 数字人文中的可视化[J]. 大数据, 2022, 8(6): 74-93.
[7]	李汶龙, 袁媛, 安筱鹏. 刍议大数据治理的三大基础思维[J]. 大数据, 2022, 8(4): 34-45.
[8]	汤奇峰, 邵志清, 叶雅珍. 数据交易中的权利确认和授予体系[J]. 大数据, 2022, 8(3): 40-53.
[9]	王陈慧子, 蔡玮. 元宇宙数字经济：现状、特征与发展建议[J]. 大数据, 2022, 8(3): 140-150.
[10]	杨玫, 李玮, 乔思渊, 刘巍. 中国大数据产业产值测算方法研究[J]. 大数据, 2022, 8(3): 151-160.
[11]	李德仁, 张过, 蒋永华, 沈欣, 刘伟玲. 论大数据视角下的地球空间信息学的机遇与挑战[J]. 大数据, 2022, 8(2): 3-14.
[12]	仇晓兰, 胡玉新, 上官松涛, 付琨. 遥感卫星大数据高精度一体化处理技术[J]. 大数据, 2022, 8(2): 15-27.
[13]	刘伟权, 王程, 臧彧, 胡倩, 于尚书, 赖柏锜. 基于遥感大数据的信息提取技术综述[J]. 大数据, 2022, 8(2): 28-57.
[14]	刘建强, 叶小敏, 兰友国. 我国海洋卫星遥感大数据及其应用服务[J]. 大数据, 2022, 8(2): 75-88.
[15]	杨何群, 王晓峰, 高彦青, 陆一闻, 麻炳欣, 王昕瑶. 数值天气预报对卫星大数据的需求分析[J]. 大数据, 2022, 8(2): 89-102.

面向多星多任务的大数据处理系统设计

Design of big data processing system supporting multi-satellites and multi-tasks

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 13

相关文章 15

Metrics

推荐阅读 0