Hadoop下水环境模拟集群运算模式

doi:10.11959/j.issn.2096-0271.2019051

大数据 ›› 2019, Vol. 5 ›› Issue (6): 73-84.doi: 10.11959/j.issn.2096-0271.2019051

Hadoop下水环境模拟集群运算模式

马金锋¹,唐力²,饶凯锋¹,洪纲³,马梅^1,⁴

¹ 中国科学院饮用水科学与技术重点实验室（中国科学院生态环境研究中心），北京 100085
² 深圳市环境监测中心站，广东深圳 518057
³ 石家庄市环境信息中心，河北石家庄 050051
⁴ 中国科学院大学资源与环境学院，北京 100190

出版日期:2019-11-15 发布日期:2020-01-10
作者简介:马金锋（1978- ），男，中国科学院饮用水科学与技术重点实验室（中国科学院生态环境研究中心）助理研究员，主要研究方向为水环境数值模拟|唐力（1967- ），男，深圳市环境监测中心站高级工程师，主要研究方向为环境监测|饶凯锋（1976- ），男，中国科学院饮用水科学与技术重点实验室（中国科学院生态环境研究中心）助理研究员，主要研究方向为水生态毒理学、环境预警监测与物联网|洪纲（1974- ），男，石家庄市环境信息中心高级工程师，主要研究方向为环境大数据、环境监测与管理|马梅（1967- ），女，中国科学院饮用水科学与技术重点实验室（中国科学院生态环境研究中心）研究员，主要研究方向为水生态毒理学
基金资助:
国家自然科学基金资助项目(51209194);中国科学院前沿科学重点研究计划项目(QYZDY-SSW-DQC004);广东省省级科技计划基金资助项目(2016B02024007)

Cluster computing mode for water environment simulation based on Hadoop

Jinfeng MA¹,Li TANG²,Kaifeng RAO¹,Gang HONG³,Mei MA^1,⁴

¹ Key Laboratory of Drinking Water Science and Technology,Research Center for Eco-Environmental Sciences,Chinese Academy of Sciences,Beijing 100085,China
² Shenzhen Environment Monitoring Center,Shenzhen 518057,China
³ Shijiazhuang Environmental Information Center,Shijiazhuang 050051,China
⁴ College of Resources and Environment University of Chinese Academy of Sciences,Beijing 100190,China

Online:2019-11-15 Published:2020-01-10
Supported by:
The National Natural Science Foundation of China(51209194);Frontier Science Key Program of the Chinese Academy of Sciences(QYZDY-SSW-DQC004);Science and Technology Planning Project of Guangdong Province(2016B02024007)

摘要/Abstract

摘要：

水环境数值模型是模拟、分析及预测水体中物质迁移转化过程及其效应的有效工具。水环境模型的高性能批量计算是当前水环境模拟研究的热点。大数据技术中的分布式集群计算模式为水环境模拟批量计算提供一种可行的解决方案。探索了水环境数值模型在大数据分布式计算框架下的适应性，提出了一种适用于水环境模拟的大数据分布式集群运算模式，并通过实例验证了该运算模式的可行性。

关键词: 水环境模拟, 集群运算, 大数据, Hadoop

Abstract:

Water environment numerical models are effective tools for the simulation,analysis and prediction of the processes of pollutant transport and transformation in water.The development of high-performance batch computation of water environment models has long been a hot topic.The distributed cluster computing mode based on big data technology is a promising approach for massive data management and batch computation,which provides a viable solution to large-scale water environment simulations.The adaptability of water environmental models under the framework of big data technology was explored,and a distributed cluster computing mode for water environment simulations was proposed.Moreover,the feasibility of adapting Delft3D model for cluster computing under Hadoop MapReduce environment was verified with real examples.

Key words: water environment simulation, cluster calculation, big data, Hadoop

中图分类号:

TP311

马金锋, 唐力, 饶凯锋, 洪纲, 马梅. Hadoop下水环境模拟集群运算模式[J]. 大数据, 2019, 5(6): 73-84.

Jinfeng MA, Li TANG, Kaifeng RAO, Gang HONG, Mei MA. Cluster computing mode for water environment simulation based on Hadoop[J]. Big Data Research, 2019, 5(6): 73-84.

图/表 9

图1

图2

图3

表1

图4

图5

图6

图7

图8

参考文献 17

[1]	陈永灿, 刘昭伟, 朱德军 . 水动力及水环境模拟方法与应用[M]. 北京: 科学出版社, 2012.
	CHEN Y C , LIU Z W , ZHU D J . Hydrodynamic and water environment simulation methods and applications[M]. Beijing: Science PressPress, 2012.
[2]	彭泽洲, 杨天行, 梁秀娟 . 水环境数学模型及其应用[M]. 北京: 化学工业出版社, 2007: 98-103.
	PENG Z Z , YANG T X , LIANG X J . Mathematical model of water environment and its application[M]. Beijing: Chemical Industry PressPress, 2007.
[3]	NGUYEN T T , KEUPERS I , WILLEMS P . Conceptual river water quality model with flexible model structure[J]. Environmental Modelling ＆ Software, 2018,104: 102-117.
[4]	MELCHING C S . Application of a water quality model for determining instream aeration station location and operational rules:a case study[J]. Water Science and Engineering, 2018,11(1): 8-16.
[5]	KEUPERS I , WILLEMS P . Development and testing of a fast conceptual river water quality model[J]. Water Research, 2017,113: 62-71.
[6]	REDER K , ALCAMO J , FLORKE M . A sensitivity and uncertainty analysis of a continental-scale water quality model of pathogen pollution in African rivers[J]. Ecological Modelling, 2017,351: 129-139.
[7]	贾仰文, 王浩, 严登华 . 黑河流域水循环系统的分布式模拟(Ⅰ)-模型开发与验证[J]. 水利学报, 2006(5): 534-542.
	JIA Y W , WANG H , YAN D H . Distributed model of hydrological cycle system in Heihe River basin Ⅰ-model development and verification[J]. Journal of Hydraulic Engineering, 2006(5): 534-542.
[8]	王永桂 . 流域大尺度水环境模型的高效能集群计算方法研究及其在三峡库区的应用[D]. 武汉:武汉大学, 2015.
	WANG Y G . Research on high productivity cluster computing technology of large scale water environment model and the application in the Three Gorges Area[D]. Wuhan:Wuhan University, 2015.
[9]	WANG H , FU X D , WANG G Q ,et al. A common parallel computing framework for modeling hydrological processes of river basins[J]. Parallel Computing, 2011,37(6): 302-315.
[10]	左一鸣, 崔广柏 . 二维水动力模型的并行计算研究[J]. 水科学进展, 2008,19(6): 846-850.
	ZUO Y M , CUI G B . Parallel computation for 2D flow model[J]. Advances in Water Science, 2008,19(6): 846-850.
[11]	许栋 PAyet D 及春宁 .等. 浅水方程大规模并行计算模拟城市洪水演进[J]. 天津大学学报(自然科学与工程技术版), 2016,49(4): 341-348.
	XU D , PAYET D , JI C N ,et al. Simulation of flood propagation in cities using large scale parallel computation of shallow water equations[J]. Journal of Tianjin University, 2016,49(4): 341-348.
[12]	靖争 . 湖泊水环境数值模拟及非静压水流并行计算方法研究[D]. 武汉:华中科技大学, 2017.
	JING Z . Numerical simulations of the lake water environment and parallel computations of the non-hydrostatic flows[D]. Wuhan:Huazhong University of Science and Technology, 2017.
[13]	赵旭东, 梁书秀, 孙昭晨 ,等. 基于GPU并行算法的水动力数学模型建立及其效率分析[J]. 大连理工大学学报, 2014,54(2): 204-209.
	ZHAO X D , LIANG S X , SUN Z C ,et al. Foundation and analysis of computational efficiency for hydrodynamic model based on GPU parallel algorithm[J]. Journal of Dalian University of Technology, 2014,54(2): 204-209.
[14]	宋利祥, 范光伟, 张文明 ,等. 洪水演进高速模拟系统设计与实现[J]. 水电能源科学, 2017,35(12): 33-36.
	SONG L X , FAN G W , ZHANG W M ,et al. Design and implementation of high speed simulation for flood routing[J]. Water Resources and Power, 2017,35(12): 33-36.
[15]	ZHANG D , CHEN X , YAO H ,et al. Moving SWAT model calibration and uncertainty analysis to an enterprise Hadoop-based cloud[J]. Environmental Modelling ＆Software, 2016,84(C): 140-148
[16]	WHITE T . Hadoop:the definitive guide[M]. Sebastopol: O’Reilly Media,Inc.Press, 2010.
[17]	MURTHY A , VAVILAPALLI V , EADLINE D ,et al. Apache Hadoop YARN[M]. Boston: Addison-WesleyPress, 2014.

机器名	硬件配置	集群中角色
Master	HP ProLiant DL580 g7，32核， 2.67 GHz，内存64 GB，硬盘容量900 GB	NameNode、JobTracker
Master2	HP ProLiant DL580 g7，32核， 2.67 GHz，内存64 GB，硬盘容量900 GB	Secondary NameNode
s200～s204	ThinkCentre M8411t，8核，3.4 GHz，内存32 GB，硬盘容量2 TB	DataNode、TaskTracker

Hadoop下水环境模拟集群运算模式

Cluster computing mode for water environment simulation based on Hadoop

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 17

相关文章 15

Metrics

推荐阅读 0

[1]	钱海红, 王茂异, 熊贇. 高等教育数字化转型的现状与发展研究[J]. 大数据, 2023, 9(3): 56-70.
[2]	梅宏, 杜小勇, 金海, 程学旗, 柴云鹏, 石宣化, 靳小龙, 王亚沙, 刘驰. 大数据技术前瞻[J]. 大数据, 2023, 9(1): 1-20.
[3]	沈阳, 余梦珑. 元宇宙与大数据：时空智能中的数据洞察与价值连接[J]. 大数据, 2023, 9(1): 103-110.
[4]	郑童哲恒, 李斌, 冯敏萱, 常博林, 王东波. 历史典籍的结构化探索——《史记·列传》数字人文知识库的构建与可视化研究[J]. 大数据, 2022, 8(6): 40-55.
[5]	陈静. 人文大数据及其在数字人文领域中的应用[J]. 大数据, 2022, 8(6): 3-14.
[6]	罗煜楚, 吴昊, 郭宇涵, 谭绍聪, 刘灿, 蒋瑞珂, 袁晓如. 数字人文中的可视化[J]. 大数据, 2022, 8(6): 74-93.
[7]	李汶龙, 袁媛, 安筱鹏. 刍议大数据治理的三大基础思维[J]. 大数据, 2022, 8(4): 34-45.
[8]	汤奇峰, 邵志清, 叶雅珍. 数据交易中的权利确认和授予体系[J]. 大数据, 2022, 8(3): 40-53.
[9]	王陈慧子, 蔡玮. 元宇宙数字经济：现状、特征与发展建议[J]. 大数据, 2022, 8(3): 140-150.
[10]	杨玫, 李玮, 乔思渊, 刘巍. 中国大数据产业产值测算方法研究[J]. 大数据, 2022, 8(3): 151-160.
[11]	李德仁, 张过, 蒋永华, 沈欣, 刘伟玲. 论大数据视角下的地球空间信息学的机遇与挑战[J]. 大数据, 2022, 8(2): 3-14.
[12]	仇晓兰, 胡玉新, 上官松涛, 付琨. 遥感卫星大数据高精度一体化处理技术[J]. 大数据, 2022, 8(2): 15-27.
[13]	刘伟权, 王程, 臧彧, 胡倩, 于尚书, 赖柏锜. 基于遥感大数据的信息提取技术综述[J]. 大数据, 2022, 8(2): 28-57.
[14]	刘建强, 叶小敏, 兰友国. 我国海洋卫星遥感大数据及其应用服务[J]. 大数据, 2022, 8(2): 75-88.
[15]	杨何群, 王晓峰, 高彦青, 陆一闻, 麻炳欣, 王昕瑶. 数值天气预报对卫星大数据的需求分析[J]. 大数据, 2022, 8(2): 89-102.