大数据 ›› 2019, Vol. 5 ›› Issue (6): 73-84.doi: 10.11959/j.issn.2096-0271.2019051

• 研究 • 上一篇    

Hadoop下水环境模拟集群运算模式

马金锋1,唐力2,饶凯锋1,洪纲3,马梅1,4   

  1. 1 中国科学院饮用水科学与技术重点实验室(中国科学院生态环境研究中心),北京 100085
    2 深圳市环境监测中心站,广东 深圳 518057
    3 石家庄市环境信息中心,河北 石家庄 050051
    4 中国科学院大学资源与环境学院,北京 100190
  • 出版日期:2019-11-15 发布日期:2020-01-10
  • 作者简介:马金锋(1978- ),男,中国科学院饮用水科学与技术重点实验室(中国科学院生态环境研究中心)助理研究员,主要研究方向为水环境数值模拟|唐力(1967- ),男,深圳市环境监测中心站高级工程师,主要研究方向为环境监测|饶凯锋(1976- ),男,中国科学院饮用水科学与技术重点实验室(中国科学院生态环境研究中心)助理研究员,主要研究方向为水生态毒理学、环境预警监测与物联网|洪纲(1974- ),男,石家庄市环境信息中心高级工程师,主要研究方向为环境大数据、环境监测与管理|马梅(1967- ),女,中国科学院饮用水科学与技术重点实验室(中国科学院生态环境研究中心)研究员,主要研究方向为水生态毒理学
  • 基金资助:
    国家自然科学基金资助项目(51209194);中国科学院前沿科学重点研究计划项目(QYZDY-SSW-DQC004);广东省省级科技计划基金资助项目(2016B02024007)

Cluster computing mode for water environment simulation based on Hadoop

Jinfeng MA1,Li TANG2,Kaifeng RAO1,Gang HONG3,Mei MA1,4   

  1. 1 Key Laboratory of Drinking Water Science and Technology,Research Center for Eco-Environmental Sciences,Chinese Academy of Sciences,Beijing 100085,China
    2 Shenzhen Environment Monitoring Center,Shenzhen 518057,China
    3 Shijiazhuang Environmental Information Center,Shijiazhuang 050051,China
    4 College of Resources and Environment University of Chinese Academy of Sciences,Beijing 100190,China
  • Online:2019-11-15 Published:2020-01-10
  • Supported by:
    The National Natural Science Foundation of China(51209194);Frontier Science Key Program of the Chinese Academy of Sciences(QYZDY-SSW-DQC004);Science and Technology Planning Project of Guangdong Province(2016B02024007)

摘要:

水环境数值模型是模拟、分析及预测水体中物质迁移转化过程及其效应的有效工具。水环境模型的高性能批量计算是当前水环境模拟研究的热点。大数据技术中的分布式集群计算模式为水环境模拟批量计算提供一种可行的解决方案。探索了水环境数值模型在大数据分布式计算框架下的适应性,提出了一种适用于水环境模拟的大数据分布式集群运算模式,并通过实例验证了该运算模式的可行性。

关键词: 水环境模拟, 集群运算, 大数据, Hadoop

Abstract:

Water environment numerical models are effective tools for the simulation,analysis and prediction of the processes of pollutant transport and transformation in water.The development of high-performance batch computation of water environment models has long been a hot topic.The distributed cluster computing mode based on big data technology is a promising approach for massive data management and batch computation,which provides a viable solution to large-scale water environment simulations.The adaptability of water environmental models under the framework of big data technology was explored,and a distributed cluster computing mode for water environment simulations was proposed.Moreover,the feasibility of adapting Delft3D model for cluster computing under Hadoop MapReduce environment was verified with real examples.

Key words: water environment simulation, cluster calculation, big data, Hadoop

中图分类号: 

No Suggested Reading articles found!