电信科学 ›› 2018, Vol. 34 ›› Issue (5): 183-191.doi: 10.11959/j.issn.1000-0801.2018134
李成岭1,郑雨翔1,洪祎祺1,李雯1,郭慧敏2
修回日期:
2018-05-14
出版日期:
2018-05-01
发布日期:
2018-05-30
作者简介:
李成岭(1977-),男,国网上海市电力公司浦东供电公司工程师,主要研究方向为电力系统自动化,主要从事输配电线路技术应用及管理等工作。|郑雨翔(1991-),男,国网上海市电力公司浦东供电公司助理工程师,主要研究方向为电缆运行管理。|洪祎祺(1985-),男,国网上海市电力公司浦东供电公司工程师,主要研究方向为电缆运行维护。|李雯(1982-),女,国网上海市电力公司浦东供电公司工程师,主要研究方向为电缆运行维护、电缆振荡波技术。|郭慧敏(1991-),男,上海中兴电力建设发展有限公司工程师,主要研究方向为电力系统自动化,主要从事输变电线路检测服务及管理等工作。
Chengling LI1,Yuxiang ZHENG1,Yiqi HONG1,Wen LI1,Huimin GUO2
Revised:
2018-05-14
Online:
2018-05-01
Published:
2018-05-30
摘要:
国网将采用国网公司大数据平台分布式文件系统(基于 HDFS 优化封装)存储非结构化数据与实时数据。大数据平台分布式文件系统基于 HDFS 优化封装,HDFS 具有高容错、低成本、高吞吐量等特性,适合大规模数据集的应用,能有效支持大文件存储。介绍了非结构化数据存储以及实时数据存储,对电网数据存储技术选型进行了研究。
中图分类号:
李成岭,郑雨翔,洪祎祺,李雯,郭慧敏. 电网数据存储技术选型的研究[J]. 电信科学, 2018, 34(5): 183-191.
Chengling LI,Yuxiang ZHENG,Yiqi HONG,Wen LI,Huimin GUO. Research on the selection of grid data storage technology[J]. Telecommunications Science, 2018, 34(5): 183-191.
表2
2个DataNode的HDFS集群的测试结果"
节点名称 | 节点数据 | 客户端 | 类型 | 时间 | 加载 | 等待输入/输出操作进程占比 | 网络输入/MB | 网络输出/MB |
BG8S02 | BG8S01BG8S03 | BG8S02 | 写 | 15 min 49 s | 3.1% | 26% | 22 | 2.3 |
BG8S02 | BG8S01 BG8S03 | BG8S01 | 写 | 4 min | 2.6% | 39% | 37 | 2.6 |
BG8S02 | BG8S01 BG8S03 | BG8S03 | 写 | 2 min 22 s | 3.3% | 42% | 51 | 3.1 |
BG8S02 | BG8S01 BG8S03 | BG8S02 | 读 | 15 min 33 s | 3.9% | 23% | 2.8 | 32 |
BG8S02 | BG8S01 BG8S03 | BG8S01 | 读 | 8 min 56 s | 2.9% | 32% | 3.9 | 36 |
BG8S02 | BG8S01 BG8S03 | BG8S03 | 读 | 13 min 3 s | 1.8% | 26% | 4.2 | 57 |
表3
3个DataNode的HDFS集群的测试结果"
节点名称 | 节点数据 | 客户端 | 类型 | 时间 | 加载 | 等待输入/输出操作进程占比 | 网络输入/MB | 网络输出/MB |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S02 | 写 | 15 min 49 s | 3.2% | 17% | 29 | 2.9 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S01 | 写 | 4 min 18 s | 3.5% | 28% | 32 | 2.5 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S03 | 写 | 2 min 54 s | 3.6% | 36% | 26 | 3.6 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S04 | 写 | 2 min 50 s | 2.8% | 36% | 43 | 3.1 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S02 | 读 | 15 min 44 s | 2.1% | 16% | 4.2 | 30 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S01 | 读 | 13 min 21 s | 3.5% | 25% | 3.9 | 35 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S03 | 读 | 10 min 30 s | 3.9% | 22% | 2.8 | 37 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S04 | 读 | 15 min 20 s | 3.4% | 18% | 3.2 | 31 |
表4
备份因子为1~3情况下的写性能测试结果"
节点名称 | 节点数据 | 客户端 | 响应 | 时间 | 加载 | 等待输入/输出操作进程占比 | 网络输入/MB | 网络输出/MB |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S02 | 1 | 15 min 49 s | 2.9% | 16% | 29 | 3.5 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S01 | 1 | 4 min 18 s | 3.6% | 25% | 38 | 4.2 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S03 | 1 | 2 min 54 s | 3.1% | 31% | 45 | 3.8 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S04 | 1 | 2 min 50 s | 2.8% | 32% | 45 | 2.9 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S02 | 2 | 16 min 54 s | 2.9% | 14% | 31 | 3.1 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S01 | 2 | 17 min 1 s | 3.6% | 14% | 30 | 3.6 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S03 | 2 | 17 min 9 s | 3.4% | 14% | 30 | 3.2 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S04 | 2 | 16 min 46 s | 3.6% | 15% | 31 | 3.4 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S02 | 3 | 17 min 45 s | 3.5% | 14% | 29 | 4.5 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S01 | 3 | 19 min 6 s | 3.2% | 13% | 25 | 4.2 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S03 | 3 | 19 min 10 s | 3.7% | 13% | 25 | 3.1 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S04 | 3 | 19 min 51 s | 3.9% | 13% | 25 | 2.9 |
表5
备份因子为1~3情况下的读性能测试结果"
节点名称 | 节点数据 | 客户端 | 响应 | 时间 | 加载 | 等待输入/输出操作进程占比 | 网络输入/MB | 网络输出/MB |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S02 | 1 | 15 min 22 s | 3.2% | 14% | 4.2 | 30 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S01 | 1 | 13 min 21 s | 2.6% | 16% | 4.7 | 31 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S03 | 1 | 10 min 30 s | 2.9% | 18% | 4.8 | 33 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S04 | 1 | 15 min 20 s | 3.5% | 14% | 3.9 | 30 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S02 | 2 | 15 min 22 s | 2.9% | 14% | 3.8 | 30 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S01 | 2 | 11 min 42 s | 2.8% | 17% | 4.4 | 32 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S03 | 2 | 7 min 2 s | 2.5% | 21% | 3.7 | 39 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S04 | 2 | 9 min 16 s | 2.9% | 19% | 3.1 | 41 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S02 | 3 | 15 min 35 s | 3.5% | 14% | 3.9 | 30 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S01 | 3 | 3 min 42 s | 3.6% | 25% | 3.8 | 56 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S03 | 3 | 2 min 29 s | 3.4% | 26% | 4.1 | 59 |
BG8S02 | BG8S01 BG8S03 BG8S04 | BG8S04 | 3 | 2 min 5 s | 2.9% | 26% | 3.7 | 59 |
[1] | GEORGE L . HBase 权威指南[M]. 代志远,刘佳,蒋杰,译. 北京: 人民邮电出版社, 2013. |
GEORGE L . HBase:the definitive guide[M]. Translated by DAI Z Y,LIU J,JIANG J. Beijing: Posts & Telecom Press, 2013. | |
[2] | 蔡斌, 陈湘萍 . Hadoop技术内幕:深入解析Hadoop Common和 HDFS 架构设计与实现原理[M]. 北京: 机械工业出版社, 2013. |
CAI B , CHEN X P . Hadoop internals:in-depths study of common and HDFS[M]. Beijing: China Machine Press, 2013. | |
[3] | 孟鑫, 马延辉, 李立松 . HBase企业应用开发实战[M]. 北京: 机械工业出版社, 2014. |
MENG X , MA Y H , LI L S . Enterprise application development with HBase[M]. Beijing: China Machine Press, 2014. | |
[4] | 皮雄军 . NoSQL 数据库技术实战[M]. 北京: 清华大学出版社, 2015. |
PI X J . NoSQL database technology combat[M]. Beijing: Tsinghua University Press, 2015. | |
[5] | DIMIDUK N , KHURANA A . HBase实战[M]. 谢磊,译.北京: 人民邮电出版社, 2013. |
DIMIDUK N , KHURANA A . HBase in action[M]. Translated by XIE L. Beijing: Posts & Telecom Press, 2013. | |
[6] | 蒋燚峰 . HBase管理指南[M]. 北京: 人民邮电出版社, 2013. |
JIANG Y F . HBase administration cookbook[M]. Beijing: Posts& Telecom Press, 2013. | |
[7] | SHRIPARV S . Learning HBase[M]. 周彦伟,蒲聪,蒋杰,译. 北京: 电子工业出版社, 2015. |
SHRIPARV S . Learning HBase[M]. Translated by ZHOU Y W,LOU S,PU C. Beijing: Publishing House of Electronics Industry, 2015. | |
[8] | 董西成 . Hadoop技术内幕:深入解析MapReduce架构设计与实现原理[M]. 北京: 机械工业出版社, 2013. |
DONG X C . Hadoop internals:in-depths study of MapReduce[M]. Beijing: China Machine Press, 2013. | |
[9] | GROVER M , MALASKA T , SEIDMAN J . Hadoop应用架构[M]. 郭文超,译. 北京: 人民邮电出版社, 2017. |
GROVER M , MALASKA T , SEIDMAN J . Hadoop application architecture[M]. Translated by GUO W C. Beijing: Posts &Telecom Press, 2017. | |
[10] | 王雪迎 . Hadoop 构建数据仓库实践[M]. 北京: 清华大学出版社, 2017. |
WANG X Y . Practice of Hadoop data warehouse[M]. Beijing: Tsinghua University Press, 2017. | |
[11] | WHITE T . Hadoop权威指南:大数据的存储与分析(第4版)[M]. 王海,华东,刘喻,等译. 北京: 清华大学出版社, 2017. |
WHITE T . Hadoop:the definitive guide[M]. Translated by WANG H,HUA D,LIU Y,et al. Beijing: Tsinghua University Press, 2017. |
[1] | 高凯辉, 李丹. 数据中心网络性能保障研究综述[J]. 电信科学, 2023, 39(6): 1-21. |
[2] | 徐胜超, 熊茂华, 周天绮. 基于萤火虫群优化的虚拟机放置方法[J]. 电信科学, 2022, 38(3): 172-182. |
[3] | 徐丹, 曾宇, 孟维业, 李力卡. AI使能的5G节能技术[J]. 电信科学, 2021, 37(5): 32-41. |
[4] | 张帆, 谢光伟, 郭威, 扈红超, 张汝云, 刘文彦. 基于拟态架构的内生安全云数据中心关键技术和实现方法[J]. 电信科学, 2021, 37(3): 39-48. |
[5] | 王江龙,雷波,解云鹏,何琪,李云鹤. 云网一体化数据中心网络关键技术[J]. 电信科学, 2020, 36(4): 125-135. |
[6] | 朱洪,邵琦. 电力通信网络在能源互联网中的增值业务分析[J]. 电信科学, 2019, 35(6): 50-59. |
[7] | 钟翠,王蕾,罗兴. 云数据中心的SDN解决方案[J]. 电信科学, 2018, 34(7): 15-22. |
[8] | 沈蕾,王芳,吴丽华. NFV硬件资源池规划建设重点[J]. 电信科学, 2018, 34(6): 107-114. |
[9] | 王源,江昊,吴明,姚冬桂,张毅,羿舒文,汪海,吴静. 基于用户移动网络接入位置的高效分布式相似矩阵计算方法[J]. 电信科学, 2018, 34(5): 26-38. |
[10] | 彭巍,贺晓东,陆小铭,汲传鑫. 运营商DNS海量数据分析技术优化和应用[J]. 电信科学, 2018, 34(3): 138-144. |
[11] | 刘孝颂,黄挺. 巡检机器人在互联网数据中心智能运维中的应用探索与研究[J]. 电信科学, 2018, 34(12): 132-137. |
[12] | 胡腾,李观文,周华春. 面向服务的数据中心安全框架[J]. 电信科学, 2018, 34(1): 8-16. |
[13] | 徐海勇,黄岩. 基于PaaS技术的大数据云化平台实践[J]. 电信科学, 2018, 34(1): 148-157. |
[14] | 鹿楚坤,闫芳芳,李东. 一种超额认购虚拟数据中心的嵌入算法[J]. 电信科学, 2017, 33(7): 76-87. |
[15] | 马腾,胡宇翔. 一种数据中心网络虚拟机快速在线迁移算法[J]. 电信科学, 2017, 33(6): 64-72. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||
|