分布式数据质量管理系统在电力企业的实践和应用

doi:10.11959/j.issn.1000-0801.2016104

摘要/Abstract

摘要：

随着企业信息化水平和企业精细化管理要求的不断提高，企业对数据管理的需求也随之增强，如何提高企业数据质量更是需要重点解决的问题。针对电力企业数据质量管理面临的挑战，创新提出了分布式数据质量管理解决方案。针对集中式数据质量系统的性能瓶颈，在研究数据质量系统特点并借鉴国内外对大数据的解决方案后，提出了基于Hadoop分布式处理框架的解决方案。利用Hadoop集群，可以把缺陷数据从Oracle中抽离，分散存储在集群里多台服务器上，以有效提高磁盘I/O性能和数据分析性能。

关键词: 数据质量管理, 分布式, Hadoop

Abstract:

As the improvement of the enterprise’s informationalization level and the increasing management requirement of enterprise refinement，the demand of data management of enterprise is becoming greater and greater，how to improve the data quality of the enterprise is the key problem needed to be solved. Aiming at the challenges of data quality management that the power enterprise faces，some solutions for distributed data quality management were proposed. After researching the system features of data quality，some foreign and domestic cases of big data were analyzed as reference，and a solution based on Hadoop distributed processing framework was given to solve the performance bottleneck of centralized data quality system. Hadoop clustering could dissociate defect data from Oracle and the data would be stored separately on multiple servers of the clustering，which could improve the I/O performance and data analysis performance of the magnetic disk effectively.

Key words: data quality management, distributed, Hadoop

李远宁,刘森,张诗军,陈丰,王志英. 分布式数据质量管理系统在电力企业的实践和应用[J]. 电信科学, 2016, 32(4): 169-174.

Yuanning LI,Sen LIU,Shijun ZHANG,Feng CHEN,Zhiying WANG. Practice and application of distributed data quality management system in power enterprise[J]. Telecommunications Science, 2016, 32(4): 169-174.

图/表 6

图1

图2

图3

图4

表1

表2

参考文献 11

[1]	田秀霞，周耀军 . 基于Hadoop架构的分布式计算和存储技术及其应用[J]. 上海电力学院学报， 2011，27（1）：70-75. TIAN X X ， ZHOU Y J . The technology and application of distributed computing and storage based on Hadoop architecture[J]. Journal of Shanghai University of Electric Power， 2011，27（1）：70-75.
[2]	BIRMAN K P ， GANESH L ， RENESSE R . Running smart grid control software on cloud computing architectures[C]// Workshop on Computational Needs for the Next Generation Electric Grid，April 19-20，2011，Cornell University，Ithaca.[S.l.：s.n.]， 2011：1-28.
[3]	刘鹏 . 云计算[M]. 北京：电子工业出版社， 2010. Liu P . Cloud computing[M]. Beijing： Publishing House of Electronics Industry， 2010.
[4]	REESE G . Cloud application architectures：building applications and infrastructure in the cloud[M]. New York： OˊReilly Media， 2009.
[5]	辛军，陈康，郑纬民 . 虚拟化集群管理技术研究[J]. 计算机科学与探索， 2010（4）：325-327. XIN J ， CHEN K ， ZHENG W M . Studies on virtualization of cluster resource management technology[J]. Journal of Frontiers of Computer Science and Technology， 2010（4）：325-327.
[6]	HDFS scalability with multiple NameSpaces[EB/OL]. [2015-09-20]. .
[7]	WHITE T . Hadoop：the definitive gide[M]. New York： OˊReilly Media， 2009.
[8]	Hadoop apache project[EB/OL]. [2015-09-20]. .
[9]	GHEMAWAT S ， GOBIOFF H ， LEUNG S T . The Google file system[C]// SOSP，October 19-22，2003，Bolton Landing，New York，USA， New York： ACM Press， 2003.
[10]	陈远，罗琳 . 信息系统中的数据质量问题研究[J]. 中国图书馆学报， 2004（1）：48-50. CHEN Y ， LUO L . Research on data quality in information system[J]. Journal of Library Science in China， 2004（1）：48-50.
[11]	胡金林，梅士员 . 基于元数据扩展的空间数据质量管理方法[J]. 现代测绘， 2004，27（3）：21-24. HU J L ， MEI S Y . The extended metadata method of spatial data quality management[J]. Modern Surveying and Mapping， 2004，27（3）：21-24.

数据库	广西电网公司	广东电网公司
应用服务器（Weblogic）	1台Dell R910	1台Dell R910
系统数据库（Oracle）	与应用服务器共用一台机器	与应用服务器共用一台机器
分布式数据库	4台Dell R910	4台Dell R910

性能	广西电网公司	广东电网公司
总记录数/亿条	3.65	16
问题记录数/万条	1 714	3 000
集中式系统校验时间/h	32	37.5
分布式系统校验时间	1 h 35 min	9 h 20 min

[1]	郭泽华, 朱昊文, 徐同文. 面向分布式机器学习的网络模态创新[J]. 电信科学, 2023, 39(6): 44-51.
[2]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[3]	陈楠, 赵建军, 钟平, 黄勇军, 陈天. 基于云原生的分布式物联网操作系统架构研究[J]. 电信科学, 2022, 38(7): 146-156.
[4]	李琴, 李唯源, 孙晓文, 胡玉双, 孙滔. 6G网络智能内生的思考[J]. 电信科学, 2021, 37(9): 20-29.
[5]	刘飞扬, 李坤, 宋飞, 周华春. DDoS攻击恶意行为知识库构建[J]. 电信科学, 2021, 37(11): 17-32.
[6]	余云河, 孙君. 机器类通信中集中式与分布式Q学习的资源分配算法研究[J]. 电信科学, 2021, 37(11): 41-50.
[7]	李舒婷,刘金科,陈娜. 基于区块链技术的计费清结算平台的设计与研究[J]. 电信科学, 2020, 36(9): 84-93.
[8]	许丹丹,张云勇,张道琳,张第,王笑,蔡一欣. 5G时代区块链发展趋势及应用分析[J]. 电信科学, 2020, 36(3): 117-124.
[9]	马大燕,谢祥颖,那峙雄,沈文涛,孟凡腾. 基于调度自动化系统的低压分布式光伏电站接入估算模型[J]. 电信科学, 2020, 36(2): 90-94.
[10]	谢萍,刘孝颂. 基于区块链的SDN物联网部署安全[J]. 电信科学, 2020, 36(12): 139-146.
[11]	张帅,潘鹏,王璀. 分布式阵列系统中反馈比特的分配方法[J]. 电信科学, 2020, 36(11): 79-88.
[12]	聂凯君,曹傧,彭木根. 6G内生安全：区块链技术[J]. 电信科学, 2020, 36(1): 21-27.
[13]	孙嘉琪, 杨广铭, 党娟娜, 刘文杰. 温敏网络的关键能力和架构体系[J]. 电信科学, 2019, 35(9): 52-57.
[14]	任昊文,杨雅琪. 区块链分布式技术在电力需求侧响应管理中的应用[J]. 电信科学, 2019, 35(5): 155-160.
[15]	康凯凯,刘兆霆,姚英彪. 传感器网络分布式顽健RLS估计算法[J]. 电信科学, 2019, 35(1): 37-43.