电力大数据全景实时分析关键技术

doi:10.11959/j.issn.1000-0801.2016103

摘要/Abstract

摘要：

针对智能电网建设过程中收集的电力大数据，基于电力系统全景实时数据分析的需求，探讨基于大数据的电力系统安全可靠性分析、实时状态监控及能源全景动态平衡调度等核心问题的解决思路。分析了利用大数据解决安全可靠性、设备全寿命周期管理及能源实时平衡调度等问题的挑战及解决思路，基于大规模实时多源细节数据和设备全景数据的计算，有助于提高系统分析的精度和准确度，保证电网安全运行；探讨了内存计算、实时流式大数据处理、大规模并行计算及列存储等技术在电力大数据实时分析中的应用；结合主流开源大数据处理技术，设计了电力大数据分析平台的分层体系架构，为电力系统的高效运行提供保证。

关键词: 电力大数据, 全景实时数据, 内存计算, 数据流, 大规模并行

Abstract:

For power big data collected during smart grid construction process，based on the demand of power system global and real-time data analysis，ideas of solving power system security and reliability，real-time status monitoring，energy global dynamic balance scheduling and other key issues were explored. The problems of big data safety and reliability，equipment life-cycle management and energy real-time balance scheduling were analyzed and discussed，system analysis precision and accuracy based on large-scale real-time multi-source detail data and global data of equipment would be improved，then application of in-memory computing，real-time streaming data processing technology，massively parallel computing technology and column stores were explored；a layered architecture of power big data analytics platform which combined with the mainstream open source big data processing technology was proposed to provide guarantees for the efficient operation of the power system.

Key words: power big data, global real-time data, in-memory computing, data stream, massively parallel

周国亮,吕凛杰,王桂兰. 电力大数据全景实时分析关键技术[J]. 电信科学, 2016, 32(4): 159-168.

Guoliang ZHOU,Linjie LV,Guilan WANG. Key technology of power big data for global real-time analysis[J]. Telecommunications Science, 2016, 32(4): 159-168.

图/表 9

表1

图1

图2

图3

图4

图5

图6

图7

图8

参考文献 37

[1]	宋亚奇，周国亮，朱永利 . 智能电网大数据处理技术现状与挑战[J]. 电网技术， 2013，37（4）：927-935. SONG Y Q ， ZHOU G L ， ZHU Y L . Present status and challenges of big data processing in smart grid[J]. Power System Technology， 2013，37（4）：927-935.
[2]	王德文，宋亚奇，朱永利 . 基于云计算的智能电网信息平台[J]. 电力系统自动化， 2010（22）：7-12. WANG D W ， SONG Y Q ， ZHU Y L . Information platform of smart grid based on cloud computing[J]. Automation of Electric Power Systems， 2010（22）：7-12.
[3]	中国电机工程学会信息化专委会. 中国电力大数据发展白皮书[R]. 2013.Electric Power Informatization Special Committee. China power big data development white paper[R]. 2013.
[4]	朱征，顾中坚，吴金龙，等. 云计算在电力系统数据灾备业务中的应用研究[J]. 电网技术. 2012，36（9）：43-50. ZHU Z ， GU Z J ， WU J L ， et al. Application of cloud computing in electric power system data recovery[J]. Power System Technology， 2012，36（9）：43-50.
[5]	沐连顺，崔立忠，安宁 . 电力系统云计算中心的研究与实践[J]. 电网技术， 2011，35（6）：170-175. MU L S ， CUI L Z ， AN N . Research and practice of cloud computing center for power system[J]. Power System Technology， 2011，35（6）：170-175.
[6]	王广辉，李保卫，胡泽春，等. 未来智能电网控制中心面临的挑战和形态演变[J]. 电网技术， 2011，35（8）：1-5. WANG G H ， LI B W ， HU Z C ， et al. Challenges and future evolution of control center under smart grid environment[J]. Power System Technology， 2011，35（8）：1-5.
[7]	刘树仁，宋亚奇，朱永利，等. 基于Hadoop的智能电网状态监测数据存储研究[J]. 计算机科学， 2013，40（1）：81-84. LIU S R ， SONG Y Q ， ZHU Y L ， et al. Research on data storage for smart grid condition monitoring using Hadoop[J]. Computer Science， 2013，40（1）：81-84.
[8]	RUSITSCHKA S ， EGER K ， GERDES C . Smart grid data cloud：a model for utilizing cloud computing in the smart grid domain[C]// The 1st International Conference on Smart Grid Communications，October 4-6，2010，Gaithersburg，USA， New Jersey： IEEE Press， 2010：483-488.
[9]	CHRISTOPHE B . The smart grid：hadoop at the Tennessee Valley Authority（TVA）[EB/OL].[2013-02-08]. .
[10]	KAWASOE S ， IGARASHI Y ， SHIBAYAM K ， et al. Examples of distributed information platforms constructed by power utilities in Japan[C]// CIGRE Symposium，August 26-31，Paris，France.[S.l.：s.n.]， 2012：134-306.
[11]	KENNETH P B ， LAKSHMI G ， ROBBERT V R ， et al. Running smart grid control software on cloud computing architectures[C]// Workshop on Computational Needs for the Next Generation Electric Grid，April 19-20，2011，Ithaca，USA， New York： Department of Energy’s Sci Tech Connect， 2011：1-28.
[12]	KEZUNOVIC M ， LE X ， GRIJALVA S . The role of big data in improving power system operation and protection[C]// Bulk Power System Dynamics and Control-IX Optimization，Security and Control of the Emerging Power Grid（IREP），August 25-30，2013，Rethymnon，Greece， New Jersey： IEEE Press， 2013：1-9.
[13]	JIAN Y ， POORVA S ， IAN G ， et al. Large-scale data challenges in future power grids[C]// 7th International Symposium on Service Oriented System Engineering，March 25-28，2013，Redwood City，CA，USA， New Jersey： IEEE Press， 2013：324-328.
[14]	赛迪网. 维斯塔斯利用IBM 大数据分析实现“智慧风能”[EB/OL]. [2012-03-23]. .CCIDnet. The realization of “wisdom wind”using IBM big data analysis in Vestas[EB/OL]. [2012-03-23]. .
[15]	李传栋，房大中，杨金刚，等. 大规模电网并行潮流算法[J]. 电网技术， 2008，32（7）：34-39. LI C D ， FANG D Z ， YANG J G ， et al. New research on parallel power-flow calculation for large-scale power system[J]. Power System Technology， 2008，32（7）：34-39.
[16]	刘洋，谢开贵，周家启，等. 大电力系统可靠性评估高性能计算平台设计与实现[J]. 电力系统自动化， 2006，30（18）：1-8. LIU Y ， XIE K G ， ZHOU J Q ， et al. Design and implementation of HPC platform for bulk power system reliability evaluation[J]. Automation of Electric Power Systems， 2006，30（18）：1-8.
[17]	桂勋 . 基于递推算法的海量COMTRADE数据计算并行化[J]. 电力系统自动化， 2014，38（1）：86-91. GUI X . Calculation parallelization for massive COMTRADE data based on recursive algorithms[J]. Automation of Electric Power Systems， 2014，38（1）：86-91.
[18]	何剑，程林，孙元章 . 电力系统运行可靠性最优控制[J]. 中国电机工程学报， 2010，30（7）：15-21. HE J ， CHENG L ， SUN Y Z . Optimal control of power system’s operational reliability[J]. Proceeding of the CSEE， 2010，30（7）：15-21.
[19]	江修波，吴文宣，陈祥伟 . 区间分析法在电力变压器全寿命周期成本模型中的应用[J]. 电力自动化设备， 2011，31（9）：50-54. JIANG X B ， WU W X ， CHEN X W . Transformer life cycle cost model based on interval analysis[J]. Electric Power Automation Equipment， 2011，31（9）：50-54.
[20]	刘吉臻，杨光军，谭文，等. 基于数据驱动的电站燃烧稳定度综合评价[J]. 中国电机工程学报， 2007，27（35）：1-6. LIU J Z ， YANG G J ， TAN W ， et al. Synthetic evaluation on the degree of combustion stability in power station based on data-driven[J]. Proceedings of the CSEE， 2007，27（35）：1-6.
[21]	张广斌，束洪春，于继来 . 利用广义电流模量的行波实测数据半监督聚类筛选[J]. 中国电机工程学报， 2012，32（10）：150-159. ZHANG G B ， SHU H C ， YU J L . Travelling wave field data contingency screening based on semi-supervised clustering using generalized current modal components[J]. Proceedings of the CSEE， 2012，32（10）：150-159.
[22]	陈铁华，陈启卷 . 模糊聚类分析在水电机组故障诊断中的应用[J]. 中国电机工程学报， 2002，22（3）：43-47. CHEN T H ， CHEN Q J . Fuzzy clustering analysis based vibration fault diagnosis of hydroelectric generating unit[J]. Proceedings of the CSEE， 2002，22（3）：43-47.
[23]	王一，何奔腾，王慧芳 . 基于全寿命状态的设备可靠性研究[J]. 电网技术， 2011，35（8）：207-211. WANG Y ， HE B T ， WANG H F . Research on equipment reliability based on life cycle states[J]. Power System Technology， 2011，35（8）：207-211.
[24]	曹军威，万宇鑫，涂国煜，等. 智能电网信息系统体系结构研究[J]. 计算机学报， 2013（1）：143-167. CAO J W ， WAN Y X ， TU G Y ， et al. Information system architecture for smart grids[J]. Chinese Journal of Computers， 2013（1）：143-167.
[25]	王蓓蓓，刘小聪，李扬 . 面向大容量风电接入考虑用户侧互动的系统日前调度和运行模拟研究[J]. 中国电机工程学报， 2013，36（22）：35-44. WANG B B ， LIU X C ， LI Y . Day-ahead generation scheduling and operation simulation considering demand Response in large-capacity wind power integrated systems[J]. Proceeding of the CSEE， 2013，36（22）：35-44.
[26]	黄海涛 . 居民分时阶梯电价联合优化模型研究[J]. 电网技术， 2012，36（10）：253-258. HUANG H T . A Joint optimization model of residential time-of-use rlock electricity rate[J]. Power System Technology， 2012，36（10）：253-258.
[27]	金海，廖小飞，叶晨成 . 内存计算：大数据处理的机遇与挑战[J]. 中国计算机学会通讯， 2013，9（4）：40-46. JIN H ， LIAO X F ， YE C C . In-memory computing：The opportunities and challenges of big data processing[J]. Communication of China Computer F ederation， 2013，9（4）：40-46.
[28]	PARK K H ， PARK S K ， SEOK H . Efficient memory management of a hierarchical and a hybrid main memory for MNMATE platform[C]// International Workshop on Programming Models and Applications for Multicores and Manycores. March 12-16，2012，New York，USA， New York： ACM Press， 2012：83-92.
[29]	孙大为，张广艳，郑纬民 . 大数据流式计算：关键技术及系统实例[J]. 软件学报， 2014，25（4）：839-862. SUN D W ， ZHANG G Y ， ZHENG W M . Big data stream computing：technologies and instances[J]. Journal of Software， 2014，25（4）：839-862.
[30]	赵加奎，杨国凤，沐连顺，等. 数据流技术在电网自动化中的应用研究[J]. 电网技术， 2011，35（8）：6-11. ZHAO J K ， YANG G F ， MU L S ， et al. Research on the application of the data stream technology in grid automation[J]. Power System Technology， 2011，35（8）：6-11.
[31]	张之哲，李兴源，程时杰 . 智能电网统一信息系统的框架、功能和实现[J]. 中国电机工程学报， 2010，30（34）：1-7. ZHANG Z Z ， LI X Y ， CHENG S J . Structures，functions and implementation of united information system for smart grid[J]. Proceedings of the CSEE， 2010，30（34）：7-7.
[32]	郭春辉 . 基于GPU的电力系统并行计算的研究[D]. 济南：山东大学， 2013：18-34. GUO C H . Research on parallel computing of electric power system based on GPU[D]. Jinan： Shan Dong University， 2013：18-34.
[33]	李鹏，丁承第，王成山，等. 基于多核心处理器的分布式发电微网系统暂态并行仿真方法[J]. 中国电机工程学报， 2013，33（16）：171-178. LI P ， DING C D ， WANG C S ， et al. A parallel algorithm of transient simulation for distributed generation system based on multi-core CPU[J]. Proceeding of the CSEE， 2013，33（16）：171-178.
[34]	唐聪，严正，周挺辉 . 基于图形处理器的广义最小残差迭代法在电力系统暂态仿真中的应用[J]. 电网技术， 2013，37（5）：1365-1371. TANG C ， YAN Z ， ZHOU T H . Application of graph processing unit-based generalized minimal residual iteration in power system transient simulation[J]. Power System Technology， 2013，37（5）：1365-1371.
[35]	马发勇，厉启鹏，马志斌，等. 电力调度SCADA系统中历史数据压缩及存储策略[J]. 电网技术， 2014，38（4）：1109-1114. MA F Y ， LI Q P ， MA Z B ， et al. The research of historical data compression and storage strategy in power dispatch SCADA system[J]. Power System Technology， 2014，38（4）：1109-1114.
[36]	闫湖，周薇，李立新，等. 基于分布式键值对存储技术的EMS数据库平台[J]. 电网技术， 2012，36（9）：162-167. YAN H ， ZHOU W ， LI L X ， et al. Database platform of EMS system based on distributed key-value pair storage technology[J]. Power System Technology， 2012，36（9）：162-167.
[37]	ZHONG Y ， SUN S ， LIAO H ， et al. A novel method to manage very large raster data on distributed key-value storage system[C]// The 19th International Conference on Geoinformatics，June 24-26，2011，Shanghai，China， New Jersey： IEEE Press， 2011：1-6.

表数量/只	采集频率15 min	采集频率1 min	采集频率1 s
10 000	32.61 GB	498.0 GB	114.6 TB
100 000	326.1 GB	4.8 TB	1.1 PB
1 000 000	3.18 TB	47.7 TB	11.2 PB