前言

近年来，随着智能电网研究和建设的不断推进、各种分布式可再生能源的大规模应用等，电网规模不断扩大、结构日趋复杂，对电网监测的广度不断扩大、深度不断加强，而对大规模电网的全方位、多尺度感知将使电力系统运行和监测过程中收集的数据量呈指数级增长，并逐渐形成了电力大数据。通常情况下，电力大数据具有如下特点。

（1）体量巨大。从TB级别跃升到PB级别，广域向量测量系统（Wide Area Measurement System, WAMS）和数据采集与监视控制系统（Supervisory Control and Data Acquisition, SCADA）遥测点增加、采集频率提高，每年将产生超过TB级的数据；用电信息采集系统成为世界上最大的自动化计量系统，连接着以亿计算的用户，随着采集频率提高，数据量将以PB计算。

（2）多源异构特性。电力系统本身结构复杂、规模庞大，采集的数据具有明显的多源异构特性。同时也需要对电网系统外数据（气象、地理、环境等）与内部数据进行关联分析。比如与电力设备状态评估相关的数据来源广、种类多，包括在线监测实时数据、设备台账信息、预试数据以及音视频和气候环境等非结构化数据。

（3）生成速度快。由于电力系统的特殊性，在某些场景下数据采样频率很高，数据生成速度非常快。分布式能源随气候环境动态变化，要求快速准确预测变化，需要对设备和环境实时监控。在SCADA调度系统中，每分钟产生的数据量也将达到GB级。

（4）价值密度低。以视频数据为例，连续不间断监控过程中，可能有用的数据仅仅有1～2s。在基于经验和人工的传统输变电设备状态监测评估中，只对少量异常数据关注、处理和采用，而丢弃所谓“正常数据”，然而大量的正常数据也可能成为故障分析判断的重要依据。

基于电力大数据的特点，深入探讨数据驱动的电力系统各项技术，提高数据利用率是当前智能电网建设过程中必须要面对的问题。云计算技术是处理分析大数据的有效方式，具有良好的可扩展性和容错机制，在商业互联网领域应用广泛。随着电力大数据的形成，探讨基于云计算技术的电力大数据分析处理，进而对提高电力系统的整体安全性和可靠性具有重要的研究价值。然而，由于电力系统运行模式与商业互联网企业相比具有自身的特点和性能要求，当云计算应用于生产运行数据时具有很大的挑战性，本文正是基于此背景展开相关研究和探讨。

当前云计算技术包括批处理计算、流式计算和内存计算等三种方式，分别适应于不同的数据处理类型。其中，批处理适合离线静态数据分析，对运行时间要求较低；而流式计算面对流动的实时数据动态计算，对时限性要求较高；内存计算是针对批处理频繁磁盘操作性能瓶颈，适应需要多次迭代的机器学习类算法。另外，针对电力大数据的多源异构特点，需要开展数据融合分析技术，为用户提供统一综合的查询视图。综上所述，本书主要开展了如下几项研究工作。

（1）智能电网大数据批处理技术模式研究与应用（第1章）

利用收集的静态离线电力大数据，开展了电力短期负荷预测、绝缘子泄漏电流数据高效存储和聚类划分及局部放电信号处理的并行EEMD算法研究。主要采用的技术是Hadoop的MapReduce技术，通过并行计算和大数据的支撑，提高数据处理的效率。

（2）智能电网大数据高性能内存计算技术研究（第3章）

针对电力系统中部分应用需要高性能计算分析的特点，开展内存计算技术在电力系统中的应用研究。重点对监测数据尤其是在线监测领域，监测数据速度快的特点，研究高效的内存聚类算法。另外，对电力数据高级分析的OLAP技术开展了基于内存计算的并行方体计算技术研究。

（3）智能电网大数据的多源数据融合分析技术（第4章）

针对智能电网大数据多源异构的特点，研究数据融合技术，为用户提供统一的查询或显示视图。重点研究内容包括多通道数据融合特征提取和多数据源的连接技术，并结合Hadoop和Spark研究并行计算模式和高速融合算法。

（4）智能电网大数据的流式计算研究（第5章）

针对智能电网大数据速度快，多种场景下表现出流数据的特征，研究流式计算技术动态处理数据，应用在在线监测和实时用电信息采集系统中。研究了监测流数据实时过滤和检测技术，通过设计基于工作流的处理模型，快速实现对大规模流数据的监测，实时发现异常，提高监测效率。针对大规模用电信息采集系统，设计流式计算的聚类算法，完成数据聚类划分，实时发现用电行为异常，从而提升数据分析技术与生产系统的融合水平。

（5）全景实时分析平台关键技术探索（第6章）

智能电网最终目标的实现需要借助全景实时分析平台的支撑，将大数据平台变为智能电网的神经中枢，促进大数据与电力系统的深度融合，从数据驱动的角度研究当前电力系统面临的挑战问题。探讨基于内存计算、实时流式大数据处理技术、大规模并行计算技术及列存储等在电力大数据实时分析中的应用，满足电力系统对大数据分析的时效性需求；结合主流开源大数据处理技术，设计了电力大数据分析平台的分层体系架构，为电力系统的高效运行提供保证。

（6）能源互联网中的大数据（第7章）

能源互联网是实现广域范围内的能源分享和支持分布式清洁能源为主体，将涵盖大规模的分布式能源、交通网络、天然气网络等，而支撑能源互联网高效运行和实时能源分享的核心技术应包括大数据分析技术。探讨了通过大数据提高能源互联网的安全等级和高效实时调度技术。

本书由国网冀北电力有限公司技能培训中心周国亮统稿，并负责第1、2、5、6、7、8章的编写，华北电力大学宋亚奇和王桂兰分别负责第3、4章的编写，华北电力大学朱永利教授对全书进行了审阅。

本书的研究工作得到了河北省自然科学基金（F2014502069）的资助。在这里，谨对所有给予我们指导、关心和帮助过的单位和个人表达最诚挚的谢意，没有你们认真负责的工作，此书不可能完成。感谢本书引用中所涉及的各位学者、专家。本文引用了多位学者的研究文献，如果没有各位学者研究成果的帮助和启发，我们将很难完成本书的内容。感谢为本书出版做出辛勤工作的出版社同志，没有你们的专业劳动，展现在读者面前的内容会很凌乱，很难示人。感谢阅读此书的每一位读者，是你们的阅读才使我们的工作有意义，谢谢你们。

由于我们的学术水平、工程经验有限，对所研究内容把握能力还存在不足和欠缺，书中不足之处在所难免，恳请各位专家和读者批评和指正！我们的邮箱是yu＿bing＿2000@163.

com，谢谢！

周国亮

2016年3月28日