论文部分内容阅读
[摘 要]随着电能质量问题得到高科技企业和电网公司越来越多的重视，大量电能质量监测系统得到部署和应用。然而，基于监测数据的高级分析并未得到广泛应用，其重要原因在于电能质量监测数据没有得到有效的梳理。本文提出数据清洗（Data Cleaning）技术是使能电能质量高级分析的关键和前提，描述了电能质量监测数据清洗的具体步骤和软件实现。
[关键词]电能质量 高级分析 数据清洗
中图分类号：TM71 文献标识码：A 文章编号：1009-914X（2015）35-0185-01
1、简介
随着计算机、信息设备、精密仪器、高端制造业等对电源质量敏感设备的应用，电能质量问题受到用户的广泛关注。对敏感用户（如半导体制造企业）而言，几十毫秒的电压暂降就可能导致设备损坏、生产线停产，造成巨大经济损失。例如作为全国第四个负荷过千万的城市，郑州市的用电量甚至可与一个普通省份用电量相比较，其中大部分为高新技术企业。近年来，各类微电子、半导体、生物医药、精密制造等企业，以及医院、金融业、通信行业、大型数据中心等敏感用户对电网的供电电能质量提出了更高要求。
目前国内有部分省网已陆续开始了电能质量监测系统的建设，有的已初具规模。建设模式主要分为引进成熟系统和自主研发两类。上海、华北、云南等电力公司采用了美国电科院成熟的PQView3.2平台并进行二次开发，已相继建立了网络化的电能质量监测平台；广东、浙江、江苏电力公司采用自主研发的方式，开发了区域电能质量监测网。郑州电网现有电能质量监测体系已经初具规模，目前已在主网146个变电站安装了电能质量监测终端651台，电能质量监测系统具备的主要功能为巡检、远程操作、数据查询分析、报表统计等，缺乏基于数据挖掘功能支撑的高级分析应用。
为更好地支持高级分析应用，需要对电能质量监测数据进行整理和清洗，主要基于以下幾方面的原因：电能质量监测系统的开发人员不熟悉电能质量相关标准，将本不属于电能质量问题的事件进行了记录；电能质量监测系统的开发人员对输配电系统的运行原理缺乏了解，对关联事件进行了重复记录；由于通信等方面的系统错误，记录的部分数据可能存在不合理性或非一致性，需要剔除。
2、电能质量监测数据高级分析
电能质量监测数据为深入研究实际运行电网的电能质量问题提供了基础，当前已经存在大量面向该类数据的分析和研究，按研究手段和应用目的可将这些研究分为两大类：一类是以数据统计为手段，以电能质量监测优化、评估和运行管理为目的的基础分析；另一类是以数据挖掘为手段，以从大规模、高维的电能质量监测数据中提取出隐藏的模式和规则，为电力系统规划和决策提供支持依据的高级分析。其中，电能质量监测数据高级分析的主要过程如图1所示。从图中可发现：数据清洗是进行电能质量数据高级分析的前提和基础。
3、电能质量监测数据清洗
为说明数据清洗技术在电能质量数据分析中的重要性，本文重点以电能质量监测系统所记录的暂态事件的对应数据为例，对其进行具体的梳理和清洗。
3.1 具体步骤
针对电能质量问题，对采集到的监测数据进行清洗，可通过以下三个主要步骤来实现：
（1） 数据剔除：即将不符合电能质量暂态事件定义的数据予以剔除。根据由IEEE SCC 22提出并已被IEC采纳的电能质量的分类标准，将持续时间在半个周波到一分钟以内的电压变化（含电压暂升、电压暂降和短时电压中断）定义为电能质量暂态事件。因此，对持续时间在半个周波到一分钟范围以外的监测数据予以剔除。
（2） 事件统计：即对电能质量暂态事件的发生次数进行准确统计。目前，输、配电是通过三相交流电即由三个频率相同、电势振幅相等、相位差互差120°角的交流电路组成的电力系统来实现的。在统计过程中，为保证统计结果的准确性，将同一变电站的同一母线下在同一时刻发生的两相或三相的暂态事件均按照分析目标（即电压暂升、电压暂降或短时电压中断）记为零次或一次。
（3） 数据再处理：即对经过以上数据剔除和事件统计两个步骤的数据作进一步的处理。在预期分析目标的要求下，部分数据可能存在不合理性或非一致性。因此，需根据相关信息如事件的关联分析、用户需求等对监测数据进行再处理。
3.2 软件实现
数据清洗软件是实现对行业中数据进行高效预处理的有力工具。近年来，市场上的数据清洗软件，既有商业开发的，也有由大学和研究机构开发的。而针对电能质量监测数据的相应软件的研发，目前还处于初步探索阶段。本研究开发了电能质量暂态事件分析软件（见图2），数据清洗是其中的重要组成部分。
软件实现是基于美国MathWorks公司出品的MATLAB平台而开发。利用MATLAB的计算功能和友好的人机交互界面，软件实现包括参数设置、数据清洗、小波分析、噪声分析等多个模块。
4、结论
本文主要工作在于将数据清洗技术应用于电能质量的监测数据，为未来进一步的高级分析应用奠定了基础。电能质量监测系统产生的海量数据因多种原因在正确性和一致性等方面存在种种问题，甚至可能产生误导。若不能对电能质量监测数据进行有效的整理和剔除，就无法准确反映实际电能质量问题的严重性。
参考文献：
[1] 王曰芬，章成志，张蓓蓓，吴婷婷.数据清洗研究综述[J].情报分析与研究.2007，12：50-56.
[2] 曹建军，刁兴春，汪挺，王芳潇.领域无关数据清洗研究综述[J].计算机科学.2010，37（5）：26-29.
[3] 叶鸥，张璟，李军怀.中文数据清洗研究综述[J].计算机工程与应用.2012，48（14）：121-129.
作者简介：
郭锐（1982-），男，河南焦作人，工程师，本科，从事电能质量监测治理和电网建设研究工作。
[关键词]电能质量 高级分析 数据清洗
中图分类号：TM71 文献标识码：A 文章编号：1009-914X（2015）35-0185-01
1、简介
随着计算机、信息设备、精密仪器、高端制造业等对电源质量敏感设备的应用，电能质量问题受到用户的广泛关注。对敏感用户（如半导体制造企业）而言，几十毫秒的电压暂降就可能导致设备损坏、生产线停产，造成巨大经济损失。例如作为全国第四个负荷过千万的城市，郑州市的用电量甚至可与一个普通省份用电量相比较，其中大部分为高新技术企业。近年来，各类微电子、半导体、生物医药、精密制造等企业，以及医院、金融业、通信行业、大型数据中心等敏感用户对电网的供电电能质量提出了更高要求。
目前国内有部分省网已陆续开始了电能质量监测系统的建设，有的已初具规模。建设模式主要分为引进成熟系统和自主研发两类。上海、华北、云南等电力公司采用了美国电科院成熟的PQView3.2平台并进行二次开发，已相继建立了网络化的电能质量监测平台；广东、浙江、江苏电力公司采用自主研发的方式，开发了区域电能质量监测网。郑州电网现有电能质量监测体系已经初具规模，目前已在主网146个变电站安装了电能质量监测终端651台，电能质量监测系统具备的主要功能为巡检、远程操作、数据查询分析、报表统计等，缺乏基于数据挖掘功能支撑的高级分析应用。
为更好地支持高级分析应用，需要对电能质量监测数据进行整理和清洗，主要基于以下幾方面的原因：电能质量监测系统的开发人员不熟悉电能质量相关标准，将本不属于电能质量问题的事件进行了记录；电能质量监测系统的开发人员对输配电系统的运行原理缺乏了解，对关联事件进行了重复记录；由于通信等方面的系统错误，记录的部分数据可能存在不合理性或非一致性，需要剔除。
2、电能质量监测数据高级分析
电能质量监测数据为深入研究实际运行电网的电能质量问题提供了基础，当前已经存在大量面向该类数据的分析和研究，按研究手段和应用目的可将这些研究分为两大类：一类是以数据统计为手段，以电能质量监测优化、评估和运行管理为目的的基础分析；另一类是以数据挖掘为手段，以从大规模、高维的电能质量监测数据中提取出隐藏的模式和规则，为电力系统规划和决策提供支持依据的高级分析。其中，电能质量监测数据高级分析的主要过程如图1所示。从图中可发现：数据清洗是进行电能质量数据高级分析的前提和基础。
3、电能质量监测数据清洗
为说明数据清洗技术在电能质量数据分析中的重要性，本文重点以电能质量监测系统所记录的暂态事件的对应数据为例，对其进行具体的梳理和清洗。
3.1 具体步骤
针对电能质量问题，对采集到的监测数据进行清洗，可通过以下三个主要步骤来实现：
（1） 数据剔除：即将不符合电能质量暂态事件定义的数据予以剔除。根据由IEEE SCC 22提出并已被IEC采纳的电能质量的分类标准，将持续时间在半个周波到一分钟以内的电压变化（含电压暂升、电压暂降和短时电压中断）定义为电能质量暂态事件。因此，对持续时间在半个周波到一分钟范围以外的监测数据予以剔除。
（2） 事件统计：即对电能质量暂态事件的发生次数进行准确统计。目前，输、配电是通过三相交流电即由三个频率相同、电势振幅相等、相位差互差120°角的交流电路组成的电力系统来实现的。在统计过程中，为保证统计结果的准确性，将同一变电站的同一母线下在同一时刻发生的两相或三相的暂态事件均按照分析目标（即电压暂升、电压暂降或短时电压中断）记为零次或一次。
（3） 数据再处理：即对经过以上数据剔除和事件统计两个步骤的数据作进一步的处理。在预期分析目标的要求下，部分数据可能存在不合理性或非一致性。因此，需根据相关信息如事件的关联分析、用户需求等对监测数据进行再处理。
3.2 软件实现
数据清洗软件是实现对行业中数据进行高效预处理的有力工具。近年来，市场上的数据清洗软件，既有商业开发的，也有由大学和研究机构开发的。而针对电能质量监测数据的相应软件的研发，目前还处于初步探索阶段。本研究开发了电能质量暂态事件分析软件（见图2），数据清洗是其中的重要组成部分。
软件实现是基于美国MathWorks公司出品的MATLAB平台而开发。利用MATLAB的计算功能和友好的人机交互界面，软件实现包括参数设置、数据清洗、小波分析、噪声分析等多个模块。
4、结论
本文主要工作在于将数据清洗技术应用于电能质量的监测数据，为未来进一步的高级分析应用奠定了基础。电能质量监测系统产生的海量数据因多种原因在正确性和一致性等方面存在种种问题，甚至可能产生误导。若不能对电能质量监测数据进行有效的整理和剔除，就无法准确反映实际电能质量问题的严重性。
参考文献：
[1] 王曰芬，章成志，张蓓蓓，吴婷婷.数据清洗研究综述[J].情报分析与研究.2007，12：50-56.
[2] 曹建军，刁兴春，汪挺，王芳潇.领域无关数据清洗研究综述[J].计算机科学.2010，37（5）：26-29.
[3] 叶鸥，张璟，李军怀.中文数据清洗研究综述[J].计算机工程与应用.2012，48（14）：121-129.
作者简介：
郭锐（1982-），男，河南焦作人，工程师，本科，从事电能质量监测治理和电网建设研究工作。