变电站二次电缆数据的Spark-KNN并行模式识别技术
摘要:随着智能电网的快速发展,变电站二次电缆状态监测数据呈指数级增长,逐渐构成二次回路状态监测大数据。传统计算架构已无法满足计算性能需求。结合Spark 大数据处理技术和阿里云E-MapReduce 云计算平台,提出变电站二次电缆状态监测大数据并行模式识别方法,旨在提升二次电缆在线监测系统对短时间内骤增的报警监测数据快速批量分析的能力。设计基于Spark 的并行化K 最近邻分类算法Spark-KNN,实现了海量二次电缆监测数据的并行模式识别。实验结果表明,Spark-KNN 平均性能是Hadoop MapReduce 实现的2.97 倍,更适合执行二次电缆监测大数据的实时处理任务。
宁雪峰