贵州大学，电气工程学院，贵州 贵阳

收稿日期：2023年9月14日；录用日期：2023年11月9日；发布日期：2023年11月16日

摘要

电力系统频率稳定性预测(frequency stability prediction, FSP)对于快速准确地制定故障后控制措施具有重要意义。然而，传统的数据驱动方法未能有效地将系统的时空特征纳入模型训练中，并且存在系统信息利用不足、抗噪能力差和面对新拓扑的泛化能力差等问题。针对上述问题，本文提出了一种基于多头注意机制和视觉变压器(Vision Transformer, ViT)的FSP预测方法。首先，所提出的预测方法利用位置编码层来捕捉系统的拓扑结构，以获得空间信息。其次，通过使用多通道输入层来捕获系统时间序列数据以获得时序信息。然后，采用基于多头注意力机制层来增强ViT模型的泛化能力和鲁棒性。在修改的新英格兰39总线系统上进行了测试。实验结果表明，与传统深度学习方法相比，本文所提ViT模型误差值在一般情况下降低了65.71%；在30 dB、20 dB和10 dB噪声环境下降低了61.55%、56.61%和47.14%；在拓扑改变环境下降低了49.09%，这证明了所提模型具有更高的预测精度、更好的鲁棒性和泛化能力。

关键词

频率稳定性预测，深度学习，视觉变压器模型，多头注意力机制

Frequency Stability Prediction Method Based on Vision Transformer and Multi-Headed Self-Attention

Donglai Du, Na Rong, Yihao Zhang

Department of Electrical Engineering, Guizhou University, Guiyang Guizhou

Received: Sep. 14^th, 2023; accepted: Nov. 9^th, 2023; published: Nov. 16^th, 2023

ABSTRACT

Frequency stability prediction (FSP) of power systems is of great significance for quickly and accurately developing post fault control measures. However, traditional data-driven methods fail to effectively incorporate the spatiotemporal features of the system into model training, and there are problems such as insufficient utilization of system information, poor noise resistance, and poor generalization ability in the face of new topologies. In response to the above issues, this article proposes an FSP prediction method based on multi-head attention mechanism and Vision Transformer (ViT). Firstly, the proposed prediction method utilizes a position encoding layer to capture the topological structure of the system and obtain spatial information. Secondly, by using multi-channel input layers to capture system time series data to obtain temporal information. Then, a multi-head attention mechanism layer is used to enhance the generalization ability and robustness of the ViT model, tested on the modified New England 39 bus system. The experimental results show that compared with traditional deep learning methods, the error value of the ViT model proposed in this paper is generally reduced by 65.71%; Reduced by 61.55%, 56.61%, and 47.14% in 30 dB, 20 dB, and 10 dB noise environments; The reduction of 49.09% in the topology changing environment proves that the proposed model has higher prediction accuracy, better robustness, and generalization ability.

Keywords:Frequency Stability Prediction, Deep Learning, Vision Transformer Model, Multi-Headed Self-Attention

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

电力系统频率特性揭示了发电与负载在功率失衡时的频率变化 [1] 。而随着电能消耗水平的不断提升以及大规模可再生能源的并网，电力系统的惯性逐渐降低，抵抗干扰的能力减弱 [2] 。在遭遇严重扰动时，甚至会可能出现频率崩溃现象，这将对社会活动及工业生产造成负面影响。因此，实时准确地进行在线FSP显得尤为关键。

传统的FSP方法可分为两类，即时域仿真和等效模型法。在 [3] 中，微电网被建模为d-q参考系下的负反馈系统以预测孤岛多母线微电网的频率稳定性。在 [4] 中，建立了一个将调速器响应和频率偏差解耦的分析模型来预测最小频率。文献 [5] 建立了一个混合等效模型来研究频率响应性。混合模型包括等效转子模型、等效调速器模型和等效负载模型。文献 [6] 中构建了一个带有df/dt惯性控制的简化3型风电模型以探索频率响应。尽管时域仿真逻辑严密，精度高，但其时间复杂度高。而等效模型简化组件模型以提高了计算性能，但它降低了精度，因此，这两者都难以提供快速可靠的在线频率稳定评估 [7] 。

近年来，广域测量系统(wide area measurement systems, WAMS)和相量测量单元(phasor measurement units, PMU)的广泛应用，为基于机器学习的FS发展带来契机 [8] 。决策树 [9] 、支持向量机 [10] 、随机权重神经网络 [11] 被用于FSP。然而，此类浅层方法不足以应对电力系统的高维时变特性。因此，学者们引入了深度学习以弥补机器学习的短板，它在处理形如FSP的非线性问题上表现出了卓越的性能。长短时记忆网络(Long Short-Term Memory, LSTM) [12] 和残差记忆网络 [13] 等方法侧重于提取时间信息，卷积神经网络(Convolutional Neural Network, CNN) [14] 和图神经网络(Graph Convolutional Network, GCN) [15] 等方法强势于融合空间特征。然而，仅考虑拓扑或时间信息来执行FSP并不够全面。因此，一些多模型组合 [16] [17] 被开发出来解决以上问题，例如，CNN-GRU和GNN-LSTM等。但这些模型仍存在问题，例如，在物理意义上同等对待时间与空间特征并不可靠，基于多模型的方法需要更长训练周期。

因此，本文提出了一种基于ViT [18] 的FSP模型。所提出的ViT具有强大的时空特征提取能力。通过分块嵌入层、位置编码层、Transformer编码器、全连接层将输入数据转换为其高级表示，以集成FSP的完整时空动态。因此，所提ViT的准确性、泛化能力和鲁棒性得到了提高。鉴于所提出的ViT的优点，本文利用它形成了一个深度学习框架，并将其应用于准确预测频率稳定性。此外，在噪声环境和系统拓扑变化情况下的实验也证明了该模型的优越性能。

2. 基于Vision Transformer的频率稳定评估框架

2.1. 样本生成

预测模型在修改后的新英格兰39节点系统上进行了测试，具体如图1所示。此系统涵盖了13台发电机，其中9台等效同步发电机和3台等效风力发电机。为了探究可再生能源并网对电力系统频率稳定性的影响，本文对原有的新英格兰39节点系统进行了一些调整。具体调整如下：新增了3个等效风电场，即等效风电场节点40、41和42，将其分别与母线2、29和39相连。此外，为了探究不同工况对电力系统频率稳定性的影响，将部分可再生能源取代同步发电机，并调整等效风电场发电比例实现不同渗透率工况下的系统运行环境 [19] 。

图1. 修改后的新英格兰39节点系统

实际电力生产中，电力数据的采集常受到各种干扰，因此测试所提出的模型的鲁棒性和适应性至关重要。本文进一步考虑了系统拓扑的改变以及系统受噪声影响的两种情况：1) 在基本实验数据集的故障轨迹后，分别引入了10、20和30 dB信噪比的白高斯噪声；2) 在100%负荷水平下引入有功扰动，并设置随机断开以生成拓扑变化样本，具体见表1。上述关于测试系统的数值仿真实验由时域仿真软件PSS/E 34完成，本文将故障发生时间设置为仿真开始时间(0秒处)，为故障发生后60秒处仿真结束，系统采样率为100 Hz，间隔2秒在故障轨迹上采样故障点 [20] 。

表1. 样本生成情况

2.2. 输入特征选择

在实际应用中，PMU、WAMS潮流测量系统和电力系统时域仿真软件(如PSS/E、DIgSILENT)被广泛使用，这使得深度学习的模型输入特征可被获取。而频率稳定预测是一个典型的多输入时序回归任务，并通过深度学习方法获取输入特征与频率稳定性的映射关系，而原始特征的选择对于频率稳定性预测的准确性至关重要。合适的特征选择应当具有明确的物理意义，输入特征维度越高，系统状态被反映得越全面，映射关系的准确度越高。但同时，冗余的特征量会增大原始数据的获取难度并增加模型训练成本。因此，本文参考了电力系统的突发干扰过程与过往研究进行输入特征的选择。

对于电力系统的突发干扰，发电机基于相应的同步因子承受不平衡功率 [21] 。发电机节点j和节点k之间的同步因子表示如下：

$S{P}_{jk}=V_j{V}_k\left(B_{jk}\cos {\delta }_{jk}-G_{jk}\sin {\delta }_{jk}\right)$ (1)

其中V和δ分别表示电压幅度和相角差，B_jk和G_jk表示传输阻抗。

而对于发电机的功率不平衡，定义如下：

$\Delta P=P_m-P_e=2\frac{H}{f_N}\frac{\text{d}f}{\text{d}t}$ (2)

其中P_m和P_e分别表示发电机的机械功率和电功率。H表示发电机的惯性常数。f_N表示系统运行频率。

而在电力系统的突发干扰过程中，V、δ、P_m和P_e均是决定性的物理量，综合考虑上述原因与相关文献 [21] [22] ，本文选择各母线、各发电机和各线路相关物理量的时间序列作为预测模型的输入特征，具体输入特征如表2所示：

表2. 型输入特征

3. 基于Vision Transformer的频率稳定预测方法

ViT是一种在高维非线性预测领域中表现出卓越性能的深度学习模型。它基于Transformer架构，包括分块嵌入层、位置编码层、Transformer编码器、全局汇聚层和全连接层。原始数据集被模型表示为一系列固定大小的块，每个块被展平成一个向量来作为模型的输入，再以全连接层输出所预测的系统频率轨迹。由于该架构可以提取输入特征中的位置信息和时序信息，契合于电力系统的频率稳定预测问题。

ViT相较于传统深度学习方法具有一些优点，其通过Transformer编码器可以高效捕获全局特征，预防了深度学习的局部收敛问题。又通过多头注意力机制更好地利用输入数据中有价值的信息，并在一定程度上可以解释其预测过程，这使得模型决策过程变得更加透明。

3.1. 分块嵌入与位置编码层

分块嵌入层将输入的原始数据 $x\in {\text{R}}^H{}^{\times W\times C}$ 分成一系列固定大小的块 $x_p\in {\text{R}}^{N\times \left(p^{2}C\right)}$ ，每个块被展平成一个向量用作模型的输入，其过程类似于自然语言处理中的词嵌入，其中，p²是每个块的分辨率，C代表输入数据的通道数，(H, W)则代表输入数据的尺寸。而后，为了引入输入数据的位置信息，位置编码层被引入，由于Transformer没有显式的卷积操作，它无法捕捉到输入序列中元素的位置信息。因此，ViT在嵌入向量中添加了位置编码，以便模型能够区分不同位置的特征，其公式通常如下：

$\{\begin{array}{l}PE\left(pos,2i\right)=sin\left(\frac{pos\text{}}{{10000}^{2i/d}}\right)\\ PE\left(pos,2i+1\right)=\cos \left(\frac{pos\text{}}{{10000}^{2i/d}}\right)\end{array}$ (3)

其中，PE (pos, 2i)和PE (pos, 2i + 1)分别表示位置pos上的奇数和偶数维度的位置编码，i表示编码的维度，d是嵌入的维度。

3.2. Transformer编码器

由位置编码层处理后的数据将由该编码器进行处理。而Transformer编码器是ViT模型的关键组件，其包含归一化层、多头注意力机制层和前馈神经网络层。得益于多头注意力机制模块，数据集中的位置信息和特征间的关联信息在该机制的注意力权重下得以有效捕获。这有助于模型更好地理解图像中不同部分之间的关联性，从而提高模型的性能和泛化能力。多头注意力机制定义如下：

$Attention\left(Q,K,V\right)=softmax\left(\frac{Q{K}^{\text{T}}}{\sqrt{dk}}\right)V$ (4)

其中，Q是查询(Query)矩阵，K是键(Key)矩阵，V是值(Value)矩阵，d_k是键的维度。多头自注意力通过多组不同的Q、K、V进行计算，然后将它们拼接在一起。

前馈神经网络通过多层的非线性变换，可以逐渐将经由多头注意力机制处理过后的输入数据映射到更高维的特征空间，从而生成信息量更大的特征表示，从而增加模型的适应性。因此，ViT能对输入数据中更抽象、更高级别的特征进行建模，其定义如下：

$FFN\left(x\right)=max\left(0,x{W}_1+b_1\right)W_2+b_2$ (5)

其中，x是输入数据，W₁、b₁和W₂、b₂分别是第一、二个全连接层的权重和偏置。

3.3. 全局汇聚与全连接层

ViT中的全局汇聚是指数据在经过上述层处理后，在模型的最后阶段将特征向量从不同位置汇总成一个全局特征向量。这个全局特征向量可以用于后续的分类、回归或其他任务，定义如下所示：

$GlobalPooling\left(x\right)=\frac{1}{N}{\displaystyle \sum _{i=1}^N{x}_i}$ (6)

其中，N是特征的数量，x_i是第i个位置的特征向量。

在这之后，全局汇聚后的特征向量被送入一个或多个全连接层，用于最终的回归任务。

4. 方法步骤

4.1. 数据标准化

为了降低输入特征维度和量纲对训练模型的影响，通过数据标准化对原始数据集进行预处理。这有助于使数据在不同特征之间具有更好的平衡，减少不同特征尺度之间的影响，从而提高模型的训练效果和收敛速度。此外，标准化也有助于防止梯度消失或爆炸等深度学习模型训练中的常见问题。

本文使用Z-Score归一化，也被称为标准化(Standardization)进行数据预处理 [23] 。此外，神经网络可能会忽略非归一化数据的分布特征，从而降低对其他数据的泛化能力。是一种常用的数据归一化方法，用于将数据转化为均值为0，标准差为1的标准正态分布。这种归一化方法通过减去数据的均值，然后除以数据的标准差，将数据映射到一个具有零均值和单位方差的分布上，从而使得数据的分布更加稳定，标准化的计算方法如下所示：

$X_{standardized}=\frac{X-\mu }{\sigma }$ (7)

式中，X_standardized是经过标准化后的数据点，X是原始数据点，μ是数据均值，σ是数据的标准差。

4.2. 基于Vision Transformer的频率稳定预测流程

基于Vision Transformer的频率稳定预测模型主要包括构建训练数据集、离线训练和在线应用3个部分，具体流程如下：

第一步：通过PSS/E 34建立所需新英格兰39节点系统模型；

第二步：对系统模型进行修改，新增三个等效风力发电机组，初始化模型参数，设置不同的切机状态与负荷水平i，设置系统的运行方式；

第三步：进行数值仿真，记录深度学习的模型输入特征，构建训练数据集；

第四步：对模型进行超参数寻优，生成基于ViT的频率稳定预测模型；

第五步：将频率稳定预测模型离线训练好，并将模型保存，再进行线上应用。

具体过程如图2所示：

图2. 基于VIT模型的频率稳定预测流程图

4.3. 模型评价指标

为了比较测试模型的性能，本文采用平均绝对百分比误差(mean absolute percentage error, MAPE)和均方根误差(root-mean squared error, RMSE)来评价各模型的性能 [24] ，定义如下：

$E_{MAPE}\left(f,I\right)=\frac{1}{m}{\displaystyle \sum _{i=1}^m\frac{\left|f\left(x_i\right)-y_i\right|}{\left|f\left(x_i\right)\right|}}$ (8)

$E_{RMSE}\left(f,I\right)=\sqrt{\frac{1}{m}{\displaystyle \sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2}}$ (9)

式中m是样本个数，i表示序号。x和y分别为样本的真实值与预测值。

模型损失函数采用L2范数损失函数。L2范数损失函数，即最小平方误差(LSE)，它将预测值与真实值的差值的平方和最小化，其计算公式如下所示：

$\text{loss}\left(x,y\right)=\frac{1}{n}{\displaystyle \sum _{i=1}^n\left|y_i-f\left(x_i\right)\right|}$ (10)

式中n是样本个数，i表示序号。x和y分别为样本的真实值与预测值。这些指标的数值越小对应着测试模型的性能越好。

4.4. 频率稳定指标

本文只考虑电力系统突然遭受有功功率扰动后的惯性响应和一次频率调节。采用极值频率(extreme value frequency, f^nadir)、最大频率变化率(maximum rate of change of frequency, RoCoF ^max)和准稳态频率(quasi-steady state frequency, f ^ss)偏差来衡量频率稳定状态 [22] [23] [24] [25] 。在扰动后的频率变化过程中，各母线频率会围绕f_COI上下波动，一般使用f_COI来表征系统频率，其定义如下：

$f_{COI}={\displaystyle \sum _{i=1}^n\left(H_i{f}_i\right)}/{\displaystyle \sum _{i=1}^n{H}_i}$ (11)

式中n表示电力系统中并网发电机组数量，H_i表征第i台发电机组的惯性时间常数，f_i代表第i台发电机组所在母线频率。

(1) f ^nadir：f ^nadir是f_COI瞬时变化过程中的极值，其决定切机或甩负荷的发生，因而是频率扰动下最重要的指标。其值应满足f ^min£ f ^nadir£ f ^max, f ^min, f ^max是电网允许的最小/最大频率。

(2) RoCoF^max：RoCoF表征扰动后f_COI变化快慢，RoCoF^max是故障后短时间内(如500 ms)允许的最大频率变化率。为避免触发频率变化率保护装置，RoCoF^max应满足电网运行规范。

(3) f ^ss：f ^ss是系统中出现扰动后恢复到准稳态的频率值，是检验系统恢复到准稳定状态的重要依据，应满足电网运行规范。

5. 算例分析

5.1. 算例情况说明

仿真平台：Intel(R)Core(TM)i7-12700KF 3.61 GHz CPU、32 GB RAM和NVIDIA GeForce RTX 3070 GPU。所有涉及的算法都在Pytorch-v1.10.1和Scikit-earn-v1.0.2中实现。时域仿真软件为PSS/E 34。

为验证所提方法的准确性、鲁棒性和适应性，本文设置了三种情况对各模型进行测试：1) 没有外界干扰情况下，只考虑切机实验进行频率稳定性预测；2) 考虑了系统拓扑频繁改变的情况，以测试所提方法的适应性；3) 考虑了原始系统数据受到噪声影响的情况，以测试所提方法的鲁棒性。所测试模型包含SVM、GRU、LSTM、ResNet、CNN、GCN和ViT，所有模型均输入相同的训练集样本，输入相同的测试集样本进行训练。在训练初始化时，数据集被随机划分并采用五折交叉验证方法和L2损失函数验证性能，测试模型均通过参数优化和多次训练达到了最小误差。参数优化之后，ViT的学习率衰减率被设置为每10个epoch衰减到原来的90%。激活函数和优化器分别设置为GELU和Adam。初始学习率、权重衰减率和epoch分别设置为0.01、0.0001、200。ViT通过Pytorch框架实现，其他模型通过Scikit-learn平台实现。ViT的具体结构参数如表3所示：

表3. ViT结构参数

5.2. 各模型有效性比较

本节通过对性能指标的详细比较，评估了各测试模型在频率稳定性预测方面的有效性，相关数据可见于图3。值得强调的是，ViT模型在本节的比较中展现出了卓越的性能，在测试集上，其RMSE值为0.0296，MAPE值为0.0289。这些误差指标在所有测试模型中均居于最低水平，为ViT模型在FSP任务上的优越性提供了有力支持。相比之下，GCN模型的性能较为逊色，尽管GCN能够有效地提取系统的拓扑信息，但其未能充分纳入时间信息进行模型学习。而CNN和ResNet模型的性能稍逊于ViT和GCN，在整体测试模型中处于中游水平，展现出不是很可靠的预测准确度，这是因为这两种模型侧重于捕捉系统的局部位置信息，然而对于电力系统的空间特征，并不能较为准确的表达。而LSTM、GRU和SVM模型的表现最不理想，因为这些模型并未融合拓扑信息，因此在FSP任务上的预测性能不尽如人意。从整体来看，ViT模型的优越性得益于其多头注意力机制和全局特征提取的特点。这些特点允许模型充分挖掘频率稳定预测任务中的时空特征，使得其预测性能在实际应用中超越其他方法。

图3. 各模型性能对比

5.3. 噪声环境下各模型的鲁棒性比较

本节展示了各测试模型在噪声环境下的表现，具体指标数据见图4。就测试系统而言，ViT模型在30 dB、20 dB和10 dB噪声环境下的测试集的RMSE分别为0.0311、0.0495和0.0684。从表中数据可以看出，随着噪声水平的增加，各模型的测试误差均呈现出上升的趋势。然而，在不同信噪比下，ViT模型的预测精度始终优于其他模型。这一现象可以解释为，全局特征提取和多头注意力机制能够有效地过滤掉注意力与权重较低的特征，从而提高了模型的鲁棒性。与ViT类似，GCN模型采用了切比雪夫滤波结构，但其未引入全局特征提取与多头注意力机制，因此其噪声过滤能力逊于ViT。CNN和ResNet模型同样具备滤波结构，但他们缺乏类似于ViT模型的多头注意力机制，因此它们的噪声过滤能力不及前两者。最后，LSTM、GRU和SVM模型的性能表现最不理想，主要原因在于它们的浅层结构难以有效提取高维时空特征，同时也没有任何形式的滤波器来减弱噪声影响。因此，这些模型更容易受到噪声的干扰，进而影响了它们在噪声环境下的表现。综上所述，全局特征提取和多头注意力机制在ViT模型中的应用，使得该模型具备了较好的噪声过滤能力，尤其得益于多头注意力机制，模型的鲁棒性进一步提高，使得ViT模型在不同噪声环境下的表现均相对稳定。

5.4. 拓扑结构变化下各模型的适应性比较

本节展示了当测试系统的拓扑结构发生变化时，各模型的性能表现，具体数据见图5。对测试系统而言，在拓扑变化发生时，尽管ViT模型的性能受到一定负面影响，但其在测试集上仍然保持着相对较低的误差指标，其RMSE为0.0511，MAPE为0.0584，这使其在测试模型中表现最佳。这种优越性归因于ViT模型的位置编码与多头注意力层。它们允许ViT模型将FSP的全面时空动态融入模型训练中，从而实现更高的性能。GCN模型具有类似提取拓扑信息的图卷积结构，但由于未引入自注意力机制，其性能不如ViT模型。在拓扑结构变化的情况下，缺乏自注意力机制的GCN无法充分应对系统的变化，导致性能有所下降。与此同时，CNN和ResNet模型的RMSE分别为0.1162和0.1418。但值得特别注意的是，这两种模型所提取的矢量位置数据无法有效地反映拓扑结构的变化，因此它们的性能表现相对较差。而LSTM、GRU和SVM模型则没有任何提取拓扑信息的模块，导致它们在拓扑结构变化情况下的性能最为不佳。总的来看，图5的结果展示了ViT模型在处理系统拓扑结构变化时的相对优势。其有效的自注意力机制和位置编码设计使ViT模型能够更好地捕捉FSP的时空特征，从而在拓扑变化情况下保持较为稳定的性能。

图4. 不同噪声下各模型性能对比

图5. 拓扑改变下各模型性能对比

6. 结论

为了更好地将频率稳定预测的时空动态有机地融入学习模型，本文提出了一种基于ViT的频率稳定预测方法，克服了传统频率预测方法在准确性、鲁棒性和适应性方面的局限性。通过基于时域仿真软件对经过修改的新英格兰39节点系统进行了仿真研究分析，并与其他深度学习算法进行了性能对比，最终验证了所提方法的性能。根据实验结果得出以下结论：

1) 在SVM、GRU、LSTM、ResNet、CNN和GCN模型的测试中，GCN的误差仅次于所提ViT模型并高于其余模型，而本文所提ViT模型的误差值相较GCN降低了65.71%。这证明在可再生能源，即新增的3个风力发电厂并网后，本文所提ViT模型在频率稳定性预测上具有更高的精度。

2) 采用位置编码和全局特征提取机制捕获了频率稳定预测的完整时空特征，随后通过多头注意力机制持续关注所有输入特征的权重，并通过Transformer联层聚合不同感受野的时空特征，可以提高模型的抗噪能力和面对拓扑变换的适应性。实验结果表明，对比所提出的ViT的误差值在30 dB、20 dB和10 dB噪声环境下降低了61.55%、56.61%和47.14%；在拓扑改变环境下降低了49.09%，这证明了所提模型在输入数据含有大量噪声时具有更好的鲁棒性，在电力系统拓扑结构变化时具有更好的适应性。

基金项目

黔科合基础-ZK[2021]一般277；贵州省科技支撑计划项目([2023]290)。

文章引用

杜东来,荣 娜,张异浩. 基于Vision Transformer和多头注意机制的频率稳定性预测方法
Frequency Stability Prediction Method Based on Vision Transformer and Multi-Headed Self-Attention[J]. 建模与仿真, 2023, 12(06): 5354-5367. https://doi.org/10.12677/MOS.2023.126486

参考文献