一种基于虚拟发电部落的AGC功率动态分配方法

技术领域

本发明涉及电力系统自动发电控制技术领域，特别是涉及基于协同一致性迁移Q学习的虚拟发电部落AGC功率动态分配方法，该方法适用于互联电网AGC分散控制系统功率的随机优化动态分配。

背景技术

AGC(Automatic Generation Control，自动发电控制)作为EMS(Energy Management System，能量管理系统)的重要环节之一，保证了互联电网的频率和联络线交换功率保持在额定值。一般来说，AGC主要分为两个过程：1)总功率指令的跟踪，实际电网调度中心主要采用PI控制器，也有学者提出模糊控制、强化学习等智能控制方法；2)总功率指令的分配，实际系统中往往按照工程经验或者按相同可调容量比例固定分配的方法进行功率分配，为减少调节费用和提高CPS(Control Performance Standard，控制性能标准)，余涛等学者采用了Q学习、多步回溯Q(λ)方法、改进分层Q学习等一系列强化学习算法进行功率动态分配优化。然而，上述所有的分配算法均是集中式优化算法，当AGC机组规模增加时，其优化效果也随着下降，收敛时间也随之增加，难以满足AGC的4～16秒时间尺度要求。另一方面，集中式优化算法需要对各个AGC机组的运行数据进行采集，也容易导致通信阻塞。

为此，申请人在《互联电网AGC功率动态分配的虚拟发电部落协同一致性算法》(中国电机工程学报)提出了基于VGT(Virtual Generation Tribe，虚拟发电部落)的功率动态分配协同一致性算法，分别以调节费用和爬升时间为一致性状态变量，有效解决了AGC功率分配的分散自治问题，但其一致性算法只是简单的一阶一致性算法，且采用两层功率分配，对优化模型的依赖性较强，更容易陷入局部最优解。为提高一致性算法在动态随机环境的适应性，Moura教授在《QD‐Learning：a collaborative distributed strategy for multi‐agent reinforcement learning through consensus+innovations》(IEEE Transactions on Signal Processing)对一致性算法和经典强化学习Q算法进行了高度有机融合，提出了一种全新的分散式多虚拟发电部落强化学习——QD学习算法。然而，QD学习与传统机器学习算法一样，在学习新任务的时候并没有利用过去的学习经验和结果，使得算法每次进行探索学习新的优化任务时，将耗费大量的时间，这也无法应用到超短期控制时间尺度的AGC功率分配。

近年来，为充分利用历史优化任务的有效行为及知识，以提高强化学习算法的学习效率，许多学者已经对迁移学习展开了深入的研究。Fachantidis A，Partalas I，Tsoumakas G等学者在《Transferring task models in reinforcement learning agents》(Neurocomputing)指出迁移学习旨在利用过去历史优化任务的遗留信息来处理新的优化任务，其中迁移性能的好坏完全取决于新任务与历史任务的相似性，实际上不同的优化任务也往往相互关联。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于协同一致性迁移Q学习(consensus transfer Q-learning，CTQ)的虚拟发电部落AGC功率动态分配方法。该方法在虚拟发电部落控制框架下，在每个部落与其相邻部落进行值函数矩阵的交互一致性计算后，部落领导者能自组织地协同各个部落的发电功率，从而达到“分散自治，集中协调”的效果；有效地利用历史优化信息进行快速的功率动态分配优化，以满足AGC的控制时间尺度要求。

本发明基于协同一致性迁移Q学习的虚拟发电部落AGC功率动态分配方法，包括两个过程：1)将区域电网的总功率指令分配到各个虚拟发电部落VGT；2)将各个虚拟发电部落VGT的总功率指令分配到其发电机组群。CTQ算法应用于第一个过程进行功率分配，第二个分配过程由于机组规模庞大，为提高优化计算速度，仍采用申请人在《互联电网AGC功率动态分配的虚拟发电部落协同一致性算法》(中国电机工程学报)中简单的机组爬升时间一致性算法进行功率分配。基于迁移学习中的行为迁移，本发明提出了一种CTQ算法，并采用功率分配优化任务的线性相似性因子，有机地应用到虚拟发电部落的AGC功率动态分配，有效解决复杂大规模电网AGC功率动态分配的分散式优化问题，在减少AGC机组调节费用的同时，可以提高区域电网的控制性能标准。

本发明的目的通过下述技术方案实现：

基于CTQ的虚拟发电部落AGC功率动态分配方法，包括以下步骤：

(1)搭建基于虚拟发电部落VGT的AGC功率分配框架，确定虚拟发电部落VGT的领导者；

(2)确定状态集S和动作离散集A_Q；

(3)采集当前控制周期区域电网的实时的总发电功率指令ΔP_∑，即为当前的状态，利用迁移学习初始化各个虚拟发电部落的值函数矩阵和选择动作；

(4)根据领导者发布的策略选择动作计算第i个虚拟发电部落VGT_i的调节功率ΔP_i；

(5)由ΔP_i→R_i进行奖励函数值映射计算，获得各个虚拟发电部落的立即奖励函数值R_i，其中ΔP_i是第i个虚拟发电部落VGT_i的调节功率，R_i是第i个虚拟发电部落VGT_i的奖励函数；

(6)对当前状态下各个虚拟发电部落的一致性权重和自学习权重进行更新；

(7)根据当前控制周期各个虚拟发电部落的立即奖励值更新当前控制周期下各虚拟发电部落的值函数矩阵Q_i；

(8)判断当前控制周期内领导者第k+1次迭代的值函数矩阵Q_i^k+1与第k次迭代的值函数矩阵Q_i^k的差的二范数是否小于一个无限小的正数ε，即||Q_i^k+1‐Q_i^k||₂<ε；若不满足，则返回步骤(5)，若满足则转下一步；

(9)求解出当前状态下的选择动作，进而得到第i个虚拟发电部落VGT_i的调节功率ΔP_i；

(10)根据第i个虚拟发电部落VGT_i的调节功率ΔP_i，通过爬升时间一致性算法求得第i个虚拟发电部落VGT_i的第w个机组的机组调节功率ΔP_iw，并在下一个控制周期到来时，返回步骤(3)。

所述步骤1中的基于虚拟发电部落的AGC功率分配框架，在此框架下，传统区域电网根据地理分布被划分为若干个领地电网，即虚拟发电部落VGT，实际上是在AGC与发电厂功率控制(Plant Controller，PLC)之间增加一个新的发电调度与控制层，是由领地电网内大型电厂PLC、主动配网AGC、微网AGC及负荷调控系统构成的发电机组群。VGT之间采用领导者‐跟随者模式进行通信协作，领导者即区域电网的调度中心，负责功率扰动平衡；跟随者即普通VGT的调度端，主要负责与领导者进行交互协同。

所述步骤2的状态离散集S是由每一个总发电功率指令ΔP_∑作为一个状态所构成的。

所述步骤2中的动作离散集A_Q是由若干个动作组合构成的。当存在y个动作策略，n个虚拟发电部落时，动作离散集A_Q是一个y×n的矩阵，可表示如下：

A_Q＝[a₁>2 …>y]＝[(λ₁₁,λ₁₂,…,λ_1n),

(λ₂₁,λ₂₂,…,λ_2n),…,(λ_y1,λ_y2,…,λ_yn)]

其中，a_y为动作离散集A_Q的第y个动作；λ_yn为采取第y个动作策略中分配给虚拟发电部落n的分配功率因子。

所述步骤3中的初始选择动作为动作离散集A_Q中任一动作。

所述步骤3中根据当前优化任务，利用迁移学习初始化各个虚拟发电部落的值函数矩阵之前，需要建立值函数源矩阵。本发明方法以总发电功率指令ΔP_∑的接近程度作为不同优化任务的相关性评价指标。首先，对总发电功率指令ΔP_∑进行区间范围划分，区间分别为:

$\left\{\right[{\mathrm{\Delta P}}_{left}^1,{\mathrm{\Delta P}}_{right}^1),...,[{\mathrm{\Delta P}}_{left}^{\eta },{\mathrm{\Delta P}}_{right}^{\eta }),...,[{\mathrm{\Delta P}}_{left}^Z,{\mathrm{\Delta P}}_{right}^Z\left]\right\}$

其中，分别表示第η个总发电功率指令ΔP_∑的左、右端点；Z为总发电功率指令ΔP_∑的区间个数。

采集当前控制周期的总发电功率指令ΔP_∑，假定其落在第η个负荷扰动区间内，则当前优化任务与左右端点优化任务的相关性分别为：

$\left(\begin{array}{c}{r}_{left}=\frac{{\mathrm{\Delta P}}_{right}^{\eta }-{\mathrm{\Delta P}}_{\Sigma }}{{\mathrm{\Delta P}}_{right}^{\eta }-{\mathrm{\Delta P}}_{left}^{\eta }}\\ r_{right}=\frac{{\mathrm{\Delta P}}_{\Sigma }-{\mathrm{\Delta P}}_{left}^{\eta }}{{\mathrm{\Delta P}}_{right}^{\eta }-{\mathrm{\Delta P}}_{left}^{\eta }}\end{array}\right)$

其中，r_left、r_right分别表示当前优化任务与区间左、右端点对应优化任务的相关性，0≤r_left≤1，0≤r_right≤1，r_left+r_right＝1。

因此当前状态下的优化任务的初始值函数矩阵为：

Q_i＝r_leftQ_i,left+r_rightQ_i,right>

式中：Q_i,left、Q_i,right分别表示虚拟发电部落i在区间左、右端点对应最优值函数矩阵，可通过预学习获得(见流程图2)。

所述步骤4中的领导者发布的策略选择动作，即为贪婪策略π^*，如下：

${\pi }^{*}\left(s_k\right)=\arg \underset{a^{\prime }\in A_Q}{max}{Q}_{leader}^k(s_k,a^{\prime })$

其中，Q_leader表示领导者的状态‐动作值函数矩阵，s_k代表第k次迭代的状态；a'是指动作空间A_Q内的任意一个动作。

所述步骤4中的第i个虚拟发电部落VGT_i的调节功率ΔP_i可通过如下公式计算：

ΔP_i＝λ_yiΔP_Σ

其中，λ_yi为采取第y个动作策略中分配给虚拟发电部落部落i的分配功率因子，且要满足的约束。

所述步骤5中的立即奖励函数值R_i(s_k,a_k,s_k+1)可设计如下：

$\left(\begin{array}{c}{R}_i\left(s_k,a_k,s_{k+1}\right)=-{\mu }_1\underset{w=1}{\overset{m_i}{\Sigma }}{C}_{iw}{\mathrm{\Delta P}}_{iw}-\\ {\mu }_2\underset{j=i\cup j\in {\Omega }_i}{\max }\left(\underset{w=1,2,K,m_j}{\min \max }\left({\mathrm{\Delta P}}_{jw}/{\mathrm{\Delta P}}_{jw}^{rate}\right)\right)\end{array}\right)$

其中，μ₁、μ₂分别为调节费用目标和爬升时间目标的权重系数，且μ₁≥0，μ₂≥0，调节费用目标是指最小化整个控制区域电网内所有AGC机组的调节成本之和，爬升时间目标是最小化所有机组的最大爬升时间；C_iw为部落i中第w个机组的调节成本系数；ΔP_iw表示部落i中第w个机组的发电功率指令；表示部落i中第w个机组的调节速率；n为部落总个数；m_i为部落i的机组总个数；Ω_i表示与部落i相邻的部落的集合。

由于奖励函数值的计算需要先确定部落内部各个机组的调节功率，而在爬升时间一致性算法下，不同的部落功率情况下的机组调节功率是确定的。因此，可采用最小二乘法对部落i的调节功率ΔP_i和R_i进行映射关系拟合，以加速奖励函数值计算。

所述步骤6中的各个虚拟发电部落的一致性权重β^k(s_k,a_k)和自学习权重α^k(s_k,a_k)进行更新如下：

${\beta }^k(s_k,a_k)=\frac{o_2}{{\left(N_O\right(s_k,a_k)+1)}^{{\tau }_2}}$

${\alpha }^k(s_k,a_k)=\frac{o_1}{{\left(N_O\right(s_k,a_k)+1)}^{{\tau }_1}}$

其中，N_O(s_k,a_k)表示状态‐动作对(s_k,a_k)在算法探索寻优的出现次数；o₁、o₂、τ₁、τ₂分别为正常数，且要满足τ₁∈(1/2,1)、0<τ₂<τ₁‐1/(2+ε₁)的约束，其中ε₁是个无限小的正数。

所述步骤7中的当前控制周期下各虚拟发电部落的值函数矩阵Q_i更新如下：

$Q_i^{k+1}(s_k,a_k)=Q_i^k(s_k,a_k)-C_Q(s_k,a_k)+I_Q(s_k,a_k)$

其中，C_Q(s_k,a_k)表示虚拟发电部落i在s_k状态下执行动作a_k时与相邻虚拟发电部落之间的协同一致性更新项，也是表征CTQ与单虚拟发电部落Q学习的最大不同特性；I_Q(s_k,a_k)表示虚拟发电部落i在状态s_k下执行动作a_k时的自学习更新项，与单虚拟发电部落Q学习更新机制一样。其中，C_Q(s_k,a_k)、I_Q(s_k,a_k)的迭代更新分别如下：

$C_Q(s_k,a_k)={\beta }^k(s_k,a_k)\underset{j\in {\Omega }_i\left(k\right)}{\Sigma }\left(Q_i^k\right(s_k,a_k)-Q_j^k(s_k,a_k\left)\right)$

$\left(\begin{array}{c}{I}_Q(s_k,a_k)={\alpha }^k\left(s_k,a_k\right)\left[R_i\right(s_k,a_k,s_{k+1})+\\ \gamma \underset{a^{\prime }\in A_Q}{\max }{Q}_i^k\left(s_{k+1},a^{\prime }\right)-Q_i^k\left(s_k,a_k\right)]\end{array}\right)$

其中，s_k、s_k+1分别代表第k次和k+1次迭代的状态；是虚拟发电部落i在s_k状态下执行动作a_k的Q值；Ω_i(k)是在第k次迭代时与虚拟发电部落i相邻虚拟发电部落的集合。

所述步骤10中的爬升时间一致性算法包括以下步骤，详细请见笔者的《互联电网AGC功率动态分配的虚拟发电部落协同一致性算法》(中国电机工程学报)：

①对第i个虚拟发电部落VGT_i的第w个机组功率爬升时间t_iw和第i个虚拟发电部落VGT_i的功率偏差值ΔP_error-i初始化，其中

②采集当前控制周期区域电网的实时运行数据，包括总发电功率指令ΔP_∑、第i个虚拟发电部落VGT_i的调节功率ΔP_i以及各机组的实时输出有功功率，并计算出第i个虚拟发电部落VGT_i的功率偏差值ΔP_error-i，同时根据第i个虚拟发电部落VGT_i的调节功率ΔP_i确定调节速率方向其中，调节速率方向根据下式确定：

式中：表示第i个虚拟发电部落VGT_i的第w个AGC机组的上升调节速率限制；表示第i个虚拟发电部落VGT_i的第w个AGC机组的下降调节速率限制。

③根据当前控制周期第i个虚拟发电部落VGT_i的机组功率爬升时间t_iw和第i个虚拟发电部落VGT_i的功率偏差值ΔP_error-i进行一致性计算；

第i个虚拟发电部落VGT_i的第w个AGC机组的功率爬升时间一致性更新如下：

$t_{iw}[k+1]=\underset{j=1}{\overset{m_i}{\Sigma }}{d}_{jw}\left[k\right]t_{ij}\left[k\right]$

同时，为保证VGT的功率平衡，首领的爬升时间应更新如下：

其中，μ_i表示部落i的功率误差调节因子，μ_i＞0。

④计算机组功率ΔP_iw；

机组功率ΔP_iw可通过下式计算：

$t_{iw}={\mathrm{\Delta P}}_{iw}/{\mathrm{\Delta P}}_{iw}^{rate}$

⑤判断机组功率ΔP_iw是否越限。若机组功率ΔP_iw越限，重新分别计算机组功率ΔP_iw和机组功率爬升时间t_iw，并更新行随机矩阵元素；否则，转下一步；

若机组功率ΔP_iw越限，机组的功率ΔP_iw及其爬升时间t_iw可按如下公式重新计算：

其中，分别代表VGT_i的第w个机组的功率最大和最小备用容量。

若机组功率ΔP_iw越限，与机组w的连接权重都变为零，即：a_wj＝0,j＝1,2,L,m_i，同时进行相应的行随机矩阵元素更新。

⑥更新VGT_i的功率偏差值ΔP_error-i；

⑦判断精度。若|ΔP_error-i|＜ε_i，其中ε_i是个无限小的正数，则得到机组功率ΔP_im，否则返回步骤③。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明的CTQ方法是一种具有“分散自治、集中协调”特性的多虚拟发电部落强化学习算法，可以很好地融合到虚拟发电部落的控制框架，为今后信息网络和能量网络充分密集的能源互联网AGC分散协调控制提供了新的思路。

(2)本发明的CTQ方法在引入任务相关性的迁移学习后，可以快速地进行动态优化，同时保证全局收敛的稳定性，在满足AGC的控制时间尺度要求的同时，可以提高CPS的控制性能，减少AGC的调节费用。

(3)本发明的CTQ方法作为一种具有自学习和协同学习能力的多虚拟发电部落强化学习算法，更加适用于解决具有较强随机性、不确定性的大规模复杂电网的AGC功率动态分配问题。

附图说明

图1是本发明基于虚拟发电部落的AGC功率动态分配方法的流程图。

图2是本实施例中广东电网VGT通信网络拓扑图。

具体实施方式

为更好地理解本发明，下面结合实施例及附图对本发明作进一步的描述，但本发明的实施方式不限于此。

实施例

本实施例中以广东电网负荷频率控制模型为基础，把参与AGC调频的93台机组分为6个VGT，其中VGT的通信网络拓扑如图2所示，93台机组的相关参数具体参见表1。算例中把有信息交流的连接权重a_ij设为1。本实施例中针对模型中基于协同一致性迁移Q学习的虚拟发电部落AGC功率动态分配方法包括以下步骤(图2)：

(1)以广东电网负荷频率控制模型为基础，根据广东的地理位置分布情况，以区域电网内高压联络线为领地电网边界，把参与AGC调频的93台机组分为6个VGT，搭建基于VGT的AGC功率分配框架。其中，VGT₁～VGT₆分别代表了粤北、粤西南、粤西、珠三角、粤东南和粤东等6个领地电网，并以发用电最为核心的VGT₄作为领导者。

(2)确定状态离散集S和动作离散集A_Q

其中本实施例中确定的状态离散集S是由每一个总发电功率指令ΔP_∑作为一个状态所构成的,单位MW。

本实施例中确定的动作离散集A_Q为：

A＝[(0,0,0,0,0,1),(0.1,0,0,0,0.9),…,(1,0,0,0,0,0)]；

总共有2568个离散动作。(动作离散集其实就是穷举所有分配的情况，由于计算量的问题，分配因子的精度取到0.1)

(3)采集当前控制周期区域电网的AGC总功率PI控制器发出的实时的总发电功率指令ΔP_∑，即为当前的状态，初始化选择动作，并根据当前优化任务，利用迁移学习初始化各个虚拟发电部落的值函数矩阵。

本实施例中，初始选择动作为动作离散集A_Q中任一动作。

根据当前优化任务，利用迁移学习初始化各个虚拟发电部落的值函数矩阵之前，需要建立充足的值函数源矩阵。本发明方法以总功率指令大小的接近程度作为不同优化任务的相关性评价指标。区间分别为:

$\left\{\right[{\mathrm{\Delta P}}_{left}^1,{\mathrm{\Delta P}}_{right}^1),...,[{\mathrm{\Delta P}}_{left}^{\eta },{\mathrm{\Delta P}}_{right}^{\eta }),...,[{\mathrm{\Delta P}}_{left}^Z,{\mathrm{\Delta P}}_{right}^Z\left]\right\}$

在本实施例中，对总功率指令大小进行区间范围划分，区间分别为:{[‐1500,‐1250)、[‐1250,‐1000)、[‐1000,‐750)、…、(750,1000]、(1000,1250]、(1250,1500]}MW，总共12个迁移区间，优化源任务总共12个。其中，1500MW是对应广东电网最大单一故障(直流单极闭锁)下的负荷扰动大小。

采集当前控制周期的总发电功率指令ΔP_∑，假定其落在第η个负荷扰动区间内，则当前优化任务与左右端点优化任务的相关性分别为：

$\left(\begin{array}{c}{r}_{left}=\frac{{\mathrm{\Delta P}}_{right}^{\eta }-{\mathrm{\Delta P}}_{\Sigma }}{{\mathrm{\Delta P}}_{right}^{\eta }-{\mathrm{\Delta P}}_{left}^{\eta }}\\ r_{right}=\frac{{\mathrm{\Delta P}}_{\Sigma }-{\mathrm{\Delta P}}_{left}^{\eta }}{{\mathrm{\Delta P}}_{right}^{\eta }-{\mathrm{\Delta P}}_{left}^{\eta }}\end{array}\right)$

其中，r_left、r_right分别表示当前优化任务与区间左、右端点对应优化任务的相关性，0≤r_left≤1，0≤r_right≤1，r_left+r_right＝1。在本实施例中，控制周期为8s。

因此当前状态下的优化任务的初始值函数矩阵为：

Q_i＝r_leftQ_i,left+r_rightQ_i,right>

其中，Q_i,left、Q_i,right分别表示虚拟发电部落i在区间左、右端点对应最优值函数矩阵，可通过预学习获得。(见流程图2)

(4)根据领导者发布的策略选择动作计算部落调节功率ΔP_i。

本实施例中，领导者发布的策略选择动作，即为贪婪策略π^*，如下：

${\pi }^{*}\left(s_k\right)=\arg \underset{a^{\prime }\in A_Q}{max}{Q}_{leader}^k(s_k,a^{\prime })$

其中，Q_leader表示领导者的状态‐动作值函数矩阵，s_k代表第k次迭代的状态；a'是指动作空间A_Q内的任意一个动作。

本实施例中，部落调节功率ΔP_i根据领导者发布的贪婪策略π^*得到选择动作，进而可通过如下公式计算：

ΔP_i＝λ_yiΔP_Σ

其中，λ_yi为采取第y个动作策略中分配给虚拟发电部落i的分配功率因子，且要满足的约束。

强化学习算法就是穷举所有的分配的可能性即动作离散集的动作策略，每个动作其实就是一组比例因子构成的。

(5)由ΔP_i→R_i进行奖励函数值映射计算，获得各个虚拟发电部落的立即奖励函数值R_i(s_k,a_k,s_k+1)。

本实施例中，立即奖励函数值R_i(s_k,a_k,s_k+1)可设计如下：

$\left(\begin{array}{c}{R}_i\left(s_k,a_k,s_{k+1}\right)=-{\mu }_1\underset{w=1}{\overset{m_i}{\Sigma }}{C}_{iw}{\mathrm{\Delta P}}_{iw}-\\ {\mu }_2\underset{j=i\cup j\in {\Omega }_i}{\max }\left(\underset{w=1,2,K,m_j}{\min \max }\left({\mathrm{\Delta P}}_{jw}/{\mathrm{\Delta P}}_{jw}^{rate}\right)\right)\end{array}\right)$

其中，μ₁、μ₂分别为调节费用目标和爬升时间目标的权重系数，且μ₁≥0，μ₂≥0，调节费用目标是指最小化整个控制区域电网内所有AGC机组的调节成本之和，爬升时间目标是最小化所有机组的最大爬升时间。本实施例中，对调节费用目标和爬升时间目标的偏好一致，故μ₁、μ₂均设为0.5；C_iw为部落i中第w个机组的调节成本系数；ΔP_iw表示部落i中第w个机组的发电功率指令；表示部落i中第w个机组的调节速率；n为部落总个数，本实施例中，n为6；m_i为部落i的机组总个数；Ω_i表示与部落i相邻的部落的集合。

由于奖励函数值的计算需要先确定部落内部各个机组的调节功率，而在爬升时间一致性算法下，不同的部落功率情况下的机组调节功率是确定的。因此，可采用最小二乘法对部落功率ΔP_i和R_i进行映射关系拟合，以加速奖励函数值计算。

(6)对当前状态下各个虚拟发电部落的一致性权重和自学习权重进行更新。

各个虚拟发电部落的一致性权重β^k(s_k,a_k)和自学习权重α^k(s_k,a_k)进行更新如下：

${\beta }^k(s_k,a_k)=\frac{o_2}{{\left(N_O\right(s_k,a_k)+1)}^{{\tau }_2}}$

${\alpha }^k(s_k,a_k)=\frac{o_1}{{\left(N_O\right(s_k,a_k)+1)}^{{\tau }_1}}$

其中，N_O(s_k,a_k)表示状态‐动作对(s_k,a_k)在算法探索寻优的出现次数；o₁、o₂、τ₁、τ₂分别为正常数，且要满足τ₁∈(1/2,1)、0<τ₂<τ₁‐1/(2+ε₁)的约束，其中ε₁是个无限小的正数。在本实施例中，经过大量的仿真验证，o₁取0.2，o₂取0.8，τ₁取0.55，τ₂取0.005。

(7)根据当前控制周期各个虚拟发电部落的立即奖励值更新当前控制周期下各虚拟发电部落的值函数矩阵Q_i。

在本实施例中，当前控制周期下各虚拟发电部落的值函数矩阵Q_i更新如下：

$Q_i^{k+1}(s_k,a_k)=Q_i^k(s_k,a_k)-C_Q(s_k,a_k)+I_Q(s_k,a_k)$

其中，C_Q表示虚拟发电部落i与相邻虚拟发电部落之间的协同一致性更新项，也是表征CTQ与单虚拟发电部落Q学习的最大不同特性；I_Q表示虚拟发电部落i的自学习更新项，与单虚拟发电部落Q学习更新机制一样。其中，C_Q、I_Q的迭代更新分别如下：

$C_Q(s_k,a_k)={\beta }^k(s_k,a_k)\underset{j\in {\Omega }_i\left(k\right)}{\Sigma }\left(Q_i^k\right(s_k,a_k)-Q_j^k(s_k,a_k\left)\right)$

$\left(\begin{array}{c}{I}_Q(s_k,a_k)={\alpha }^k\left(s_k,a_k\right)\left[R_i\right(s_k,a_k,s_{k+1})+\\ \gamma \underset{a^{\prime }\in A_Q}{\max }{Q}_i^k\left(s_{k+1},a^{\prime }\right)-Q_i^k\left(s_k,a_k\right)]\end{array}\right)$

其中，s_k、s_k+1分别代表第k次和k+1次迭代的状态；是虚拟发电部落i在s_k状态下执行动作a_k的Q值；Ω_i(k)是在第k次迭代时与虚拟发电部落i相邻虚拟发电部落的集合。

(8)判断当前控制周期内领导者第k+1次迭代的值函数矩阵Q_i^k+1与第k次迭代的值函数矩阵Q_i^k的差的二范数是否小于一个无限小的正数ε，即||Q_i^k+1‐Q_i^k||₂<ε。在本实施例中，ε取0.001。

(9)求解出当前状态下的选择动作，进而得到部落调节功率ΔP_i。

(10)根据部落调节功率ΔP_i，通过爬升时间一致性算法求得机组功率ΔP_iw，并在下一个控制周期到来时，返回步骤(3)。爬升时间一致性算法的具体步骤如下：

①对第i个虚拟发电部落VGT_i的第w个机组功率爬升时间t_iw和第i个虚拟发电部落VGT_i的功率偏差值ΔP_error-i初始化，其中

②采集当前控制周期区域电网的实时运行数据，包括总发电功率指令ΔP_∑、第i个虚拟发电部落VGT_i的调节功率ΔP_i以及各机组的实时输出有功功率，并计算出第i个虚拟发电部落VGT_i的功率偏差值ΔP_error-i，同时根据第i个虚拟发电部落VGT_i的调节功率ΔP_i确定调节速率方向；

调节速率方向根据下式确定：

式中：表示第i个虚拟发电部落VGT_i的第w个AGC机组的上升调节速率限制；表示第i个虚拟发电部落VGT_i的第w个AGC机组的下降调节速率限制，在本实施例中机组的的数值见表1。

③根据当前控制周期第i个虚拟发电部落VGT_i的机组功率爬升时间t_iw和第i个虚拟发电部落VGT_i的功率偏差值ΔP_error-i进行一致性计算；

在本实施例中，以VGT1作为研究对象，其他VGT的分析与之类似。如表1所示，假设G1为VGT1的首领，其他的机组为家长和家庭成员。

虚拟发电部落VGT1的第w个AGC机组的功率爬升时间一致性更新如下：

$t_{iw}[k+1]=\underset{j=1}{\overset{m_i}{\Sigma }}{d}_{jw}\left[k\right]t_{ij}\left[k\right]$

同时，为保证VGT的功率平衡，首领G1的爬升时间应更新如下：

其中，μ_i表示部落i的功率误差调节因子，μ_i＞0。在本实施例中，μ_i取0.001。

④计算机组功率ΔP_iw。

机组功率ΔP_iw可通过下式计算：

$t_{iw}={\mathrm{\Delta P}}_{iw}/{\mathrm{\Delta P}}_{iw}^{rate}$

⑤判断机组功率ΔP_iw是否越限。若机组功率ΔP_iw越限，重新分别计算机组功率ΔP_iw和机组功率爬升时间t_iw，并更新行随机矩阵元素；否则，转下一步。

若机组功率ΔP_iw越限，机组的功率ΔP_iw及其爬升时间t_iw可按如下公式重新计算：

其中，分别代表VGT_i的第w个机组的功率最大和最小备用容量。在本实施例中机组的的数值见表1。

若机组功率ΔP_iw越限，与机组w的连接权重都变为零，即：a_wj＝0,j＝1,2,L,m_i，同时进行相应的行随机矩阵元素更新。

⑥更新VGT_i的功率偏差值ΔP_error-i；本实施例中VGT1功率偏差值按其定义进行更新：

${\mathrm{\Delta P}}_{error-i}={\mathrm{\Delta P}}_i-\underset{w=1}{\overset{m_i}{\Sigma }}{\mathrm{\Delta P}}_{iw}$

⑦判断精度。若|ΔP_error-i|＜ε_i，则得到机组功率ΔP_iw，否则返回步骤③。在本实施例中，取最大功率偏差|ΔP_error-1|＜0.1MW作为VGT1的收敛条件。

表1广东电网AGC机组参数统计表

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。