基于马尔可夫决策过程的输变电设备最佳检修决策方法

技术领域

本发明属于高压电力设备状态监测与故障预测技术领域，尤其涉及一种基于马尔可夫决策过程的输变电设备最佳检修决策方法。

背景技术

输变电设备的安全是电网系统稳定运行的基础。设备的可靠性会随其运行时间变长而逐渐恶化。对电气设备进行科学合理的检修安排可以节约检修费用并保证系统运行的安全性和可靠性。因此检修策略的制定已成为电力行业关注的重要课题。状态检修是一种区别于传统的事故后检修和定期预防性检修的新的检修方式，是以设备状态为基础、以预测状态发展趋势为依据的设备检修方式。有效避免了传统检修中过度维修和维修不足，提高了电网运行的经济性和安全性。

迄今为止，如何根据设备状态,选取不同的检修策略,达到可靠性和经济性之间的平衡，其决策在很大程度上还是依赖决策人员的经验积累,并没有一种定量的分析方法帮助检修决策人员做出正确的选择。

输变电设备的老化过程是一个随机过程，应用概率论和随机过程理论考虑设备状态量的统计特性,更加符合设备老化的实际情况。马尔可夫决策过程可作为研究随机环境下多阶段决策过程优化问题的理论工具。其特点是所做的决策只依赖于当前的系统状态和选取的行动，与过去的历史无关。马尔可夫过程已被广泛应用于设备状态评估，为检修人员提供了一定的理论支持和决策辅助。

现有技术中运用基于改进的检修模型的马尔可夫决策来计算最优检修决策，但是检修模型没有包含检查状态，只考虑了最小维修方式，没有区分设备的大修和小修。

现有技术中研究了检查和维修延时时间对设备老化的影响，通过对检修计划的推迟给予运行人员更高的灵活度，但是模型包含的状态过多，难以求解。

发明内容

本发明的目的就是为了解决上述问题，提出了一种基于马尔可夫决策过程的输变电设备最佳检修决策方法，该方法考虑不同维修方式对状态转移的影响，根据是否安装有在线监测装置建立了适用于两种输变电设备的马尔可夫检修决策模型：状态检修模型(CBM模型)和基于检查的检修模型(IBM模型)。

为实现上述目的，本发明的具体方案如下：

基于马尔可夫决策过程的输变电设备最佳检修决策方法，包括：

(1)设定输变电设备的状态形式，建立不同状态之间的转移关系的输变电设备状态转移关系图；

(2)根据输变电设备状态转移关系图建立输变电设备状态检修模型；

(3)利用马尔可夫过程求解输变电设备不同状态的稳态概率；

(4)建立检修策略以及检修策略对应的报酬之间的函数关系式；以在检修策略π下使得报酬序列ν的某个函数值最大为序列决策问题的目标建立基于马尔可夫的输变电设备检修决策模型；

(5)根据输变电设备不同状态的稳态概率，采用策略迭代法求解最优的检修决策。

进一步地，所述步骤(1)中，如果输变电设备安装了在线监测装置，则建立CBM模型；

该模型下输变电设备的状态形式包括：老化状态D，检查状态I、检修状态M和故障状态F；

其中，老化状态D按照老化严重程度依次划分为正常状态D₁、注意状态D₂和异常状态D₃；

检修状态分为小修和大修；

从老化状态D_i到老化状态D_i+1的平均时间观测值的倒数定义为从老化状态D_i到老化状态D_i+1的状态转移率λ_i；状态D_i的两次检查平均间隔时间的倒数定义为状态D_i的检查率γ_i；检查状态持续时间的倒数定义为状态转移率δ；维修状态持续时间的倒数定义为状态转移率μ。

进一步地，输变电设备状态转移关系具体为：

老化状态D按照老化严重程度依次划分为正常状态D₁、注意状态D₂和异常状态D₃；每一种老化状态对应的检查状态分别为I₁、I₂和I₃，在检查状态下决策人员收集设备信息进而得知设备处于哪一个老化状态；

在注意状态D₂下，对应的检修状态分别为小修M₂和大修MM₂；

在异常状态D₃下，对应的检修状态分别为小修M₃和大修MM₃。

进一步地，状态D₁的检查率为γ₁，状态D₂的检查率为γ₂，状态D₃的检查率为γ₃，

状态D₁、状态D₂和状态D₃对应的检查状态I₁、I₂和I₃的状态转移率均为δ。

进一步地，所述步骤(1)中，如果输变电设备没有安装在线监测装置，则建立IBM模型；

该模型下输变电设备的状态形式包括：老化状态D，检查状态I、检修状态M和故障状态F；

其中，老化状态D按照老化严重程度依次划分为正常状态D₁、注意状态D_2,1、D_2,2和异常状态D_3,1、D_3,2和D_3,3；

检修状态分为小修和大修；

从老化状态D_i到老化状态D_i+1的平均时间观测值的倒数定义为从老化状态D_i到老化状态D_i+1的状态转移率λ_i；状态D_i的两次检查平均间隔时间的倒数定义为状态D_i的检查率γ_i；检查状态持续时间的倒数定义为状态转移率δ；维修状态持续时间的倒数定义为状态转移率μ。

进一步地，输变电设备状态转移关系具体为：

老化状态D按照老化严重程度依次划分为正常状态D₁、注意状态D_2,1、D_2,2和异常状态D_3,1、D_3,2和D_3,3；

每一种老化状态对应的检查状态分别为I₁、I₂和I₃，在检查状态下决策人员收集设备信息进而得知设备处于哪一个老化状态；

在注意状态D₂下，对应的检修状态分别为小修M₂和大修MM₂；

在异常状态D₃下，对应的检修状态分别为小修M₃和大修MM₃。

进一步地，状态D₁的检查率为γ₁，状态D_2,1的检查率为γ₁，状态D_2,2的检查率为γ₂；状态D_3,1的检查率为γ₁，状态D_3,2的检查率为γ₂；状态D₃₃的检查率为γ₃；

状态D₁、状态D_2,1、D_2,2和状态D_3,1、D_3,2、D_3,3对应的检查状态I₁、I₂和I₃的状态转移率均为δ。

进一步地，所述步骤(4)中，基于马尔可夫的输变电设备检修决策模型用一个包含五个元素的元组<T,S,A,p,r>来描述，其中：

1)T为所有决策时刻的点集，即选取行动的时间点被称为决策时刻，为有限点集或可列无限点集；对于离散模型，两个相邻的决策时刻被称为决策周期或者阶段；

2)S是系统所有可能的状态所组成的非空的可数状态集，也称为状态空间；

3)A为对应i∈S在该状态可采用的行动集合，每个状态都存在着有限集；

4)p表示系统动态的状态转移特性；p(s_n+1|s_n,a_n)表示当系统处于状态s_n，并采取行动a_n∈A时，系统在状态转移后处于状态s_n+1的概率；

5)r表示期望报酬，系统在状态s_n采取了行动a_n∈A所获得的期望报酬记为r(s_n,a_n)。

进一步地，所述步骤(4)中，引入折扣率β∈(0,1)来表示未来时刻的报酬在当前时刻的价值；则系统从状态s_n出发的折扣期望报酬为：

其中，ν(s_n,π)为检修策略π对应着的报酬序列；p(s_n+1|s_n,π)为当系统处于状态s_n，并采取检修策略π时，系统在状态转移后处于状态s_n+1的概率。

进一步地，所述步骤(5)中，采用策略迭代法求解最优的检修决策具体方法为：

步骤一：取初值，设迭代步数n＝0，任取一种初始检修策略π∈Π；

步骤二：检修策略求值，解方程：

(I-βP(π_n))ν＝r(π_n)；

其中，I为单位矩阵，P(π_n)为转移概率矩阵；r(π_n)为报酬矩阵；β为折扣率；_ν为期望报酬值；

得到当前策略的期望报酬值V_β(π_n)；

步骤三：检修策略的改进，选取π_n+1为一个V_β(π_n)的改进规则，即满足：

步骤四：如果π_n+1＝π_n，停止，此时，π_n+1＝π_n为最优检修策略，V_β(π_n+1)＝V_β(π_n)为最优期望报酬；否则令n＝n+1，返回到步骤二。

本发明的有益效果：

本发明应用策略迭代法求解马尔可夫决策检修模型得到最优维修策略，并将模型应用于断路器及变压器的状态检修策略制定。仿真结果显示应用马尔可夫决策可以折中维修成本和故障损失，得到经济最优的检修决策，为检修决策人员提供参考。同时比较了两个模型的不同仿真结果，验证了其对安装了和未配备在线监测装置两种输变电设备的适用性。

附图说明

图1为本发明CBM模型的状态转移图；

图2为本发明IBM模型的状态转移图；

图3为本发明基于马尔可夫决策过程的输变电设备最佳检修决策方法流程图；

图4为增加故障损失时断路器维修决策的变化；

图5为增加故障损失时变压器维修决策的变化。

具体实施方式：

下面结合附图对本发明进行详细说明：

一个在离散空间D＝{0,1,2…}中的马尔可夫过程定义为：在给定过去的状态s₀,s₁,…,s_n-1和现在的状态s_n时，将来的状态s_n+1的条件分布独立于过去的状态，且只依赖于现在的状态。即系统由状态i转移到状态j的概率与系统的过往状态历史无关。马尔可夫过程具有无记忆性。其数学表达式如下所示：

定义P{s_n+1＝j|s_n＝i}＝p_ij(p_ij≥0)为状态i到状态j的转移概率，且对于

将马尔可夫过程中随机连续化，以单位时间t作为任意时刻t_n+1与前一时刻t_n的时间间隔。转移概率λ_ij为单位时间t内状态i转移到状态j的期望次数。则一阶马尔可夫过程可转换如下形式：

P{s(t+Δt)＝j|s(t)＝i}＝λ_ijΔt+σ(t)(2)

式(2)可近似处理为：

式中n为总的状态数。λ_ij可以用矩阵的形式表示：

由此可以求得转移密度矩阵A：

式中I为单位矩阵。通过求解线性方程组可求解系统处于各状态的稳态概率p_i：

输变电设备的老化过程是一个随机过程,未来某个时刻所处的状态是不确定的，因此可用马尔可夫过程进行描述，更好地考虑到了设备老化过程的统计特性。马尔可夫过程中的状态可以用来表示输变电设备寿命周期里所处不同的状态。根据是否安装有在线监测装置建立适用于两种输变电设备的检修模型：状态检修模型(CBM模型)和基于检查的检修模型(IBM模型)，具体如下：

CBM模型包含以下几个状态：老化状态D，检查状态I、检修状态M和故障状态F。用状态转移图来表示如图1所示。其中老化状态按照老化严重程度依次划分为D₁(正常状态)、D₂(注意状态)、D₃(异常状态)；对应的检查状态为I₁、I₂、I₃,在检查状态下决策人员收集设备信息进而得知设备处于哪一个老化状态，并进行维修决策。检修状态又分为小修M₂、M₃和大修MM₂、MM₃，分别对应D₂、D₃下的小修和大修。不同的检修方式对设备状态的提升和经济成本都有区别。大修相对于小修会更好地提高设备的老化状态，但是耗费的时间更长，增加设备的停运时间，综合维修成本更高。

转移图中状态转移率λ_i定义为：

T_i,i+1为从老化状态D_i到老化状态D_i+1的平均时间观测值。状态转移率γ_i，即状态D_i的检查率定义为两次检查平均间隔时间的倒数。状态转移率δ,μ分别定义为检查状态和维修状态持续时间的倒数。

由于对应的输变电设备安装有在线状态监测装置，CBM模型中默认设备实时状态是已知的，即每次系统进入新的老化状态后都会更新检查率。

传统检修模型中设备维修确定能够改善设备的老化状态，但现实中的维修是有缺陷的，并非一直能提升设备的状态甚至导致状态进一步恶化。因此本方法使用的检修模型包含了不同维修方式及结果，即：完全维修，最小维修，不完全维修。完全维修即“修旧如新”，设备在维修状态后转移到状态D₁；最小维修即“修旧如旧”，维修并没有提升设备的老化状态，如设备在M₂和MM₂后转移到D₂或者在M₃后转移到D₃；不完全维修即“维修退格”，维修提升设备至上一个老化状态，如设备在M₂和MM₂后转移到D₁或者在M₃和MM₃后转移到D₂。最后，维修可能恶化设备的老化状态，原因可能是不当的维修人员操作等，如设备在M₂后转移到D₃。

在CBM模型的基础上我们可以得到IBM模型，如图2所示。它与CBM模型的不同之处在于增加了老化状态D_2,2、D_3,2和D_3,3原因是电力系统中并非所有设备都安装有在线监测装置，因此设备的老化状态在检查未进行的时候是未知的。假设设备状态在两次检查间隔期间从D₁转移到D₂，那么CBM模型中此时对应的检查率为γ₂。但是在IBM模型中进入检查状态I₂之前，检修人员不知道设备是否已经发生了状态转移，设备仍被假设停留在D₁状态，而检查率依然为γ₁。而进行维修之后检修人员清楚设备的状态，所以更新检查频率为γ₂或γ₃，同时设备转移至老化状态D_2,2或D_3,3。两次检查间隔期间若设备发生老化状态转移，则可能从D_1,1转移至D_2,1甚至D_3,1，或者从D_2,2转移至D_3,2，但对应的检查率不变，都是γ₁或γ₂。

马尔可夫决策过程是一个考虑了现在和未来决策结果的不确定性的序贯性决策模型。在每个决策时间点决策者根据系统当前的状态s从可用的行动方式集合中选取一种做出决策,系统在下一个时间点根据转移概率分布随机地转移到一个新的状态s’，并对应的给予决策者一个报酬，决策者会倾向于使得整个决策周期内得到的报酬最大化。由于此决策过程具有马尔可夫特性，所以转移概率和报酬只与现在的状态和选取的行动有关。在新的决策时间点上，决策者要观察系统所处的新的状态并采取新的决策，如此反复下去。

一个离散的马尔可夫决策模型可以用一个包含五个元素的元组<T,S,A,p,r>来描述，其中：

1)T为所有决策时刻的点集，即选取行动的时间点被称为决策时刻，可以是有限点集(记作T＝{0,1,2,…,N})或可列无限点集(记作T＝{0,1,2,…})。对于离散模型，两个相邻的决策时刻被称为决策周期或者阶段；

2)S是系统所有可能的状态所组成的非空的可数状态集，也称为状态空间；

3)A为对应i∈S在该状态可采用的行动集合，每个状态都存在着有限集；

4)p表示系统动态的状态转移特性。p(s_n+1|s_n,a_n)表示当系统处于状态s_n，并采取行动a_n∈A时，系统在状态转移后处于状态s_n+1的概率。

5)r表示期望报酬，系统在状态s_n采取了行动a_n∈A所获得的期望报酬记为r(s_n,a_n)。

决策者会在每个决策时刻,针对不同的状态选取不同的行动。我们把在一个特定的决策时刻在每个可能的状态上选取行动的原则称为决策规则f，把包含所有决策规则的序列称之为策略π，一个策略对应着一个报酬序列ν。序列决策问题的目标是使得ν的某个函数值——准则在这个策略下达到最大，用函数表达为：

其中Π为全体策略的集合。

本发明方法实现的主要流程图如图3所示，包括：

(1)设定输变电设备的状态形式，建立不同状态之间的转移关系的输变电设备状态转移关系图；

(2)根据输变电设备状态转移关系图建立输变电设备状态检修模型；

(3)利用马尔可夫过程求解输变电设备不同状态的稳态概率；

(4)建立检修策略以及检修策略对应的报酬之间的函数关系式；以在检修策略π下使得报酬序列ν的某个函数值最大为序列决策问题的目标建立基于马尔可夫的输变电设备检修决策模型；

(5)根据输变电设备不同状态的稳态概率，采用策略迭代法求解最优的检修决策。

通过对输变电设备进行状态评估得到设备的老化状态转移率λ。代入状态检修模型后得到设备各状态的稳态概率。再代入马尔可夫决策模型，求解最优决策，求解过程如下：

考虑输变电设备的状态监测和检修特性，本文讨论离散决策时刻、无限阶段的马尔可夫决策模型，考虑报酬的时间价值，引入折扣率β∈(0,1)来表示未来时刻的报酬在当前时刻的价值。则系统从状态s_n出发的折扣期望报酬为：

基于式(12)得到的策略迭代法求最优决策如下：

步骤一：取初值，设迭代步数n＝0，任取一种初始策略π∈Π。

步骤二：策略求值，解方程：

(I-βP(π_n))ν＝r(π_n)(13)

其中I为单位矩阵，P(π_n)为转移概率矩阵；r(π_n)为报酬矩阵。得到当前策略的期望报酬值V_β(π_n)。

步骤三：策略的改进，选取π_n+1为一个V_β(π_n)的改进规则，即满足：

如有可能，令π_n+1＝π_n。

步骤四：如果π_n+1＝π_n，停止，这时π_n+1＝π_n为最优策略，V_β(π_n+1)＝V_β(π_n)为最优期望报酬。否则令n＝n+1，返回到步骤二。

算法的仿真及试验验证

为验证以上提出的基于特高频阵列信号处理的变电站局部放电定位算法的准确性和可行性，分别对电磁波仿真软件得到局部放电信号，及变电站实测的特高频电磁波信号进行分析处理，利用该方法，计算局部放电源位置坐标。

仿真验证

对于无在线监测装置的设备，本发明应用取自对一系列操作寿命总和大约3000年的230kV空气灭弧式断路器的状态分析数据进行验证，见表1。对于有在线监测装置的设备，本文以变压器的油色谱数据为基础得到的状态转移率进行验证，见表2表。本文中为了方便比较，假设两种设备转移至每个状态对应的平均报酬和不同维修方式的维修概率相同，见表3和表4。维修和检查状态的报酬不区分对应的老化状态，因此所有M,MM和I状态分别对应的相等报酬。

表1断路器状态转移率数值

表2变压器状态转移率数值

表3转移至每个状态对应的平均报酬

表4不同维修方式的转移概率

使用策略迭代法的函数通过评估现有策略的方式迭代地改进策略，当两个连续的策略相同时停止迭代。输入参数中P为转移概率矩阵，R为报酬矩阵。两者皆为一个三维矩阵(S×S×A)，第一维定义为转移前状态，第二维为转移后状态，第三维为采取的行动。

矩阵P对角线元素即为该状态的稳态概率。非对角线元素为对应的转移率在剩余概率中的占比：

其中A_i,j为矩阵A的第i行，第j列的元素。对于维修状态到老化状态的转移概率，计算公式为表4中对应的概率与(1-p_i,i)的乘积。

根据检修模型定义，可采取的行动为：

1)在状态I₂或I₃采取行动{II}，即小修时，系统一定会转移到状态M₂或M₃，即P(i,j,2)＝1；

2)在状态I₂或I₃采取行动{III}，即大修时，系统一定会转移到状态MM₂或MM₃，即P(i,j,3)＝1；

3)其他情况下采取行动{I}，即不进行维修，设备按照计算得到的概率转移至老化状态。

结果分析

从零开始增加发生故障时的损失，代入断路器数据，观察模型做出的决策，结果如图4所示，从图中可以看出：

1)在故障损失小于7×10³的时候(IBM模型中在10⁴)，模型选择在检查老化状态D₂时进行小修，在检查老化状态D₃时不进行维修。此为维修成本最小的决策{II,I}。

2)随着故障损失的增长，在状态I₃做出的决策首先发生改变，从不修{I}变成大修{III}，而没有小修{II}的过渡。原因可能是：在老化状态D₃进行小修从经济性角度考虑不如不修；在设备可靠性方面不如大修，因为即便进行了维修，但是还有50％的可能性留在此老化状态。

3)随着损失进一步的增长，状态I₂做出的决策变为大修{III}(CBM模型中在故障损失为4.66×10⁵时，IBM模型中在6.16×10⁵)。说明当设备故障的损失增长到某个值的时候，只要监测到设备状态发生老化，最优决策即安排在下一个时间点安排大修{III,III}，防止其转移到故障状态。因为与故障损失相比，此时维修成本已可以忽略。

4)IBM模型的决策变化点滞后于CBM模型，表明在某个故障损失区间内，IBM模型选择小修{II}而CBM模型选择大修{III}。原因可能是，做出决策时的状态I₂在IBM模型中以更高的频率1/γ₁被访问(在CBM模型中访问频率为1/γ₂，而一般应有γ₁<γ₂<γ₃)，而每次都进行大修显然是不经济的。

将变压器数据代入模型中，得到的决策结果见图5。其结果与上述大致相同，不同点在于在状态I₃做出的决策改变时有小修{II}的过渡。原因可能是变压器的修复率μ小于断路器，在维修状态M停留的时间长，维修支出较大，如果选择大修，综合维修支出大于故障损失。所以先选择小修，随着故障损失增加再转为大修。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。