引用本文
陈新岗, 敖怡, 张知先, 马志鹏, 张文轩, 万福, 况露, 罗博文. 结合Diffusion-Based WGANGP的变压器油纸绝缘老化状态拉曼光谱检测方法[J]. 光谱学与光谱分析, 2025,45(8): 2164-2173.
CHEN Xin-gang, AO Yi, ZHANG Zhi-xian, MA Zhi-peng, ZHANG Wen-xuan, WAN Fu, KUANG Lu, LUO Bo-wen. Raman Spectroscopic Detection of the Aging State of Oil-Paper Insulation in Combined Diffusion-Based WGANGP Transformers[J]. Spectroscopy and Spectral Analysis, 2025,45(8): 2164-2173.
Doi:10.3964/j.issn.1000-0593(2025)08-2164-10  
Permissions
Copyright©2025, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
结合Diffusion-Based WGANGP的变压器油纸绝缘老化状态拉曼光谱检测方法
陈新岗1,2, 敖怡1, 张知先1,*, 马志鹏1, 张文轩1, 万福3, 况露1, 罗博文1
1.重庆理工大学电气与电子工程学院, 重庆 400054
2.重庆市能源互联网工程技术研究中心, 重庆 400054
3.重庆大学输变电装备技术全国重点实验室, 重庆 400044
*通讯作者 e-mail: zhangzhixian@cqut.edu.cn

作者简介: 陈新岗, 1968年生, 重庆理工大学电气与电子工程学院教授 e-mail: chenxingang@cqut.edu.cn

收稿日期: 2024-10-18 修回日期: 2025-03-18
基金: 国家自然科学基金项目(62275035), 重庆市教育委员会科学技术研究项目(KJZD-K202101103), 重庆理工大学研究生教育高质量发展项目(gzlcx20233150), 重庆市研究生科研创新项目(CYS25745)资助
摘要

提出了一种结合拉曼光谱与扩散模型改进的Wasserstein生成对抗网络(WGANGP)方法, 用于提高变压器油纸绝缘老化状态的检测精度。 凭借拉曼光谱技术无接触、 不损耗的优势, 可通过其分析油浸式电力变压器内部油纸绝缘材料的老化产物来评估变压器的老化程度。 结合深度学习分类模型简化了拉曼光谱数据预处理过程, 但此类模型对训练数据的数量和质量有较高要求, 由于热加速老化实验周期长, 导致可用于训练的有效拉曼光谱数据集相对稀少, 限制了分类模型性能。 为了解决这一难题, 本研究引入了一种新的数据增强方法, 即基于扩散模型的WGANGP(Diffusion-Based WGANGP), 该方法通过将去噪扩散概率模型的前向加噪过程与WGANGP相结合, 向WGANGP中引入实例化的噪声, 去除了传统WGANGP的生成器结构中的复杂向上采样过程, 简化了数据增强模型结构, 有利于模型参数优化。 相比于传统GAN及其变体, 这种方法不仅保持了变压器油纸绝缘老化样本拉曼光谱数据集的原始特征峰特征与老化程度相关的基线漂移趋势, 且与原始数据集特征保持近似的空间分布, 生成的数据集信噪比(SNR)为24.84 dB, 相比于原始数据集提高了32.11%; 同时, 也提升了生成样本的多样性, 提高了基于深度学习的老化诊断模型的泛化能力、 定量分析能力和鲁棒性。 实验结果表明, 采用Diffusion-Based WGANGP数据增强模型所生成的拉曼光谱数据集, 在多个分类模型上的表现均优于其他数据增强方法, 特别是在与ResNet-SVM分类模型结合时, 在Accuracy(准确性, 0.997 4)、 F1 score(F1分数, 0.996 9)、 Recall(召回率, 0.996 0)和Precision(精确度, 0.998 0)四个评价指标上均表现出优势, 这表明改进后的数据增强模型能够有效解决变压器老化绝缘油样本稀缺的问题, 同时提高了分类模型对变压器老化状态的定量诊断能力。

关键词: 变压器; 油纸绝缘; 拉曼光谱; Diffusion-Based WGANGP; 故障诊断
中图分类号:O433.4 文献标志码:A
Raman Spectroscopic Detection of the Aging State of Oil-Paper Insulation in Combined Diffusion-Based WGANGP Transformers
CHEN Xin-gang1,2, AO Yi1, ZHANG Zhi-xian1,*, MA Zhi-peng1, ZHANG Wen-xuan1, WAN Fu3, KUANG Lu1, LUO Bo-wen1
1. School of Electrical and Electronic Engineering, Chongqing University of Technology, Chongqing 400054, China
2. Chongqing Energy Internet Engineering Technology Research Center, Chongqing 400054, China
3. State Key Laboratory of Power Transmission Equipment Technology, Chongqing University, Chongqing 400044, China
*Corresponding author
Abstract

In this paper, a Wasserstein Generative Adversarial Network (WGANGP) method combining Raman spectroscopy with diffusion model improvement is proposed for improving the detection accuracy of the aging state of transformer oil-paper insulation. Raman spectroscopy, with its advantages of no contact and no loss, is used to assess the aging degree of a transformer by analysing the aging products of the oil-paper insulation material inside an oil-immersed power transformer. Combining deep learning classification models simplifies the Raman spectroscopy data preprocessing process, but such models have high requirements on the quantity and quality of training data. The long cycle of thermally accelerated aging experiments results in a relatively scarce set of valid Raman spectral data available for training, limiting the performance of the classification model. To address this challenge, a new data augmentation method, Diffusion-Based WGANGP, is introduced in this study. By combining the forward noise addition process of the denoising diffusion probabilistic model with WGANGP, the method introduces instantiated noise into WGANGP, removes the complex up-sampling process in the generator structure of the traditional WGANGP, simplifies the data augmentation model structure, and facilitates the optimization of model parameters. Compared with the traditional GAN and its variants, this method not only maintains the baseline drift trend of the original eigenpeak features associated with the aging degree in the Raman spectral dataset of the aging samples of the transformer oil-paper insulation, but also maintains an approximate spatial distribution of the features of the original dataset,, and the generated dataset with a Signal-to-Noise Ratio of 24.84 dB, which is improved by 32.11% compared to the original dataset; and at the same time, it also improves the diversity of generated samples, and enhances the generalisation ability, quantitative analysis ability and robustness of the aging diagnosis model based on deep learning. The experimental results show that the Raman spectral dataset generated using the Diffusion-Based WGANGP data augmentation model outperforms other data augmentation methods on several classification models, especially when combined with the ResNet-SVM classification model, in terms of Accuracy (0.997 4), F1 score (0.996 9), Recall (0.996 0) and Precision (0.998 0), which indicates that the improved data augmentation model can effectively solve the problem of the scarcity of samples of transformer aged insulating oil, and at the same time improves the classification model's ability to diagnose the aging state of the transformer quantitatively.

Keyword: Transformer; Oil-paper insulation; Raman spectroscopy; Diffusion-Based WGANGP; Fault diagnosis
0. 引言

油浸式电力变压器是电力系统中的关键设备, 但随着电力负荷的增加, 其故障率也在上升[1]。 为了预测和避免故障, 通常需要从内部去定位变压器的早期绝缘故障位置[2]。 油纸绝缘老化过程中产生的糠醛、 甲醇、 丙酮、 CO和CO2等物质可以作为老化的特征物[3]。 拉曼光谱技术因其无接触、 不损耗、 抗干扰强且能同时检测多组分有机物的特点, 弥补了传统测试方法(如聚合度测试、 糠醛测试等)的不足[4, 5, 6], 能够快速提供丰富的油纸绝缘老化信息[7]。 这给定量分析电力变压器老化程度奠定了技术原理基础。

机器学习算法结合变压器油纸绝缘拉曼光谱进行定量诊断分析正处于蓬勃发展期。 在油纸绝缘老化诊断领域, 机器学习算法如随机森林(random forest, RF)[8], K近邻算法(K-nearest neighbors, KNN)[9]和反向传播神经网络(back propagation neural network, BPNN)[10]等表现良好, 但这些方法通常需要经过噪声去除、 基线扣除等繁琐的数据预处理步骤。 相比之下, 卷积神经网络(convolutional neural networks, CNNs)作为强大的特征提取器, 能够有效抗噪并简化预处理过程。 特别是与支持向量机(support vector machines, SVM)结合时, CNNs在高维空间中寻找最优超平面进行分类, 显著提高了老化诊断模型的分类准确度和定量分析能力[11, 12]。

然而, 深度学习模型的性能很大程度依赖于训练数据的质量和数量[13]。 由于油纸绝缘热加速老化实验[14]周期长, 老化程度较深的样本稀少, 而新油样本丰富。 这导致模型在训练时偏向新油样本, 对老化严重样本的识别准确率较低, 给电力系统稳定性带来隐患。 因此, 提高变压器油纸绝缘老化状态检测的准确率, 平衡新旧油样本的拉曼数据库, 并提升样本数量和质量, 是亟待解决的问题。

由此, 数据增强办法在深度学习模型中针对于罕见数据集样本扩充增强, 从而提升定量分析诊断变压器老化阶段水平有着广泛应用前景。 传统的拉曼光谱数据库增强算法(强度偏移, 添加随机高斯白噪声)会降低了拉曼光谱数据集信噪比(signal-to-noise ratio, SNR), 且没有很好地增加样本点的多样性, 这限制了提升老化诊断模型的泛化性能。

生成式对抗网络(generative against network, GAN)虽然可以解决传统数据增强算法生成样本的多样性不足的问题, 但存在着模式崩溃、 梯度爆炸和训练不稳定等缺陷[15]。 针对于传统GAN的不足, Arjovsky等[16]提出的WGAN(wasserstein generative adversarial networks, WGAN)从损失函数的角度进行了改进, 提出了使用Wasserstein距离来衡量数据分布和真实数据分布之间的距离, 从而理论上解决了训练不稳定的问题。 由蒙特利尔大学的Gulrajani等[17]提出了一种替代权重裁剪(weight clipping)实施Lipschitz约束的方法WGANGP(wasserstein generative adversarial network with gradient penalty), 即惩罚判别器对输入的梯度。 这种方法相比标准的WGAN能解决梯度消失或爆炸等问题。 但各类变体的WGANGP[18, 19]大多是针对于生成器和判别器的改造, 其中生成器接受的都是潜在随机变量输入, 一是导致输出到判别器往往需要漫长复杂的向上采样过程, 这限制了数据增强过程拥有更优越的收敛性能; 二是其生成过程完全依赖神经网络具有不可解释性, 这使得WGANGP在调试和优化方面存在困难。

Ho等[20]证实去噪扩散概率模型(denoising diffusion probabilistic model, DDPM)可以用于数据增强, 其中主要包含前向扩散和逆向去噪过程。 其中前向扩散过程是在每个时间步长中, 逐步在数据中添加噪声, 直到数据变成纯粹噪声。 这是一个确定性的数学过程, 相较于WGANGP的生成过程富含原始数据的信息。 其逆向去噪过程是一个条件高斯分布, 这个分布尝试从前一步的噪声状态去除噪声, 得到更接近于原始数据的状态。 去噪过程精细化地逐步采样, 虽然相较于GANs生成了更精细且多样性的样本, 但逆向去噪过程也伴随着采样缓慢和计算成本高昂等缺陷。 如果减少逆向去噪过程的采样次数, 又会面临非高斯分布和多模态分布的困境, 这会违背生成高质量样本的原则。 目前针对于二维图像数据库, 提出了诸如DDIM[21], FastDPM[22]来加速采样, 但仍然面临着近50步才可生成高质量图像。

本文针对于一维拉曼光谱的数据特征, 将DDPM的前向加噪过程与WGANGP结合, 从而提出基于扩散模型的WGANGP(diffusion based wasserstein generative adversarial network with gradient penalty, Diffusion-Based WGANGP)。 该方法将WGANGP基于随机潜在向量生成的无原始样本信息的噪声替代为DDPM的前向扩散过程, 向WGANGP的生成器输入具有原始样本丰富老化信息的噪声样本, 生成了更高质量的老化绝缘油拉曼光谱数据样本, 同时, 也去除了WGANGP生成器的复杂漫长的向上采样过程。 利用了WGANGP针对于拉曼光谱的一维特性, 解决了DDPM逆向去噪的慢转换问题。 因此, 本改进模型也将得到更快, 更稳定的收敛性能, 从而更快速和低计算成本地为建立平衡的老化绝缘油拉曼光谱数据库提供了可能。

由此, 本文研究旨在实现以下三点: 生成高质量样本, 模型具有更快速且稳定的收敛性能以及生成数据集在分类器中具有更优表现。 Diffusion-Based WGANGP数据增强算法可对稀少的样本进行扩充, 解决热加速老化实验油样本不充足的问题, 建立高质量且平衡的老化油样本拉曼光谱数据库, 在后续工作和CNNs-SVM系列老化分类模型结合, 从而提高油纸绝缘老化判别模型的鲁棒性、 泛化能力和对现场实时定量诊断油浸式变压器老化状态水平。 由此, 改进的拉曼光谱数据集增强技术在电力系统稳定性分析领域, 具有较高的工程实际价值和学术意义。

1 实验部分
1.1 实验平台搭建及采样结果

参考文献[14]步骤, 将油纸老化绝缘样本进行加速热老化实验后, 获取具有研究意义的老化绝缘油样本共100组, 基于IEEE导则[23]将聚合度(degree of polymerisation, DP)作为衡量绝缘纸老化阶段划分的指标, 并依照DL/T984-2018《油浸式变压器绝缘老化判断导则》[24]中的诊断标准, 将这100组分为10类老化绝缘油样本, 如表1所示。

表1 变压器绝缘油样本老化分类 Table 1 Transformer insulating oil sample aging classification

将10类老化绝缘油样本送入拉曼检测平台。 拉曼光谱检测平台如图1所示, 采用的是英国Andor公司的SR-500 i色散型拉曼光谱仪, 其配备的光栅刻线数为1 200 刻线· mm-1, 在避光环境中进行, 使用波长为785 nm激光器, 其中二向色分光镜将激光分为两束。 其中透过1%功率的激光用于反馈控制, 使得激光功率的波动控制在± 1%以内, 确保了实验的稳定性和可重复性。 剩余反射99%功率的激光照射在老化绝缘油样本上, 且经过物镜聚焦后激光功率稳定在300 mW, 激发变压器老化绝缘油样本产生可观测的斯托克斯拉曼散射, 再将激发的光信号(包括空间杂散光)送入陷波滤波器, 再通过陷波滤波器送入光谱仪, 光谱仪选出指定波长的信号后, 配合温度保持在-20 ℃的Critical Link公司生产的MityCCD-H70311007-DS-LE型号的CCD探测器传入计算机中显示, 其有效像元数为2 048× 122, 像元尺寸为12 μ m× 12 μ m。 本实验平台拉曼频移检测范围是750~3 200 cm-1, 实测波数分辨率为1.2 cm-1, 积分时间为0.3 s, 积分次数为10次。

图1 拉曼光谱检测平台Fig.1 Experimental platform of Raman spectroscopy detection

经过采样, 获取了10类老化绝缘油样本的拉曼光谱, 如图2所示。 随着老化时间推移, 油纸老化过程中产生的部分氧化产物(如糖醛、 羧酸、 醛类、 酮类等)逐步溶解进入绝缘油, 导致这些物质在油中的浓度增加, 进而影响绝缘油的拉曼光谱特征。 例如, 羰基(C=O)、 乙烯基(C=C)等简单发色团在紫外吸收光子, 变压器绝缘油本身含有少量这类基团, 但在老化过程中, 由于油纸老化产物(如醛类、 酮类、 烯烃等)溶解入油中, 导致这类基团的浓度增加, 从而增强了π 电子系统, 使得拉曼光谱的吸收峰发生红移, 基线漂移为非线性上升趋势。 此外, 老化过程中甲基(CH3)与亚甲基(CH2)的C— H键伸缩振动, 在2 810~2 950 cm-1处产生强峰。 亚甲基(CH2)的C— H键摇摆振动以及旋转摇摆振动, 则是1 400~1 500 cm-1产生特征峰的主要原因。 因此, 拉曼光谱特征峰强度以及基线漂移量均包含了丰富的老化信息。

图2 10类变压器老化绝缘油拉曼光谱图Fig.2 Raman spectra of insulating oil samples from Class 10 transformers

1.2 WGANGP数据增强模型

WGANGP数据增强模型是旨在解决传统GAN模型的梯度消失导致的训练不稳定, 以及模式崩溃导致的无法生成多样性样本的问题。 GAN模型梯度消失的主要原因是因为采取KL散度(Kullback-Leibler divergence)和JS散度(Jensen-Shannon divergence)来进行度量生成样本与真实样本之间的差异。 而GAN模式崩溃的主要原因是因为基于KL散度为目标的惩罚机制导致生成器在优化过程中倾向于选择那些能够最小化KL散度的样本, 而忽略了样本的多样性。

基于上述问题, WGANGP网络引入Wasserstein距离来取代KL散度和JS散度的度量标准, 其表达式如式(1)所示

W(Pr, 　PG)=maxD∈1-Lipschitz{Ex~Pr[D(x)]-Ex~PG[D(x)]}(1)

式(1)中, Pr为真实数据分布, PG为生成器生成数据分布, D是所有满足1-Lipschitz条件的函数集合中的任意函数, Ex~Pr和 Ex~PG代表x到Pr和PG的总体趋势的估计的平均得分。

为了使得判别器在数据空间中的梯度满足1-Lipschitz条件, WGANGP在目标函数中引入了一个梯度惩罚项。 这个惩罚项会惩罚那些梯度大小偏离1的样本点, 从而保持判别器的平滑性, 以解决模式崩溃的问题。 最终, WGANGP的目标函数表达式如(2)和式(3)所示

L(D)=-Ex~Pr[D(x)]+Ez~Pz[D((z))]+λEx-~Px-[(‖∇x-D(x^)‖2-1)2](2)

L(G)=-Ez~Pz[D(G(z))](3)

式(2)和式(3)中, L(D)是判别器损失函数, L(G)是生成器损失函数, Pz是生成器输入噪声分布, G(z)是生成器根据基于潜在空间向量生成的随机噪声z生成的样本, D(x)是对样本x的满足1-Lipschitz条件的评分, Px是真实样本和生成样本的线性插值分布, λ 是梯度惩罚系数, ∇x^D( x^)是判别器在插值点 x^上的梯度, ‖ · ‖ 2代表L2范数。

通过最小化L(D)和L(G), WGANGP能够训练出一个稳定的GAN模型, 减少梯度消失和模式崩溃的发生。 上述的WGANGP过程用于拉曼光谱数据增强的过程如图3所示, 其中喂入生成器的是由潜在空间向量生成的与真实样本维度相同的随机向量。

图3 WGANGP模式数据增强原理图Fig.3 WGANGP model data augmentation schematic

在生成器部分, 传统的WGANGP网络将100维的潜在空间向量映射到256× 4的全连接层, 经过批量归一化和斜率为0.2的LeakyReLU激活函数后, 通过Reshape层。 随后, 数据经过2个固态向上采样块(分别有128和64个滤波器)和6个动态向上采样块(滤波器数量在64、 32、 4之间选择), 每个向上采样块包含批量归一化、 斜率为0.2的LeakyReLU激活和舍弃率为0.3的Dropout层, 使用全零填充且向上采样因子为2。 最终, 通过一个一维卷积层(3个滤波器, 输出通道为1, Tanh激活)和Lambda层裁剪出符合真实拉曼光谱数据的维度。 判别器部分由四个相连接的一维卷积层组成, 不使用批量归一化以适应梯度惩罚, 最后通过展平层和全连接层输出单个标量值, 表示输入数据的真实程度。

表2 判别器结构参数 Table 2 Discriminator structural parameters

其中采用学习率为0.000 1的RMSprop优化器, batch size设置为16, 设置最大迭代次数为1 000次, 判别器每训练两次后训练一次生成器。

1.3 基于扩散模型的WGANGP数据增强模型

扩散模型(diffusion models)中的DDPM是一种生成模型, 其灵感来源于非均衡热力学中的扩散过程, 其核心思想是通过逐步添加和去除高斯噪声来实现数据的生成。 其包含两个主要阶段, 即前向扩散过程和逆向去噪过程。

DDPM的前向扩散过程是一个马尔可夫链, 其中每一步都会向数据添加一些噪声, 从而逐渐将其变为高斯白噪声, 这个过程可以表示为式(4)

q(xt|xt-1)=N(xt; 1-βtxt-1, 　βtI)(4)

式(4)中, q(xt|xt-1)表示t-1到t的xt的条件概率分布; N(· ; · , · )表示这个前向扩散过程是符合高斯分布的概率密度形式; β t是一个在每一步中加入噪声的标准差的平方; 而Ι 是单位矩阵。

而DDPM的逆向去噪过程是一个条件高斯分布, 这个分布尝试从前一步的噪声状态去除噪声, 得到更接近于原始数据的状态, 这个过程的表达式可以表示为式(5)

Pθ(xt-1|xt)=Nxt-1; μθ(x, t), 　Σθ(xt, t)(5)

式(5)中, pθ (xt-1|xt)表示在给定时间步t的xt时, 前一时间步t-1的xt-1的概率分布; μ θ (xt, t)表示神经网络预测的均值向量; Σ θ (xt, t)是由神经网络预测的协方差矩阵。

可见DDPM的后向去噪过程需要经过多个时间步T, 每一个时间步T都需要单独地去学习一个去噪模型, 即意味着需要至少T个不同参数设置, 这导致逐步迭代的生成高质量样本的优化过程需要大量的时间和计算资源。 本文提出的方法将扩散模型的加噪过程与WGANGP合并, 从而产生Diffusion-Based WGANGP这样的模型, 使得WGANGP模型取代DDPM的逆向去噪过程。 基于扩散模型的WGANGP的数据增强模型, 该模型为训练出高质量拉曼光谱数据提供了实例噪声, 该噪声来自于真实数据样本, 不同于传统WGANGP的随机噪声输入。 Diffusion-Based WGANGP原理如图4所示。

图4 基于扩散模型的WGANGP数据增强原理图Fig.4 Schematic diagram of Diffusion-Based WGANGP data augmentation model

对于模型的前向扩散部分为了使得原始数据样本更细致、 平滑地添加噪声到原始拉曼光谱数据中, 且不降低计算效率, 本模型的前向扩散部分采取的扩散步为T=1 000, 前向加噪过程采取从1× e-4到0.02逐步递增且符合线性序列分布的方差值β t。 在时间步为t=500时, 数据已经经过了相当程度的噪声化, 但还没有完全被噪声覆盖, 此时将原始数据与噪声混合, 生成带有特定程度噪声的数据样本xt。

对于基于扩散过程的WGANGP的生成器, 由于输入的是真实数据混合噪声的结果, 其维度与原始拉曼光谱样本无差, 则无需复杂向上采样过程, 新定义的生成器主要包括两个一维卷积层、 一个一维转置卷积层和一个Lambda裁剪层, 使用LeakyReLU和Tanh激活, 以及均采用全零填充。 判别器与传统模型结构相同。 生成器与判别器均采用lr=0.000 1的RMSprop优化器。

表3 结合扩散模型的WGANGP的生成器参数设置 Table 3 Generator of the diffusion model based WGANGP structure parameters

本文的工作旨在提高模型收敛速度, 避免扩散模型由于依赖于时间步带来的高计算成本, 并有助于生成更高质量且更具有多样性的变压器老化油拉曼光谱数据, 有助于提高后续分类模型的老化故障诊断准确率。

1.4 老化绝缘油拉曼光谱分类模型搭建与训练

选取CNNs模型与支持向量机相结合, 被证实可以有效提高拉曼光谱的分类精度。 CNNs擅长于从拉曼光谱数据内部中提取隐秘的空间特征, 但全连接层可能引入过多的参数和过拟合的风险, 而SVM是一种具有相当鲁棒性的监督学习方法, 可从超空间去构造分类模型, 去处理高维特征空间中的非线性问题。 本文选取的CNNs-SVM混合模型则可将利用CNNs模型提取到的拉曼光谱数据特征喂入SVM进行分类, 通过径向基函数(RBF)将特征映射到更高维的空间中, 其径向基函数刻画公式如式(6)所示。

K(x, y)=exp(-γ‖x-y‖2)γ=1nramanfeatures×σ2(6)

式(6)中, ‖ x-y‖ 表示输入空间的两个拉曼光谱两个样本点的欧式距离, 其中的γ 是一个由拉曼光谱特征数量nramanfeatures决定的超参数, 其中σ 是训练数据中每个拉曼光谱特征的标准差。

图5采取的是CNNs-SVM中的ResNet-SVM结构, 这个分类器在扩充后的变压器老化绝缘油数据集相较于常用的其他CNNs-SVM分类器性能最佳。

图5 ResNet-SVM分类器结构原理图Fig.5 Schematic diagram of ResNet-SVM classifier structure

输入的光谱数据进行归一化(StandardScaler)处理后, 再输入到第一个一维卷积层(卷积核大小3, 步长1, ReLU激活, 全零填充)。 网络包含多个残差板块(Residual Block), 每个残差块的主支(Main Path)有两个卷积层(卷积核大小为3, ReLU激活, 丢弃率为0.2的Dropout层)。 捷径分支(Shortcut Path)有一个一维卷积层(卷积核大小为1, 步长为1, 过滤器数量与主分支的第二层相同), 用于调整拉曼特征图的维度。 最后在主分支输出和捷径分支输出进行加法操作, 经过ReLU激活输出。 在每个残差块之后添加的一维最大池化层(MaxPooling1D)的池化窗口大小为2。 最后, 经过全局平均池化层(global average pooling, GAP), 生成一个空间维度为1× 1的向量, 随后被用作特征提取器的输出, 并传递给SVM进行分类。

2 结果与讨论
2.1 增强的拉曼光谱数据集

原始样本数量为100条, 其中每个阶段老化样本的数量为10条。 基于前面讨论的WGANGP和Diffusion-Based WGANGP模型, 以及传统的在拉曼光谱数据中添加随机不同的高斯白噪声和强度偏移的数据增强方法。 每个阶段老化样本由10条经过不同增强模型后均扩充至200条, 10个阶段的老化样本共2 000条拉曼光谱数据。 图6展现的是Diffusion-Based WGANGP模型生成的10类老化绝缘油拉曼光谱图像及21 d的特征峰局部放大图。 通过观察发现生成的样本既保留了1 400~1 500和2 810~2 950 cm-1特征强峰的主要特征, 也模拟出了随着老化时间增加, 拉曼强度的基线漂移的趋势。 同时, 增加了原始样本的多样性, 为后续输入到分类器提高分类器泛化能力做好了良好的数据准备。

图6 扩散模型的WGANGP模型增强后的变压器老化绝缘油样本的10类拉曼光谱数据集Fig.6 Diffusion-Based WGANGP model enhanced 10-class Raman spectral dataset of transformer aged insulating oil samples

为验证Diffusion-Based WGANGP模型扩充数据是否具有真实的拉曼光谱规律分布特征, 采用了t-SNE(t-distributed stochastic neighbor embedding)方法进行可视化。 t-SNE通过将高维数据映射到二维空间, 保留数据之间的相似性, 能够验证扩充数据是否与实测数据在特征空间中具有相似的分布。

本文将Diffusion-Based WGANGP模型生成的200条样本和每个阶段的实测数据(10条样本)进行对比, 使用不同的形状(扩充数据为圆形, 实测数据为方形)表示。 t-SNE降维后的二维图示结果如图7所示, 表明扩充数据与实测数据在不同老化阶段(如0、 3、 5、 7、 9和11 d等)之间的分布没有较大差异, 显示了扩充数据与实测数据在特征空间中的高相似性。 这验证了扩充数据具有与实测数据相似的拉曼光谱规律分布特征。

图7 扩充和实测拉曼光谱特征的t-SNE降维后分布Fig.7 Distribution of t-SNE reduced dimensions for augmented and measured Raman spectral features

为了评估原始拉曼光谱及不同数据增强模型后的生成光谱质量, 计算了SNR, 定义为式(7)

SNR=10lgS-σB(7)

其中选择了两个特征强峰区域作为信号区域来计算信号平均强度 S-: 1 400~1 500和2 810~2 950 cm-1。 同时, 选择没有明显的信号峰, 且相对平坦的3 000~3 100 cm-1区域作为背景噪声区域来计算标准差σ B。

从表4可以看出, 传统的数据增强方法通过向数据集中引入额外噪声以生成更多样本, 导致其信噪比略有下降, 从原始数据集的18.53 dB降至18.21 dB。 这表明, 尽管传统方法能够增加训练样本的数量, 但同时也引入了额外的噪声, 从而降低了信号的整体质量。 相比之下, Diffusion-Based WGANGP显著提升了数据集的信噪比, 达到24.84 dB, 相比于原始数据集提高了32.11%。 这种提升对于变压器油纸绝缘状态的分类任务尤为重要。 高信噪比的数据可以减少噪声对分类器性能的负面影响, 提高分类准确性和鲁棒性。 因此, Diffusion-Based WGANGP不仅增加了训练样本的数量, 还改善了数据的质量, 为后续的分类任务提供了更加可靠和精确的输入。

表4 不同数据增强模型生成的拉曼光谱数据信噪比 Table 4 SNR of Raman spectral data generated by different data augmentation models
2.2 增强模型运行稳定性评估

从收敛性能来看, Diffusion-Based WGANGP的判别器和生成器的收敛速度均快于WGANGP, 在迭代直到750次的时候生成器的loss趋近于稳定并保持在8左右。 这主要是由于加入了富含真实信息的噪声样本, 使得比单独使用WGANGP生成器能够更快地生成出可以欺骗判别器的拉曼光谱数据样本, 从而具备更优越的收敛性能。 其中, Diffusion-Based WGANGP和WGANGP数据增强模型训练过程的损失如图8所示。

图8 不同数据增强模型训练过程的损失Fig.8 Losses in the training process of different data augmented models

2.3 增强数据集分类结果

并将不同增强模型生成的拉曼光谱数据集和原始拉曼光谱数据集分别喂入传统CNN、 ResNet和AlexNet以及这三种CNNs模型结合SVM的6种拉曼光谱老化分类模型中, 并且使用Accuracy、 F1 score、 Recall和Precision这四种评价指标对以上6种模型分类结果进行表现力评价。

原始拉曼光谱数据集在各类分类器的表现如表1所示, 可见将CNNs系列模型与SVM分类器结合可以有效地提升在Accuracy、 F1 score、 Recall和Precision这四个指标上的分类能力, 其中ResNet-SVM的分类性能在Accuracy、 F1 score、 Precision三个指标中均表现最佳, 仅在Recall指标上略低于AlexNet-SVM分类结果。 由于老化诊断模型更关注是否能够正确预测老化标签, 即在所有被分类模型预测为正例的样本中, 实际为正例的比例。 故总体来说, ResNet-SVM对比其余老化诊断模型仍具有明显优势。 原始拉曼光谱数据集在ResNet-SVM分类器上的预测结果被绘制为混淆矩阵如图9(b)所示。

图9 不同增强数据集通过ResNet-SVM分类器的混淆矩阵结果
(a): 基于扩散模型的WGANGP增强后的数据集的分类结果; (b): 基于原始数据集的分类结果Fig.9 Confusion matrix results of different augmented datasets by ResNet-SVM classifier
(a): Classification results for the augmented dataset by Diffusion-Based WGANGP; (b): Claaification results for the original dataset

表6结合表5表现来看, 总体来说, 使用数据增强模型可以有效提升分类性能。 对比与另外两种数据增强模型的数据集, Diffusion-Based WGANGP模型生成的拉曼光谱数据集更有效地提升了ResNet-SVM, AlexNet-SVM和CNN-SVM等6类分类模型的分类能力。 其中Diffusion-Based WGANGP模型生成的拉曼光谱数据集在ResNet-SVM分类器的分类表现力尤为显著, 对比传统数据增强模型(包括加入随机高斯白噪声和强度偏移的处理方法)生成拉曼光谱数据集和WGANGP生成拉曼光谱数据集喂入ResNet-SVM分类器上的效果, 其Accuracy分别提升了14.37%和1.27%, F1 score分别提升了14.54%和1.28%, Recall提升了14.30%和1.11%, Precision提升了13.63%和1.23%。 并将Diffusion-Based WGANGP模型生成的拉曼光谱数据集在ResNet-SVM分类器的分类结果绘制为混淆矩阵如图9(a)所示。

表5 原始数据集在分类器上的表现 Table 5 Performance of the original dataset on the classifiers
表6 不同增强模型在6种分类器上的表现 Table 6 Performance of different augmented models on six classifiers
3 结论

为实现变压器绝缘油老化程度的快速准确诊断, 弥补热加速老化实验的长周期性导致的拉曼光谱绝缘油样本稀缺, 本文提出一种扩散模型的WGANGP对使用拉曼检测平台获取的100组变压器老化绝缘油样本进行了数据增强, 共获取了2 000组增强后的变压器老化绝缘油样本拉曼光谱数据集。 将扩充后的数据集喂入基于深度学习的故障诊断分类模型, 完成模型训练及其分类结果评估。

(1)经过扩散模型改进后的WGANGP数据增强模型对变压器老化绝缘油样本扩充后, 增加了原有拉曼光谱数据集的多样性, 且保留了1 400~1 500和2 810~2 950 cm-1特征强峰的主要特征, 模拟出基线随着老化时间增强而漂移的趋势, 且信噪比相比于原始数据集提高了32.11%。 t-SNE分析结果表明, 扩充数据与实测数据在拉曼光谱的规律性分布特征上具有高度相似性, 进一步验证了生成的拉曼光谱数据集的质量与有效性。

(2)Diffusion-Based WGANGP数据增强模型对比WGANGP数据增强模型的判别器损失更快达到稳定; 改进增强模型的生成器的损失在750次达到稳定, 且对比WGANGP模型在中后期模型训练时损失更平稳。 改进后的数据增强模型具有更为优越的收敛性能。

(3)对比传统数据增强方法和WGANGP数据增强模型, Diffusion-Based WGANGP数据增强模型在CNN、 AlexNet、 ResNet、 CNN-SVM、 AlexNet-SVM和ResNet-SVM故障诊断分类模型上的Accuracy、 F1 score、 Recall和Precision指标表现均优于其他数据增强模型。 其中Diffusion-Based WGANGP数据增强模型与ResNet-SVM分类器结合体现出更优越的故障诊断性能, 其中Accuracy达到0.995 0, F1 score达到0.994 9, Recall达到0.994 4和Precision达到0.995 5。

综上所述, 本研究所提出的Diffusion-Based WGANGP数据增强策略能够稳定快速地生成满足深度学习需求的大规模高质量拉曼光谱数据集。 这种方法不仅增加了原始数据集的多样性, 还保留了关键特征峰的信息, 确保了数据的质量。 结合ResNet-SVM分类算法, 该策略实现了对变压器绝缘油老化状况的高效准确预测。

参考文献
[1] Zhang E Z, Liu J, Zhang C H, et al. Energies, 2023, 16(3): 1396. [本文引用:1]
[2] Zhang Z X, Chen W G, Wu K J, et al. IEEE Transactions on Instrumentation and Measurement, 2024, 73: 9517711. [本文引用:1]
[3] Soni R, Mehta B. Electric Power Systems Research, 2023, 214(B): 108954. [本文引用:1]
[4] Gouda O E, El Dein A Z. Electric Power Components and Systems, 2019, 47(4-5): 406. [本文引用:1]
[5] Feng D W, Chen G, Yan X Y, et al. IEEE Transactions on Dielectrics and Electrical Insulation, 2023, 30(6): 2758. [本文引用:1]
[6] Zheng H B, Yang E C, Wu S Y, et al. IEEE Transactions on Dielectrics and Electrical Insulation, 2022, 29(4): 1226. [本文引用:1]
[7] Kostina Y V, Rusakova O Y, Mikhalitsyn L A, et al. Petroleum Chemistry, 2023, 63(1): 1. [本文引用:1]
[8] CHEN Xin-gang, CHEN Shu-ting, YANG Ding-kun, et al(陈新岗, 陈姝婷, 杨定坤, 等). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2021, 41(5): 1463. [本文引用:1]
[9] CHEN Xin-gang, FAN Yi-jie, MA Zhi-peng, et al(陈新岗, 范益杰, 马志鹏, 等). Laser & Optoelectronics Progress(激光与光电子学进展), 2023, 60(21): 2130002. [本文引用:1]
[10] Yang D K, Chen W G, Shi H Y, et al. High Voltage, 2021, 6(1): 51. [本文引用:1]
[11] Chen W G, Zou J X, Wan F, et al. AIP Advances, 2018, 8(3): 035204. [本文引用:1]
[12] Wu Y J, He Y Z, Wang Y L. Sensors, 2023, 23(16): 7153. [本文引用:1]
[13] Tang C H, Thu Q X, Wu W J, et al. Mathematical Problems in Engineering, 2020, 2020: 1245924. [本文引用:1]
[14] ZOU Jing-xin, CHEN Wei-gen, WAN Fu, et al(邹经鑫, 陈伟根, 万福, 等). Transactions of China Electrotechnical Society(电工技术学报), 2018, 33(5): 1133. [本文引用:2]
[15] Nayak A A, Venugopala P S, Ashwini B, Archives of Computational Methods in Engineering, 2024, 31(8): 4739. [本文引用:1]
[16] Arjovsky M, Bottou L. 5 th International Conference on Learning Representations, 2017. [本文引用:1]
[17] Gulrajani I, Ahmed F, Arjovsky M, et al. Improved Training of Wassersetin GANs. Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, 2017, USA(2017): 5767. doi: 10.48550/arXiv.1704.00028 [本文引用:1]
[18] Shang Z W, Zhang J, Li W X, et al. Neural Processing Letter, 2023, 55(5): 6377. [本文引用:1]
[19] Yang R, Shu R, Nakayama H, IEICE Transactions on Information and Systems, 2022, E10D(9): 1537. [本文引用:1]
[20] Ho J, Jain A, Abbeel P. Denoising Diffusion Probabilistic Models[C]. Advances in Neural Information Processing Systems 33 (NIPS 2020). Curran Associates, 2020, 6840. doi: 10.48550/arXiv.2006.11239. [本文引用:1]
[21] Song J M, Meng C L, Ermon S. Denoising Diffusion Implicit Models[C]. International Conference on Learning Representations (ICLR 2021), ICLR 2021, doi: 10.48550/arXiv.2010.02502. [本文引用:1]
[22] Kong Z, Ping W. On Fast Sampling of Diffusion Probabilistic Models[C]. International Conference on Learning Representations (ICLR 2021), ICLR 2021, doi: 10.48550/arXiv.2106.00132. [本文引用:1]
[23] Jalbert J, Gilbert R, Denos Y, et al. IEEE Transactions on Power Delivery, 2012, 27(2): 514. [本文引用:1]
[24] DL/T 984-2018, Guide for the Diagnosis of Insulation Aging in Oil-Immersed Power Transformer(油浸式变压器绝缘老化判断导则)[S], 2018. [本文引用:1]