K-means聚类是快速聚类中运用欧氏距离进行样本-聚点计算的一种聚类形式, 确定所需要划分的类别数, 随机选择相应类别数不相交的初始化聚点, 并计算其他各样本到达类聚点的欧氏距离, 如式(1)

d(xi, xj)=[(xi-xj)T(xi-xj)]12(1)

以每个样本最靠近初始聚点原则归类, 将样本划分成初始类别后, 迭代计算各类别新的聚点并重新归类, 直到所有类别聚点不再有变化则迭代结束。

Fisher算法的原理是通过某些决策函数的计算, 将高维数据集样本投影到低维子空间上, 使得这些不同类别的数据集样本在低维子空间上的分离性最佳。

设样本训练总体为{G_i} (i∈ {1, 2, …, 10}), G_i是第i类样本的集合。 判别函数是构成Fisher判别模型的重要部分; Fisher算法中构造判别函数的原则是不同类别之间距离最大, 类别中所有样本距离最小, 即要满足式(2)达到最大。

Ψ(w)=∑k=1i(wTμk-wTμ̅)2wT∑k=1ivkw(2)

其中, w^T为投影向量, μ _k为样本质心, v_k为协方差矩阵。

Fisher判别模型建立后, 将测试集样本各变量带入判别函数, 得到各样本观测值的具体空间位置, 计算各样本距离类别组质心位置, 距离哪一类别组质心位置最近, 就归为此类。

随机森林算法是Breiman在2001年提出的决策树集成分类器, 主体思想是将多个单一分类器联系起来, 对随机选取的不同特征建立决策树群, 之后通过对所有决策树结果进行投票来决定类别归属。 该算法在近些年来被广泛运用, 在电气研究领域展现了不错的数据处理能力^[9], 具有以下优点^[10]: 能够有效地运用在高维数据集中; 能够处理高维数据且不需要降维; 内部生成误差为无偏估计; 运行效率高; 具有较高分类精度且泛化能力强。

采用bootstrap重采样技术对训练集样本随机抽取样本子集, 每个样本子集通过决策树的生成方式建立独立决策树模型。 本文选用CART(分类回归树)为基础分类器, 通过参数调整选择最适合的决策树数量, 通过计算lo gn2(n为样本中的特征变量个数), 得出指定节点中用于决策树的变量个数。

设计如图1所示的拉曼光谱检测平台, 为了避免高温引起过高的暗电流和阅读噪声以提高CCD探测器的灵敏度, 检测前将其内部工作温度降至零下10 ℃; 为了避免室内光线对样品检测的干扰, 整个检测过程在黑暗环境中进行; 实验室环境温度为25 ℃; 设置仪器恒定激光功率为300 mW, 数据采集积分时间为0.3 s, 积分次数为10。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 拉曼光谱检测实验平台结构示意图Fig.1 Schematic diagram of Raman spectroscopy detection experimental platform

依据IEEE导则进行油纸绝缘加速热老化样本的制备。 流程图如图2。 定期取样并获取10类老化时间分别为0, 1, 3, 5, 7, 9, 12, 17, 21和24 d的100个油纸绝缘样本拉曼光谱。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 油纸绝缘加速老化实验流程图Fig.2 Flow chart of accelerated aging experiment of oil-paper insulation

采用复合稀疏导数建模法对原始拉曼光谱数据进行预处理。 此方法能够将基线校正和噪声去除两部分合并处理, 极大地简化了预处理步骤。

复合稀疏导数建模法的原理是逆行推导光谱信号的分解过程, 建立基于构造一个凸优化问题来封装基线和光谱峰的非参数模型, 代数推导过程见文献[11]。 将原始拉曼光谱信号y建模为三个部分, 如式(3)

y=x+f+w(3)

其中, x为稀疏状峰值信号, f为低通基线, w为平稳白色高斯噪声。

通过二次数据保真度项‖ y-Ly-H x^‖22提出凸函数优化问题, 如式(4)

x^=argminx{F(X)=12‖y-Ly-Hx^‖22+∑iMλi∑n=0Ni-1ϕ([Dix]n)}(4)

其中, L, H分别为低通和高通滤波器, 由带状卷积矩阵构成, 且满足H=I-L, 利用非对称惩罚函数 ∑iMλi∑n=0Ni-1ϕ([Dix]n)模拟光谱峰的正则性, D_ix为谱峰数据x的i阶差分运算; N_i为D_ix的长度; λ _i为正则化系数; 借鉴Majorization-Minimization迭代优化算法求解思路, 迭代计算出谱峰信号估计值 x^, 提升收敛速度。 得出近似于有效峰值信号后, 对原始光谱信号减去有效峰值信号部分进行低通滤波处理, 过滤掉相对对称的信号, 而不引起峰值位置的偏移, 得到基线估计值f; 由原始光谱信号减去有效光谱信号x和基线估计值f, 得出噪声信号w。 原始拉曼光谱图预处理后的信号分解结果如图4。 经去噪和基线校正后的峰值信号曲线较为平滑, 能够更清晰观察到峰值的波动情况。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 复合稀疏导数建模预处理Fig.4 Preprocessing with compound sparse derivative modeling

针对拉曼光谱, 前期一般使用特征提取的方法, 例如主成分分析, 小波包能量熵等方法, 这些方法虽然可以快速提取样本中大部分有效信息, 但是在整合信息的同时, 提取出来的重要成分不能与每个光谱信息点的物理意义联系起来, 也不方便对油中溶解物质的老化机理进行后续研究。

如图5, 根据不同老化程度光谱图对比, 可以看到其中有很多差异谱段, 还有一些谱段处于高度重合状态, 若将光谱图全部导入判别模型, 可能会因为无效信息过量造成干扰现象。 遂采用差异特征选择^[12]的方法进行处理, 同时保留了光谱信息点包含的物理含义。 研究发现, 油中溶解的某些化学物质有其对应的拉曼频移特征点^{[13, 14]}, 对于差异特征点的抽取, 有利于进一步探究随着变压器油纸绝缘不断老化, 同一拉曼频移下对应的光谱差异特征点强度变化与油中溶解物质的老化机理关系。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同老化程度油样拉曼光谱对比Fig.5 Comparison of Raman spectra of oil under different aging degrees

进行特征工程中的特征选择步骤时, 较为直接的是Filter法, 选用方差计算同一拉曼频移下不同老化程度信息点差异, N为样本数, 如式(5)

σ2=∑i=1N(xi-x̅i)N(5)

方差可以表示一组数据的显著差异, 能够较好的将差异特征点提取出来。

如图6, 通过对所有拉曼频移下的数据集方差按从小到大依次排列作图, 可以观察到, 当方差值小于0.5时, 基本处于平稳状态, 表示不同老化程度下, 光谱图部分曲线基本无太大的变化, 由于数据预处理出现的微小差异可以忽略不计, 当方差大于0.5时, 曲线走势渐陡, 数据集差异显著增大, 表示这部分数据集在老化过程中存在某些物质量的变化, 能够与不同老化程度下绝缘油中物质的老化机理联系起来, 具有可研究性。 遂设定方差阈值为0.5, 对每个样本抽取出的304个特征信息点进行后续分析。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 同一拉曼频移下数据集方差筛选Fig.6 Data set variance screening under the same Raman shift

将预处理后的的100组样本数据按7:3比例随机进行训练集和测试集分配, 且运用不同算法建模的数据集相同, 测试时的数据集也相同。

3.3.1 K-means聚类算法应用

根据K-means算法原理对预处理后的训练集及测试集一起进行聚类处理, 预计分为10类, 选择最大迭代次数为20进行计算, 如图7, 迭代次数为9时, 聚点变动趋于稳定。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 聚类中心随迭代次数增加的变动Fig.7 Changes of cluster centers with increasing number of iterations

通过训练集样本已知类别对划分的类别进行重新标记, 统计测试集样本预测类别, 并与其实际类别进行比较, 如图8。 K-means聚类算法判别结果显示: 一共错判了9个测试样本, 其中, 属于1, 3, 5和21 d的部分测试样本错判到相邻类别, 表明相邻类别的特征易于混淆, 采用无监督聚类的方法对于相邻类别的判别效果并不显著; 实际类别为12 d的测试样本全都判别到1和3 d类别, 说明此算法在聚类时对于12 d的关键特征信息不敏感, 导致对这一类别的全部错判。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 K-means聚类算法判别分析结果Fig.8 Results of the discriminant analysis with K-means clustering algorithm

3.3.2 Fisher算法应用

根据Fisher算法原理对训练集样本总体计算, 根据表1, 威尔克Lambda表示组内平方和与总平方和的比例, 值越小表示组间差异越大, 可以看到前三个判别函数的威尔克Lambda检验显著性均小于0.05, 即表示用这三个判别函数建立的模型是有效的。

表1

Table 1

表1(Table 1)

表1 判别函数有效性检验 Table 1 Effectiveness test of discriminant function 威尔克Lambda 卡方 自由度 显著性 威尔克Lambda 1直至9 614.545 135 0.000 0.000 2直至9 361.644 112 0.000 0.002 3直至9 221.143 91 0.000 0.020 4直至9 91.852 72 0.057 0.197 5直至9 43.993 55 0.856 0.459 6直至9 27.632 40 0.931 0.613 7直至9 15.666 27 0.959 0.758 8直至9 6.696 16 0.979 0.888 9 1.787 7 0.971 0.969

表1 判别函数有效性检验 Table 1 Effectiveness test of discriminant function

反映判别函数所能解释的方差变异程度的特征值贡献率恰恰印证了这一结果, 如图9, 前三个判别函数累积贡献率显著提升, 能够解释的变量占比达到了98.0%, 最大程度的对数据集变量进行了处理, 之后的判别函数能解释变量的能力逐渐减弱, 累积贡献率曲线趋于平缓, 起伏较小。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 判别函数累积贡献率Fig.9 Cumulative contribution of discriminant function

通过对70个样本总体的训练, 建立了3个主要判别函数。 将30个测试样本带入判别函数, 得到各测试样本的空间坐标; 对各测试样本与类质心的距离进行计算, 判别细节如图10, 从图10可以看出, 单一的判别函数不能完全的将不同类别划分出来, 需要多种判别函数相结合, 才能使不同类别尽可能分开, 从而较容易判别未知样本。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 测试样本类别判别Fig.10 Discriminant analysis of test samples

图11为Fisher模型对测试样本的判别结果, 在1, 3, 5, 12和21 d类分别错判1个, 由于部分类别组质心分布过于密集, 导致相近类别误判情况略为明显。

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 Fisher算法判别分析结果Fig.11 Results of the discriminant analysis with Fisher algorithm

3.3.3 随机森林算法应用

一般来说, 构建随机森林模型时生成的树越多, 容错率就越高; 但在实际运用中, 会选择模型错误率降低至趋近于平稳时所需CART的最少棵数, 以减少运算量, 提高预测速度。

如图12(a), 设置决策树数量为1 000, 画出错误率和决策树数量的关系图, 从图上看出, 当决策树数量在600~800左右时, 错误率稳定。 生成600~800, 步长为1的数列, 迭代计算出错误率最小时需要的棵树, 如图12(b), 当决策树棵树为744时, 模型最优。

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 决策树数量与错误率关系图Fig.12 Diagram of the number of decision trees and the error rate

计算指定节点中用于决策树的变量个数, 调整好参数后进行随机森林建模, 通过计算, OBB袋外估计错误率为5.71%, 确定了建立的分类模型是较为可靠且稳定的, 这与随机森林模型内部计算泛化误差的无偏估计结果一致。 将测试集输入已建好的模型中, 得到如图13的判别结果。

图13

Fig.13

	Figure Option ViewDownloadNew Window
	图13 随机森林判别分析结果Fig.13 Results of the discriminant analysis with Random Forest algorithm

运用随机森林模型对测试样本进行类别评估, 在1和3 d类分别错判1个。 除了出现极少数的相近类别判断错误的问题, 实际老化时间为3 d类的一个测试样本被判别到9 d类, 类别错判差异较大。

3.3.4 三种判别方法结果对比

引入多种评价因子^[15]对模型及其预测结果进行效果对比。 如表2。

表2

Table 2

表2(Table 2)

表2 评估方法效果对比 Table 2 Comparison of evaluation methods 算法类别 评估准确度/% 提升度 Kappa指数 K-means聚类算法 70 7.466 7 0.662 9 Fisher判别算法 83.33 8.633 3 0.813 6 随机森林算法 93.33 9.416 7 0.925 1

表2 评估方法效果对比 Table 2 Comparison of evaluation methods

计算可知, K-means聚类算法判别准确率为70%, Fisher判别算法判别准确率为83.33%, 随机森林算法判别准确率为93.33%, 表明了随机森林算法在变压器油纸绝缘老化拉曼光谱高维数据集处理上的可靠性与有效性; 模型提升度是比较模型之间预测能力的提升状况指数, 就三种模型的提升度来看, 以无监督K-means聚类模型为基准, 有监督的Fisher判别模型和随机森林模型分别提升了1.166 6和1.95, 表明了加入已知样本的类别信息, 可能会影响模型的分辨能力, 使得模型能更好地判别未知样本; Kappa指数是评价分类结果一致性和信度的重要指标, 从三种模型的Kappa指数来看, 样本判别的实际一致率和随机一致率差别并不显著, 但总体来说, 随机森林的Kappa指数要高于另外两种模型, 表明了强分类器在样本增多, 数据维度增大后具有良好的表现, 随机森林算法经决策树数量和分离节点参数调整后具有较强的分类能力。 由于训练集和测试集为程序随机分配, 该评价结果也具有一定的普适性。