依据GB/T22707— 2008《直流系统用高压绝缘子的人工污秽试验》^[14]标准规定制备试验样本, 选用与绝缘子材质相同的红色硅橡胶片(5 cm× 5 cm)作为人工污秽样本的基材, 选用氯化钠和高岭土混合制作污秽物溶液。 称取0.55 g氯化钠和0.25 g高岭土、 0.75 g氯化钠和0.25 g高岭土两组配比, 分别溶解于500 mL蒸馏水中, 形成两种不同浓度的氯化钠混合溶液, 充分搅拌后, 将5 mL氯化钠混合液均匀涂刷在每个人工试验胶片表面, 并在自然环境下晾干, 得到盐密度0.22 mg· cm^-2、 灰密度0.1 mg· cm^-2和盐密度0.3 mg· cm^-2、 灰密度0.1 mg· cm^-2的两组污秽绝缘子样片如图1所示, 上面三个样本(a组)的盐密度为0.3 mg· cm^-2, 下面(b组)三个样本的盐密度为0.22 mg· cm^-2。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 人工污秽样品Fig.1 Artificial contamination samples

a组、 b组样品共6个, 在每个样品上选取15个大小相等区域提取区域光谱数据, 共得到90组光谱数据。 按照7∶ 3的比例划分训练集与测试集, 选取训练集样本63个, 测试集样本27个。

高光谱检测数据采集原理如图2所示。 采集系统平台包含高光谱相机(FS-13), 光谱波长范围400~1 000 nm(可见光/近红外); 50 W卤素灯2个, 波长范围400~1 000 nm(可见光/近红外), 用于提供均匀稳定的光源; 放置样品的暗箱可隔离外部光源和环境干扰; 反射率为1的标准校正白板; 导轨平台由电机驱动使高光谱相机在导轨上匀速移动。 计算机用于储存光谱数据和后续处理和分析。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 高光谱采集系统Fig.2 Hyperspectral acquisition system

为了使样本图像不变形并获得清晰的高光谱数据, 调节高光谱相机合适的曝光时间以及导轨的移动速度至38.5 mm· s^-1。 高光谱相机拍摄角度与运行导轨呈90° 。

外界环境噪声及仪器内部暗电流的干扰会影响光谱数据的准确性, 需将采集的数据进行黑白校正。

通过使用标准校正白板获得反射率为100%的全白标定数据, 高光谱相机盖住后采集的数据作为全黑标定数据, 对采集到的这些数据进行黑白校正处理

RD=RS-RBRW-RB(1)

式(1)中, R_D是经黑白校正处理后的光谱数据; R_S是实验采集到的原始光谱数据; R_B是全黑标定光谱数据; R_W是全白标定光谱数据。

光线经过被测物表面时不仅会发生反射, 还会有部分光线发生折射, 为减少光谱数据的丢失, 还需对其进行散射校正, 图3为每个人工污秽样本的原始光谱图。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 6个人工污秽样本原始光谱图Fig.3 Original spectra of samples

1.4.1 竞争性自适应重加权算法

竞争性自适应重加权算法(competitive adaptive reweighted sampling, CARS)是一种用于高光谱数据特征波长筛选的方法, 用于对高维数据进行降维, 并剔除不重要的波段, 这一方法是通过模拟生物进化中的选择机制, 根据实际情况自适应地对光谱波段进行重加权和筛选, 逐步剔除冗余和不重要的波段, 这使得CARS算法特别适用于信息冗余和多重共线性问题的数据。 CARS算法的基本原理和步骤:

(1)蒙特卡洛采样: 在初始采样阶段, 每次随机从校正集中选择一部分数据用于构建训练集, 其余样本数据作为预测集建立偏最小二乘模型(PLS)。 提前设定蒙特卡洛的采样的次数, 计算采样过程中偏最小二乘模型中回归系数的绝对值权重:

wi=|bi|∑i=1p|bi|, i=1, 2, 3, …, p(2)

式(2)中, |b_i|为第i个变量的回归系数绝对值; w_i为第i个变量的回归系数绝对值权重; p为每次采样中剩余的变量数;

(2)自适应加权采样: 采用指数衰减函数(exponentially decreasing function, EDF)剔除PLS模型中回归系数的绝对值权重相对较小的点, 运行中保留变量的比例为:

ri=ge-βi(3)

式(3)中, g与β 为常数系数; 其决定条件为: 第一次运行时, r₁=1; 第N次运行时, r_N= 2p, 其中p为子集个数且g与β 被定义为

g=2p1N-1(4)

β=lnp2N-1(5)

(3)交互验证: 通过计算交叉验证均方根误差(RMSECV), CARS算法经过多次采样后, 得到N个最佳特征波长组合, 最终选择均方根误差值最小的波长组合的子集作为特征波长。

图4为利用CARS算法筛选绝缘子表面污秽特征波长的运行结果。 实验中设置100次蒙特卡洛采样并结合偏最小二乘法回归, 以确定CARS的最佳主成分数, 筛选前期, 随着采样次数的增加, 筛选出的变量数量显著减少; 而在筛选后期, 尽管采样次数继续增加, 筛选的变量数量基本保持不变。 最终, 通过最小交叉验证均方根误差值来确定最终筛选的波长数量为29个。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 CARS选取Fig.4 Process of CARS selection

图5所示为变量被选频率图, 频率越高的波长, 表明其作为特征波长的概率越大, 结果显示: 频率较多集中在780~950 nm之间。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 变量被选频率图Fig.5 Frequency of variable selections

图6展示了筛选的结果, 特征波长共计29个, 由于低于400 nm和高于1 000 nm处的波长可信度较差, 需要进行剔除, 最后剩下23个, 分别为: 422.6、 424.84、 433.77、 447.13、 753.15、 790.79、 824.23、 832.59、 857.7、 863.98、 884.94、 887.04、 889.13、 901.73、 905.94、 908.04、 920.67、 975.64、 979.89、 982.01、 984.14、 986.27和996.92 nm。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 CARS波长选取的波长结果Fig.6 Distribution of selected wavelength by CARS

1.4.2 连续投影算法

连续投影算法(successive projections algorithm, SPA)旨在从成百上千个光谱变量中精确地筛选出最具代表性的变量, 以此来降低变量之间的共线性, 有效地减少数据的重叠和冗余, 并通过多元回归分析评估这些变量的预测效果。 具体步骤如下:

(1)将初始迭代向量定义为x_i(0), 光谱数据矩阵为Z列, 包括N个变量。

(2)从建模集中随机抽取一列光谱矩阵, 将这一列记为第j列, 同时将第j列赋值给x_j, 记为x_i(0);

(3)将未被选中的列向量的集合记为H, 即:

H={j, 1≤j≤Z, j∉{i(0), …, i(n-1)}}(6)

(4)计算出剩余的所有未被选择的列向量的投影集合, 记为Q_xj, 即:

Qxj=xj-(xTjxi(n-1))xi(n-1)(xTi(n-1)xi(n-1))-1且j∈H(7)

(5)提取最大投影向量的光谱波长:

i(n)=arg(max(‖Qxj‖), j∈H)(8)

(6)假定x_j=Q_xj, j∈ H。

(7)n=n+1, 若n小于N, 重新回到步骤(3)循环计算。

通过计算提取的变量{x_i(n)=0, …, N-1}, 经过多次循环, 可以获得对应的每次循环中的i(0)和N, 再利用多元回归(MLR)模型分析, 以及计算均方根误差(RMSEP), 当均方根误差达到最低时, 对应的i(0)和N即为最佳解。

经SPA运行后的结果如图7所示, 展示了各波长的RMSEP值, 波长子集的RMSEP值接近最小值时, 共筛选出6个波长, 如图8所示, 分别为543.44、 609.90、 780.34、 868.17、 912.25和941.76 nm, 从图中展示的结果看, 筛选后的波长都集中于900 nm以上, 但处于波峰波谷处的波长居多。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 SPA选取波长的RMSEP值Fig.7 RMSEP value of SPA wavelength selection

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 SPA选取的波长结果Fig.8 Wavelengths selected by SPA

1.4.3 无信息变量消除法

无信息变量消除法(uninformation variables elimination, UVE)可以有效地筛选出对建模贡献最小的波长变量, 从而确保模型的准确性和可靠性。 选择具有有效表征的特征波长, 被剔除的波长变量称为无信息变量。 UVE算法基于偏最小二乘法(PLS), 可减少变量的数量, 降低模型复杂性。 具体步骤如下:

(1)假设有n个样本, 其中T_{n× q}=[t₁, …, t_q]为自变量矩阵, t_i= ti︙tin, i=1, …, q为自变量向量; y_{n× 1}为因变量向量; PLS(偏最小二乘法)模型最佳主因子个数为k;

(2)定义噪声矩阵Y_{n× m}, 构建新的n× (2q)维变量混合光谱矩阵TY_{n× (2q)}=[T, Y];

(3)对TY_{n× (2q)}与y_{n× 1}进行PLS留一交叉验证;

(4)从样本中移除第i个样本, 对剩下样本进行偏最小二乘建模, 得到1× (2q)维回归系数向量c_i=[c_i1, …, c_i(2q)]; 重复上述步骤, 进行n次偏最小二乘回归, 确保每个样本都被移除一次, 最终得到系数矩阵

Cn×2q=c1︙cn=[aj, …, a2q](9)

式(9)中, a_j= a1j︙anj, j=1, …, 2q为t_j对应的系数向量。

(5)通过计算a_j系数向量中元素W(a_j)的标准差和均值M(a_j), 可得到一个稳定值a_j可表示为

Cj=M(aj)W(aj), j=1, …, 2q(10)

为了剔除异常值和极端噪声, 尽可能确保大多数数据都能保留下来, 增强稳定性与鲁棒性, 将阈值C_threshold设置为噪声变量稳定值绝对值的第99百分位数, 并根据该阈值剔除光谱变量, 可以获得更加准确的有效光谱变量。

UVE算法处理后的结果如图9、 图10所示, 图9为UVE中阈值判断图, 图中上下两黑色水平轴代表变量的阈值, 阈值之间的区域表示被剔除的无关信息变量, 而超出阈值的部分则为筛选出来的有效波长, 可用于后续建模。 图10显示了筛选出的结果, 特征波长共13个, 考虑到低于400 nm和高于1 000 nm处的波长可信度较差, 需要进行剔除, 最后剩下12个, 分别为: 431.54、 458.21、 656.54、 694.46、 725.94、 790.79、 824.23、 832.59、 857.70、 887.04、 975.64和990.52 nm。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 UVE阈值判断图Fig.9 UVE threshold determination diagram

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 UVE筛选的特征波长结果Fig.10 Characteristic wavelengths extracted by UVE

为验证不同筛选方法的效果, 考虑8种不同的预处理方法, 分别与CARS、 SPA和UVE结合进行特征波段筛选, 搭建支持向量机SVM分类模型进行绝缘子污秽等级的划分。 表1列出了不同预处理方法与筛选方法组合进行分类的结果。

表1

Table 1

表1(Table 1)

表1 具体测试结果 Table 1 Specific test results 预处理 方法 指标 筛选方法 不筛选 CARS 处理 SPA 处理 UVE 处理 不处理 剩余波长个数 300 25 13 15 分类准确率/% 40.74 74.07 68.25 62.96 多元散射 校正(MSC) 剩余波长个数 300 23 6 12 分类准确率/% 84.13 100 93.8 93.60 标准正态 变化(SNV) 剩余波长个数 300 15 9 17 分类准确率/% 96 100 92.59 100 一阶导数 (SG一阶) 剩余波长个数 300 17 12 17 分类准确率/% 77.78 92.59 96.29 96.29 去卷积法 剩余波长个数 300 14 13 14 分类准确率/% 51.85 74.07 70.37 59.26 移动平均 滤波 剩余波长个数 300 26 9 25 分类准确率/% 59.26 70.37 74.07 77.8 基线校正 剩余波长个数 300 23 5 30 分类准确率/% 66.7 88.98 96.29 66.7 归一化 剩余波长个数 300 28 13 17 分类准确率/% 92.6 100 92.6 100 小波变换 剩余波长个数 300 15 16 18 分类准确率/% 59.3 70.4 74 74.07

表1 具体测试结果 Table 1 Specific test results

从表1可以看出: 光谱数据经过预处理后建模分类的准确率明显高于采用原始数据分类的准确率, 经过预处理后再进行筛选所得的特征波长个数明显减少, 但分类的准确率并未受到影响。 不同的预处理方法分类效果存在着明显差异。

2.2.1 特征波长筛选结果的对比

在三种特征筛选方法中, SPA和UVE两种方法的筛选效果较好, SPA筛选所得的特征波长数目最少, 最高效情况下可以从300个波长中筛选出5个特征波长; 且SPA针对各种预处理方法的筛选效率都是最高的, 平均筛选率为3.56%, UVE的平均筛选率为6.11%, CARS的平均筛选率为6.89%。 UVE方法的整体筛选效果要好于CARS方法, 但对于部分预处理方法, 如标准正态变化、 基线校正和小波变换3种预处理方法, UVE的筛选效果略差于CARS。

2.2.2 分类效果对比

从表中可以看到, 采用经过预处理后的光谱数据进行识别分类, 其准确率要高于采用未处理数据进行识别的准确率。 光谱数据经过预处理后, 在不经筛选的情况下, 其识别准确率最低可以达到51.85%, 高于未经处理不筛选情况下的40.74%。 采用标准正态变化处理后的数据, 在不经筛选情况下进行识别的准确率可达到96%。

采用未经预处理的原始数据, 经过特征筛选后再进行分类识别的准确率也能得到较大提升, 其中原始数据经CARS筛选后再进行分类的准确率可达到74.07%。

光谱数据经过预处理再加上特征筛选后进行分类识别, 其准确率会进一步提高, MSC-CARS、 SNV-CARS、 MSC-UVE、 归一化-UVE处理后的测试集准确率均可达到100%; CARS、 SPA、 UVE结合8种预处理后测试集平均分类准确率分别为87.05%、 86.25%、 83.47%。 预处理方法与特征筛选方法结合后, 模型性能得到显著提升, 表明预处理与特征筛选结合对于改善数据质量、 提高模型性能具有重要作用。