为保障模型泛化能力, 广泛收集了不同厂家、 主流类型的绝缘纸共6种, 如表1所示, 包括三种电缆纸(BZZ075、 BZZ125和GDL)、 两种皱纹纸(22HCC和JW50), 以及一种绝缘纸板(B31A)。 所有样本均在130 ℃恒温条件下进行加速热老化处理, 老化周期共计100 d, 并每隔2 d进行一次采样, 最终获得不同老化状态下的典型样本共计300个, 每类样品50个。 通过粘度法测试得到样品的DP标签值, 测试方法依据国家标准GB/T 29305执行。

表1

Table 1

表1(Table 1)

表1 不同类型绝缘纸样本信息 Table 1 Information of different types of insulating paper 类型 型号 厂家 电压等级/kV 电缆纸 BZZ075 BZZ125 GDL 泰州新源 泰州新源 玖龙浆纸 500 500 110~330 皱纹纸 22HCC JW50 魏德曼 许昌华特 35~500 35~500 绝缘纸板 B31A 泰州新源 35~500

表1 不同类型绝缘纸样本信息 Table 1 Information of different types of insulating paper

近红外光谱采集系统如图1所示, 主要由4台美国Ocean Insight公司生产的NIR Quest+ 2.2型近红外光谱仪, 以及美国Labsphere公司制造的ISP-REF型积分球光源组成。 光谱仪探测器波长范围为900~2 200 nm, 像元数为512。 光谱采集的积分时间设置为80 ms, 平均次数12次。 对于每个样品, 在不同位置进行3次光谱采集, 以尽可能采样到全面的绝缘油干扰信息。 最终, 每台光谱仪共采集得到900条光谱数据, 对应的数据集分别命名为S1、 S2、 S3和S4。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 绝缘纸近红外光谱采集系统Fig.1 Insulating paper NIR spectral acquisition system

神经网络模型微调是一种基于参数的迁移学习方法, 旨在利用源域的预训练模型在目标域上继续训练, 调节网络参数以适应新任务。 模型的架构设计是影响微调效果的关键因素之一, 不同结构在特征提取能力、 参数效率及泛化能力方面存在显著差异。 参考现有文献, 设计了并对比了四种主流网络架构, 分别为多层感知机(multi-layer perception, MLP)、 一维卷积神经网络(one-dimensional convolutional neural network, 1D-CNN)、 Transformer编码器(encoder-only Transformer, EOT)以及残差网络(residual network, ResNet), 各网络结构如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 参与对比的四种神经网络架构 (a): MLP; (b): 1D-CNN; (c): EOT; (d): ResNetFig.2 Four neural network architectures involved for comparison (a): MLP; (b): 1D-CNN; (c): EOT; (d): ResNet

其中, MLP由多层全连接神经元构成, 适用于建模复杂的全局非线性关系, 但其缺乏对序列结构的建模能力, 易忽视波段间的顺序依赖^[15]。 1D-CNN通过局部感受野与卷积共享机制, 能够有效捕捉光谱中的局部相关特征, 具有较强的参数效率, 但在处理长程依赖或细粒度结构时可能存在信息损失^[16]。 EOT利用自注意力机制挖掘不同光谱波段之间的全局相关性, 具备强大的建模能力, 然而其模型参数量较大, 在小样本目标域中易导致过拟合^[17]。 ResNet则通过引入残差连接, 有效缓解深层神经网络中的梯度消失与梯度爆炸问题, 适用于MLP或CNN模块的结构增强^[18]。 上述四种网络架构分别代表当前主流的光谱特征提取方式, 对它们在目标域微调过程中的迁移表现进行系统比较, 有助于深入理解不同网络结构在特征提取能力与域迁移适应性方面的差异特征, 为后续网络设计与优化提供理论依据与实践参考。

考虑到近红外光谱数据的高维序列特征与本研究数据库的规模特点, 针对所选的四种神经网络架构(MLP、 1D-CNN、 EOT和ResNet), 设计了对应的超参数搜索空间, 具体配置如表2所示。 通过大量的建模对比实验, 系统评估不同超参数组合在目标域微调过程中的迁移性能, 并从中筛选出具有良好鲁棒性和迁移泛化能力的通用型网络结构与参数配置, 以构建适用于近红外光谱任务的最优迁移学习框架。

表2

Table 2

表2(Table 2)

表2 不同网络架构的超参数搜索空间 Table 2 Hyperparameter search space for different network architectures 网络架构 参数设置 MLP 隐藏层层数: [3, 4, 5] 隐藏层维度: [512, 256, 128] 激活函数: [ReLU, GELU, Sigmoid] 1D-CNN 卷积层数: [2, 3, 4] 卷积核大小: [3, 5, 7, 9] 卷积步长: [1, 2, 3] 全连接层深度: [1, 2, 3] Inception分支数: [1, 2, 3, 4] EOT 编码器层数: [1, 2, 3, 4] 注意力头数: [2, 4] 全连接头深度: [1, 2, 3] ResNet 网络深度: [3, 4, 5] 1D-CNN相关参数 MLP相关参数 全连接头深度: [1, 2, 3]

表2 不同网络架构的超参数搜索空间 Table 2 Hyperparameter search space for different network architectures

模型训练与微调的详细流程如图3所示。 在数据准备阶段, 统一将S1、 S2、 S3作为源域数据集, S4作为目标域数据集。 在源域训练过程中, 将合并后的数据按80%:20%的比例划分为训练集和测试集; 在目标域微调中, 仅使用目标域数据中10%的样本用于训练, 其余90%用于测试, 以模拟实际应用中小样本迁移建模场景。 为增强实验结果的稳健性与可重复性, 源域与目标域训练均设置5组不同的随机种子, 分别进行随机划分与独立建模, 以减少因样本划分波动带来的偶然性影响。 模型训练严格遵循表3中定义的超参数组合, 训练完成后, 将源域模型的全部参数保存并加载至目标域模型初始化中, 随后在目标域上继续训练以完成微调过程。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 模型训练与微调的过程Fig.3 Schematic diagram of the model training and fine-tuning process

表3

Table 3

表3(Table 3)

表3 不同网络架构的源域及目标域训练设置 Table 3 Training settings in source and target domains for different network architectures 网络架构 训练设置(源域) 训练设置(目标域) MLP 训练轮数: 100 损失函数: MSE 优化器: Adam 学习率: 0.000 05 BatchSize: 16 训练轮数: 300 损失函数: MSE 优化器: Adam 学习率: 0.000 05 BatchSize: 16 1D-CNN 训练轮数: 50 损失函数: MSE 优化器: Adam 学习率: 0.000 1 BatchSize: 16 训练轮数: 200 损失函数: MSE 优化器: Adam 学习率: 0.000 05 BatchSize: 16 EOT 训练轮数: 20 损失函数: MSE 优化器: Adam 学习率: 0.000 5 BatchSize: 16 训练轮数: 500 损失函数: MSE 优化器: Adam 学习率: 0.000 05 BatchSize: 16 ResNet 训练轮数: 50 损失函数: MSE 优化器: Adam 学习率: 0.000 1 BatchSize: 16 训练轮数: 200 损失函数: MSE 优化器: Adam 学习率: 0.000 05 BatchSize: 16

表3 不同网络架构的源域及目标域训练设置 Table 3 Training settings in source and target domains for different network architectures

深度神经网络在训练过程中所学习到的低层特征通常有较强的通用性, 能够适应不同任务的初步特征提取需求^[19]。 然而, 随着网络深度的增加, 高层特征表达更依赖于输入数据的具体分布。 现有研究普遍采用冻结模型前端特征提取层、 仅对后续高层模块进行微调的策略。 该策略一方面保留了预训练模型中对谱图低层特征的稳定提取能力, 另一方面通过对高层参数的局部优化增强模型对目标域(新光谱仪)数据的适应性。 基于上述思路, 以1D-CNN结构为例, 设计了四种不同的模型参数冻结方案, 如图4所示, 旨在评估不同层级参数冻结方式对迁移性能的影响。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 不同网络参数冻结设置 (a): 不冻结; (b): 冻结首层卷积层; (c): 冻结所有卷积层; (d): 冻结部分全连接层Fig.4 Different parameter freezing strategies for neural networks (a): No freezing; (b): Freezing the first convolutional layer; (c): Freezing all convolutional layers; (d): Freezing part of the fully connected layers

源域与目标域的模型训练后采用均方根误差(root mean square error, RMSE)与平均相对误差(mean absolute percentage error, MAPE)进行性能评估

$\mathrm{RMSE}=\sqrt{\frac{\sum_{i=1}^{n}\left(y_{i}^{*}-y_{i}\right)^{2}}{n}}$(7)

MRE=∑i=1n|yi* -yi|yin×100%(8)

式(7)和式(8)中: y_i为标签值, yi*为模型预测值。 RMSE和MRE越小, 模型表现越好。

S1— S4的平均光谱对比如图5所示, 各仪器在整个波段范围内的光谱响应趋势具有良好的一致性, 反映出相似的谱形结构。 然而, 在光谱反射率的幅值上仍存在显著区别, 主要归因于各仪器在探测器灵敏度、 光源强度等方面的差异性。 为进一步分析不同光谱仪间的数据相关性及模型传递能力, 以偏最小二乘回归与1D-CNN为例, 研究了在无微调条件下将某一光谱仪上训练的模型直接应用于其他光谱仪数据的预测性能。 所得误差矩阵如图6所示。 结果表明, 各模型在本机测试集上表现较优, RMSE普遍维持在60左右, 但一旦迁移至其他光谱仪的数据上, 预测误差显著升高, RMSE均超过150, 甚至高达3126, 说明即便是细微的仪器差异也会导致模型性能大幅下降。 这一结果也印证了跨仪器建模的必要性, 即使不同仪器光谱形态高度一致, 幅值层面的微小差异也足以破坏模型的泛化能力, 因此需要结合迁移学习等策略来弥补分布差异带来的预测精度损失。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 四台光谱仪采集的绝缘纸漫反射近红外光谱的平均光谱对比Fig.5 Comparison of average diffuse reflectance NIR spectra of insulating paper acquired by four spectrometers

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 源域模型直接应用于目标域时的误差 (a): PLS模型; (b): 1D-CNN模型Fig.6 Prediction errors when source domain models are directly applied to the target domain (a): PLS model; (b): 1D-CNN model

六种绝缘纸样本的DP测试结果如图7所示, DP分布范围为300~1 100, 整体呈近似正态分布。 其中, 大多数DP值集中于450~950区间, 表明所采集样本多数处于中度老化阶段。 DP的整体分布符合绝缘纸前期老化速率快、 后期逐渐减缓的指数衰减规律^[20]。 这一规律性特征验证了所构建数据库在老化进程表征方面的有效性, 说明该数据库在支持老化建模、 特征提取与迁移学习研究方面具有良好的代表性与覆盖性。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 样品的DP测试结果分布Fig.7 Distribution of DP test results of the samples

不同冻结设置下模型在目标域(S4)微调后的测试集误差如图8所示, 对应图3中的不同冻结设置。 当仅冻结卷积层时, 模型具有最好的表现, 但与完全不冻结参数的设置相比差异较小, 而全连接层必须全部解冻以保证非线性拟合能力。 因此, 在后续进行模型微调时, 只对涉及CNN的首层卷积层以及EOT的首层编码器进行冻结。 可见, 冻结策略不仅影响最终精度, 还在一定程度上决定了训练的稳定性。 冻结低层特征提取层有助于保留源域已学习的与仪器无关的稳定特征, 避免在目标域小样本训练时发生过拟合; 而高层参数的解冻则允许模型快速适应目标域特有的分布特征, 从而在精度与泛化性之间取得平衡。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 不同微调设置下模型的迁移学习表现对比 (a): 不冻结; (b): 冻结首层卷积层; (c): 冻结所有卷积层; (d): 冻结部分全连接层Fig.8 Comparison of model transfer performance with different fine-tuning Configurations (a): No freezing; (b): Freezing the first convolutional layer; (c): Freezing all convolutional layers; (d): Freezing part of the fully connected layers

通过在多组超参数配置下对四类典型网络架构进行系统性微调测试, 得到了源域测试集误差RMSE_source与目标域微调后测试集误差RMSE_target的分布散点图, 如图9所示。 从最终分布可以发现, RMSE_source与RMSE_target并不具有显著相关性, 即源域性能较优的模型并不一定在目标域具有良好的迁移表现。 这表明, 模型迁移效果更依赖于其对与仪器无关、 但与DP高度相关的光谱特征的抽象与建模能力, 而非单纯依赖源域训练精度。 这一现象的根本原因在于, 源域精度主要反映模型在原始分布下的拟合能力, 而迁移性能则依赖模型能否提取出与DP高度相关且在不同仪器间保持稳定的域不变特征。 因此, 单纯依赖源域误差来判断网络的可迁移性是不充分的, 跨域任务更应关注特征提取的鲁棒性和域适应能力。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 四种架构的源域误差与目标域误差分布Fig.9 Distribution of errors on source and target domains across four network architectures

从不同网络架构的表现来看, MLP与EOT在目标域的整体预测精度较低, 可能由于缺乏卷积层的特征提取机制, 难以有效捕捉具有位置不变性和局部相关性的光谱特征。 相比之下, 包含卷积模块的1D-CNN与ResNet尽管在源域上精度较差, 但由于其适当的参数规模和鲁棒的特征提取特性, 使模型更易捕捉到具有仪器不变性的DP关联特征。

在本研究设定的模型搜索空间中, 图10所示的Inception-ResNet架构表现最优, 该网络主体由两层一维卷积构成, 其中第二层引入了三分支的Inception结构。 多尺度卷积能够同时覆盖近红外光谱中宽波段趋势性特征和窄波段局部吸收峰特征, 从而兼顾全局与局部信息的捕捉能力。 残差连接的引入则在加深网络深度的同时缓解了梯度消失, 使得网络能够稳定训练并保留浅层的稳定特征表达。 这种结构对仪器差异引起的幅值偏移具有一定的容错能力, 因此在跨仪器迁移场景下表现更优。 Inception-ResNet在源域和目标域样本误差分布如图11所示, 源域中的Inception-ResNet对于大多数样本具有较好的预测效果, 而在目标域微调后的测试集上误差为RMSE_target=78.5, MAPE=8.6%, 已满足工业应用中对聚合度分析的准确性要求(预测误差10%以内)。 部分预测误差较大的样本可能是由于未进行异常样品剔除而存在的异常点。 综上所述, Inception-ResNet将残差连接与多尺度卷积相结合, 既保留了浅层特征的稳定性, 又提升了深层特征的抽象能力, 是近红外光谱迁移学习任务中的优选网络架构。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 微调表现最优的Inception-Resnet架构Fig.10 The Inception-ResNet architecture exhibiting the best fine-tuning performance

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 Inception-Resnet架构在源域和目标域中的表现 (a): 源域表现; (b): 目标域表现Fig.11 Performance of the Inception-ResNet architecture in the source and target domains (a): Source domain performance; (b): Target domain performance