高光谱图像可以看作遥感图像的一种特殊形式, 与常见的RGB彩色图像相比, 能提供被测物体更多的光谱方面的信息^[17]。 针对汽油高光谱图像, 一般由多个独立的光谱波段组成一张高光谱图像, 且被测汽油在不同波长的反射和辐射情况都能在各自独立的波段上得到反映。 汽油高光谱不仅能够反映被测汽油的空间外形信息还能体现光谱维度信息, 因此更有益于实现汽油的识别和分类。 然而, 汽油高光谱图像是连续窄波段的图像数据, 扫描过后形成立方体的数据, 具有“ 图谱合一” 的特点, 导致大部分波段之间存在数据冗余, 需要对汽油高光谱图像数据进行降维和特征波段选择。

选用连续投影算法实现汽油高光谱图像数据降维, 获得汽油的特征光谱波段。 架设输油管道的下方通常为土壤和水, 管道发生泄漏时油滴落于土壤和水上, 因此, 选择土壤和水作为高光谱图像采集的背景。 此外, 采用不同体积的汽油滴落模拟管道的不同泄露程度。 不同背景与体积的组合代表不同的管道架设地及不同泄露程度的情况。 如图1所示, 通过遥感图像处理软件平台ENVI(ENvironment for Visualizing Images)获取92#和95#两种汽油在900~1 700 nm波段内的光谱反射率数据作为连续投影算法的输入数据, 其中不同颜色曲线代表不同背景(土壤、 水)和不同体积(1、 2、 5和10 mL)汽油组合下的光谱反射率数据, 在1 200~1 700 nm范围内有两个明显的反射峰。 这些波峰的强度和形状不仅揭示了汽油的化学结构信息, 还反映了其物理形态特征。 选择特征波段时, 需确保这些波段能够覆盖峰值区域, 捕捉到更为精确和更具有代表性的图像数据, 达到优化输入图像数据的目的, 提高网络模型的检测精度。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 92#和95#两种汽油光谱反射率Fig.1 The reflectance spectra of 92 and 95 gaslines

连续投影算法通过最小化矢量空间共线性, 采用向量投影分析挑选最大向量。 之后, 通过模型校正筛选对模型性能贡献最大的波段作为特征波段输出, 图2表示使用连续投影算法对油品光谱数据筛选得到的特征光谱波段。 由图2可知连续投影算法选出的特征波段均位于汽油的反射吸收峰值的位置, 没有选取无信息的平缓区域。 选取特征波段后, 同样利用ENVI遥感数据处理软件平台导出对应波段下的汽油高光谱图像, 为模型训练做准备。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 提取的汽油特征波段分布Fig.2 The distribution of extracted gasoline characteristic bands

高光谱数据获取成本高, 能够用于训练卷积网络的高光谱图像数据数量有限, 而深度学习分割网络模型在训练网络时需要大量的数据才能保证网络在训练、 测试和验证数据集上均取得较好的分割效果。 因此采用图像旋转角度、 横向或纵向翻转、 在图像中注入随机噪声等方式实现数据扩充增强的目的, 实现方式如图3表示, 以第三行扩充方式为例, 初始样本量为N, 翻转一次样本量为2N, 再翻转一次, 或在首次翻转的图像中分别加入噪声, 可获得3N的样本量, 扩充前后的部分样本如图4所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 样本扩充方式Fig.3 Sample expansion method

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 扩充部分样本 左1为原始数据, 其余均为扩充后的数据Fig.4 Expanded some samples Left 1 is the original data, the rest are expanded data

高光谱数据中波段通常存在较强的相互关联性, 通道注意力机制^[18]可以优化各个光谱特征的权重分配。 如图6所示, Zc表示输入光谱特征, 空间维度为H× W, 通道数为C, 将其从上到下变形得到Kc、 Qc、 Vc, 将Qc转置得到Qc^T, 利用Fc=KcQc^T计算比较Kc与Qc的相似性, 然后利用softmax分类器获得像素权重矩阵Wc, Wc(i, j)表示像素i对像素j的影响, 如式(1)所示

$W_{c}(i, j)=\frac{\exp (i, j)}{\sum_{j=1}^{H \times W} \exp f(i, j)}$(1)

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 通道注意力机制Fig.6 Channel attention mechanism

将Vc与Wc相乘得到通道注意力特征, Wc与Vc加权得到具有区分性特征的光谱注意力特征, 如式(2)所示

Ac=WcTVc(2)

为了使通道注意力特征维度与输入特征相同, 将其变形为Ac^* 并添加到输入直至收敛。

Zc* =Ac* +Zc(3)

由式(3)可以看出每个通道的最终特征是所有通道特征和原始特征的加权和, 能够提升汽油高光谱特征的显著度, 从而提高管道泄露汽油的分割精确度。

在传统的网络结构中, 一个深度为L的传统卷积网络仅包含L个层间连接。 然而, 在密集连接网络(DenseNet)中, 这一数字显著增加至L(L+1)/2个连接, 在一定程度上抑制了梯度消失的现象, 密集连接模块模型结构如图7所示。 密集连接模块能够实现前一层级与下一层级直接相连, 有效避免对非重要信息的重复学习, 减少计算参数。 DenseNet结构对需要后向传递和保留的本层信息做出区分, 与ResNet网络模型相比, 其更加注重特征的重用和信息的共享, 在模型精度和泛化能力上表现优异。 在DenseNet中, 使用BatchNormalizing(BN)对层的输入进行归一化, 减少数据之间的绝对差异, 更多地考虑了相对差异, 提高模型的检测精度。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 密集连接模块Fig.7 DenseNet module

(1)失活层

为防止过拟合风险, 引入失活层的概念, 通过暂时关闭网络中的一部分神经元降低网络的复杂性, 图8展示了标准网络与集成失活层的网络之间的对比。 在训练循环中, 通过设定一个概率值p, 随机地使一部分神经元停止激活, 同时以概率(1-p)让其余神经元参与网络的优化过程和权重更新。 这种方法有助于防止网络对某些特定局部特征的过度依赖, 从而增强其泛化能力。 经过交叉验证, 发现当p设为0.5时, 网络性能达到最优。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 未采用失活层神经网络(a)和采用失活层神经网络(b)对比Fig.8 Comparison of neural networks without (a) and with inactive layer (b)

(2) 早停策略

在训练过程中设置适当的时间点实施早停策略, 解决需要手动设置网络迭代次数的问题, 进而有效规避过拟合问题。 如图9所示, 每次迭代完成后, 用验证集对训练后的模型进行测试, 获得测试精度。 随着迭代次数的增加, 若在验证集上观察到连续几次的测试结果均劣于前一次, 则立即停止网络的训练, 将上一次已训练好的网络权重值作为网络的最终参数。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 早停策略Fig.9 Early stop strategy

(3) 损失函数

选用Focal Loss函数作为模型的损失函数。 Focal Loss函数最初主要应用在目标检测的任务中, 该损失函数一定程度抑制了容易区分的负样本权值, 着重关注难分的样本, 起到一定平衡的作用。 Focal Loss函数是对交叉熵(cross entropy, CE)损失函数的改进, CE函数的表达式如式(4)所示。 式中, p表示预测样本为正解的概率, 取值范围为[0, 1]; y表示真实标签。

CE(p, y)=-log(p)y=1-log(1-p)y=0(4)

Focal Loss函数如式(5)所示, 该函数在CE函数的基础上引入α 和γ 两个参数, 用于平衡样本整体比例, 假设y=a类的样本数目大于y=b类样本数, 那么α < 0.5, 达到抑制数目多样本的目的, 可以降低易分样本的损失贡献率, 使模型更集中于对难分样本的训练。 Focal Loss函数因两参数的引入避免了模型在训练时过分关注数目多的样本, 造成迭代过程缓慢甚至达不到最优解的问题。

FL(p, y)=-α(1-p)γlog(p)y=1-(1-α)pγlog(1-p)y=0(5)

(4) 优化器

自适应矩估计(adaptive moment estimation, Adam)优化器是对Adagrad和RMSprop两种算法的改进, 结合了两者的优点。 Adam优化器在迭代之前先依据梯度的均值(一阶矩估计)和方差(二阶矩估计)的值自适应改变学习率, 具体的实现步骤如下:

步骤1: 参数初始化:

m0=0, v0=0(6)

步骤2: 一阶矩估计更新:

mt=β1mt-1+(1-β1)gt(7)

步骤3: 二阶矩估计更新:

vt=β2vt-1+(1-β2)gt2(8)

步骤4: 一阶矩估计和二阶矩估计偏差修正:

$\hat{m}_{t}=\frac{m_{t}}{1-\beta_{1}^{t}} \quad \hat{v}_{t}=\frac{v_{t}}{1-\beta_{2}^{\ t} \ \ }$(9)

步骤5: 模型参数更新得到式(9), 完成对学习率的更新。 式(10)中学习率用α 表示; 衰减率用β ₁和β ₂表示; 步长为t的梯度用g_t表示; ε 为常数, 设置该常数的目的是为了保证模型数值稳定。

$w_{t}=w_{t-1}-\alpha \frac{\hat{m}_{t}}{\sqrt{\hat{v}_{t}}+\varepsilon}$(10)

算法运行环境为英特尔i5处理器, 运行内存为16G, 操作系统为Windows11版本, 深度学习框架选择TensorFlow框架。 网络训练的学习率初始值设置为10^-5, 并选取Adam优化器动态调整学习率更新网络权值, 从而提高网络模型性能。

本工作实验数据集由国家管网某公司提供, 利用短波红外传感器采集不同体积汽油(1、 2、 5和10 mL)在不同背景(水和土壤)下的高光谱图像数据, 使用1.3节方法对该数据集进行样本扩充, 每个背景下收集400张图像数据, 每张图像数据共有121个波段, 波长范围是900~1 700 nm, 波段分辨率为5 nm, 图像分辨率为2 048× 2 046像素。 图像在经过黑白校正和连续投影算法后得到汽油的特征波段, 使用ENVI遥感图像处理软件平台导出对应特征波段下的高光谱图像并对其进行标注。 图像标注时使用Argis软件平台进行人工手动标注获得图像的标签数据, 将图像划分为训练、 验证、 测试数据集, 划分比例为7∶ 2∶ 1。

模型分割结果分为四类, 分别为真阴性(true negative, TN)、 真阳性(true positive, TP)、 假阴性(false negative, FN)与假阳性(false positive, FP), 如表1所示。

表1

Table 1

表1(Table 1)

表1 预测与金标准关系 Table 1 Prediction and gold standard relationship 金标准 预测结果 汽油目标 非汽油背景 汽油目标 TP FN 非汽油背景 FP TN

表1 预测与金标准关系 Table 1 Prediction and gold standard relationship

采用准确率(Precision)、 召回率(Recall)、 平均准确率(average precision, AP)和测试时间的值评估改进网络模型的性能, 准确率数学表达式如(11)所示, 该指标表示预测且目标确实为TP部分与其本身和模型误判为正类和的比值, 其值越高表示模型误检比例越低, 模型分割效果越好。

Precision=TPTP+FP(11)

召回率数学表达式由式(12)所示, 指模型预测正类正确的部分与模型正确预测部分的比值, 其值越高表明模型在捕捉大多数相关项目方面表现越好。

Recall=TPTP+FN(12)

平均准确率AP可以由准确率关于召回率的函数曲线积分值计算得到, 其值越高表示模型整体精度越高, 如式(13)所示

AP=∫01p(r)dr(13)

测试时间为模型在同一油品高光谱数据集上的运行时间, 其值越小表明模型的检测效率越高。

(1)消融实验

为验证本模型各个模块的有效性, 在油品高光谱图像数据集上进行消融实验, 以Unet网络为基础网络模型, 依次引入密集连接模块(Module1)和通道注意力机制模块(Module2), 依据召回率和准确率对模型进行评价(其中置信度阈值为0.5)。 实验结果如表2所示, 可以看出密集连接模块和通道注意力机制模块与Unet模型具有良好的契合度, 方法3模型的分割平均精确度与方法2模型相比增加了6.3%, 这是因为注意力模块的引入使网络能够从光谱维度获得汽油的特征信息, 进而使得检测精度提高。 密集连接模块具有浅层卷积与深层卷积信息交流的能力, 两模块的同时引入有效提高了网络的分割精度和召回率。

表2

Table 2

表2(Table 2)

表2 消融实验结果对比 Table 2 Comparison of ablation experiment results 模型 模型1 模型2 Recall/% AP/% 1 × × 81.67 78.97 2 √ × 85.94 83.39 3 × √ 86.32 88.64 4 √ √ 88.98 90.34

表2 消融实验结果对比 Table 2 Comparison of ablation experiment results

(2)对比实验

使用相同的损失函数、 学习率和200个迭代次数等参数设计实验, 选取Unet模型、 PSE-Unet模型^[19]、 HLCA-Unet模型^[20]以及本模型对相同的油品高光谱数据集进行训练与测试, 并对测试结果进行定量以及定性分析。 以92#汽油为例各模型对油品提取结果如图10所示。 图中的第一列自上而下表示92#汽油分别在以土壤和水为背景下采集到的高光谱灰度图像。 可以看出本模型在两种背景下的分割效果均优于其他三种模型, 体现在汽油与背景交会的轮廓更符合原图, 改进模型可以获得更加准确的汽油特征分析信息。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 汽油数据集下模型对比结果图 (a): Original figure; (b): Unet; (c): PSE-Unet; (d): HLCA-Unet; (e): Proposed methodFig.10 Comparison of models based on the gasoline dataset (a): Original figure; (b): Unet; (c): PSE-Unet; (d): HLCA-Unet; (e): Proposed method

表3为本模型与其他三种模型定量评价指标对比, 由对比结果可知, 本模型的平均准确率与Unet、 PSE-Unet和HLCA-Unet模型相比分别增加了14.39%、 8.01%和2.73%, 召回率分别增加了8.95%、 8.02%和6.55%。 与Unet模型、 PSE-Unet模型相比测试时间分别减少了10.83%和16.97%, 与HLCA-Unet模型相比检测时间增加1.68%, 在测试集上测试所用的时间为18.1 s, 对单张图片的平均检测时间为0.23 s, 综合评价, 本文提出的模型在自建的汽油数据集上获得了最佳的分割性能, 无论是检测精度还是检测速度均表现突出, 满足工业检测的需求。 然而, 值得注意的是由于汽油无色透明, 从外形上较难实现汽油与水的精准识别, 且由于水中存有微生物、 沙砾和金属物质等杂质同样对光也具备反射能力, 增加了模型识别分割的难度, 后续针对该问题对现有模型进行优化, 进一步提高模型的识别分割精度。

表3

Table 3

表3(Table 3)

表3 汽油分割模型提取精度对比 Table 3 Extraction accuracy comparison of gasoline segmentation model 方法 AP/% Recall/% 测试时间/s Unet 78.97 81.67 20.3 PSE-Unet 83.64 82.37 21.8 HLCA-Unet 87.94 83.51 17.8 Proposed method 90.34 88.98 18.1

表3 汽油分割模型提取精度对比 Table 3 Extraction accuracy comparison of gasoline segmentation model

为进一步验证本模型的有效性, 排除单一的汽油高光谱数据集造成的偶然性, 在公开的Pavia University遥感数据集上分别与Unet、 PSE-Unet和HLCA-Unet模型做对比实验, 实验设置相同的损失函数和学习率等参数, 实验结果如图11所示, 可以明显看出Unet网络的分割结果最差, 将土地区域划分为牧场, 这是由于土地与牧场之间的物理特性相似, 因此仅从空间特性一个方面较难得到好的分割效果。 而PSE-Unet和HLCA-Unet分割效果虽然比Unet好, 但是在土地和牧场这两类的划分上与本模型相比效果差, 这是因为虽然两模型均考虑到空间和光谱两方面的特征, 但是网络卷积层之间的信息交流较差, 后层卷积对前层卷积提取到的图像特征图利用率低, 进而造成网络分类识别能力减弱。 本模型引入的通道注意力机制模块和密集连接模型, 在保证网络层与层之间信息交流强的前提下减轻网络过拟合现象, 并且可以保证网络从空间和光谱两层面信息提取图像特征, 从而提高网络识别分割精度。

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 公开数据集对比图 (a): Truth plot; (b): Unet; (c): PSE-Unet; (d): HLCA-Unet; (e): Proposed methodFig.11 Comparison based on publicly available datasets (a): Truth plot; (b): Unet; (c): PSE-Unet; (d): HLCA-Unet; (e): Proposed method