将所收集的羊毛样本分为两部分, 一部分依托专业检测机构, 使用次氯酸盐检测法来检测样本真实羊毛含量; 另一部分在实验室使用波长范围908.1~1 676.2 nm的MicroNIR Pro手持式光谱仪进行光谱数据采集。 研究中收集的羊毛制品样本中所含羊毛量经过专业机构测量可分为5%, 10%, 20%, 30%, 40%, 50%, 60%, 80%和100%九类。 在实验室使用手持光谱仪采集样本近红外光谱数据的过程中, 使用漫反射模式并每隔10分钟对背景进行校正, 选择光谱探头距离羊毛样本5, 6, 8, 9和19 mm这五个位置对每个样本进行光谱数据采集。 同时, 为了避免因人为操作失误等原因引起数据误差, 对每一个样本在相同距离位置均采集五次数据, 即每一个样本有25组光谱数据, 光谱数据波段范围为908.1~1 676.2 nm, 共125个波长点。 不同羊毛含量的样本光谱数据如图1所示, 图中的横坐标为光谱波长, 纵坐标为羊毛样本对不同波段的光谱吸收率。 近红外光谱信息来源于分子内部含氢基团(如C— H, N— H, O— H等)振动的倍频吸收与合频吸收。 羊毛的主要成分为蛋白质, 包含了大量含氢基团, 在检测过程中近红外光的吸收率与羊毛制品中羊毛含量有密切联系。 从图1中可以看出, 不同羊毛含量的羊毛制品样本对于近红外光的吸收存在较大的差异。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 羊毛样本原始光谱数据Fig.1 Original spectral data of wool sample

由于样本数量的限制, 所采集的光谱数据数量有限, 若在此基础上进行定量回归分析易造成模型过拟合, 因此选择定性分类分析展开相关研究。 将所采集的217个羊毛样本根据羊毛含量的不同分为高、 中、 低三个类别, 其中标签为“ 羊毛含量低” 的样本有73个, 标签为“ 羊毛含量中等” 的样本有93个, 标签为“ 羊毛含量高” 的样本有51个, 并对所有标签进行独热编码(one-hot coding)处理。 独热编码是常应用于数据标签处理中的一种方法, 它可以将每一个样本标签都映射成唯一矢量。

在采集数据的过程中由于仪器、 环境等原因, 不可避免地会产生异常样本, 因此针对每一类样本, 分别采用光谱分析中常用的马氏距离法对异常值进行检测并剔除, 具体过程如下:

(1) 根据式(1)计算所有样本光谱的平均值, 得到平均光谱, 其中m代表样本数量。

x̅=1m∑i=1mxi(1)

(2) 根据式(2)计算样本向量x_i到平均光谱 x̅的马氏距离d, 其中Σ 为协方差矩阵, 计算公式如式(3)。

d=(xi-x̅)Σ-1(xi-x̅)(2)

Σ=1m-1(X-x̅)T(X-x̅)(3)

(3) 设置合适的阈值d_threshold并与马氏距离d比较大小, 如果被测样本的马氏距离小于阈值, 则将该样本判断为正常样本, 反之则为异常样本, 从而实现对样本数据集的筛选。 其中阈值d_threshold的计算公式如式(4)所示, 式中e表示调整阈值范围参数, σ _d表示马氏距离的标准差见式(5)。

dthreshold=d+eσd(4)

σd=1m∑i=1m(d-x̅)2(5)

在实际应用中将式(4)中参数e设置为3, 经过该方法共检测出12组异常样本, 其中包含4组“ 羊毛含量低” 的样本, 3组“ 羊毛含量中等” 样本以及5组“ 羊毛含量高” 样本, 因此最终用于建模分析的数据集中包含205个羊毛样本, 共5 125组光谱数据。 具体的分类标准以及标签的独热编码结果如表1所示。

表1

Table 1

表1(Table 1)

表1 羊毛样本质量等级划分 Table 1 Quality grading of wool samples 样本羊毛含量(x) 样本数量 样本质量等级 独热编码 0%≤ x< 30% 69 低 [0, 0, 1] 30%≤ x< 60% 90 中 [0, 1, 0] 60%≤ x≤ 100% 46 高 [1, 0, 0]

表1 羊毛样本质量等级划分 Table 1 Quality grading of wool samples

将所有样本数据划分为训练集、 验证集与测试集, 划分比例为8:1:1; 同时, 在模型训练中采用了十折交叉验证法, 让每一个样本轮流成为训练数据和测试数据, 保证了模型的准确性和鲁棒性。 为了防止过拟合, 将同一样本对应的所有光谱数据划入同一数据集, 如训练数据或测试数据等。

U-Net++网络是2020年由Zhou等^[18]基于U-Net网络^[19]提出的一种变体结构, 这一网络结构整体形似字母U, 如图2所示, 由一系列卷积块组成编码器和解码器。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 U-Net++网络结构图Fig.2 U-Net++ network structure

U-Net++网络结构整体可以看成由两部分组成, 第一部分为编码器(即下采样部分), 由多层卷积层和池化层搭建而成; 第二部分为解码器(即上采样部分), 将每次上采样得到的特征信息与对应的特征提取层进行拼接融合, 并在最后一层输出分类结果。 U-Net++模型与U-Net相比, 最大的区别是在下采样和上采样的过程中加入了密集的跳跃短连接, 以X^{(1, 3)}节点为例, 该节点是由X^{(1, 0)}, X^{(1, 1)}以及X^{(1, 2)}拼接而成, 这种跳跃连接能够更加灵活地融合不同深度的特征, 有效减小编码器与解码器之间的差距, 从而更好地挖掘样本数据与标签之间的关系。

如果x^{(i, j)}代表节点X^{(i, j)}的节点输出特征, 那么的x^{(i, j)}如式(6)所示, 其中, i表示第i个下采样层, j表示跳跃连接中第j个卷积层, H[· ]表示带有激活函数的卷积运算, u(· )表示上采样, [· ]表示叠加操作。 即j> 0时, 该节点由j+1个输入构成; j=0时, 该节点为下采样环节上的节点, 只接受上一层的输出。

x(i, j)=H(x(i-1, j))j=0H([[x(i, k)]k=0j-1, u(x(i+1, j-1))])j> 0(6)

由于U-Net++网络模型中采用了大量密集的跳跃连接, 容易造成计算资源以及模型参数的冗余, 低层的特征被重复提取使用。 为了解决这个问题, 在网络结构中加入了注意力门控模块^[20]。 注意力门控模块是注意力机制的一种, 是一种软注意力机制, 这一模块通过计算注意力参数并利用该参数对上层特征进行加权, 抑制相关性低的特征信息, 扩大相关性高的特征信息, 从而实现注意力机制。 注意力门控模块的结构如图3所示, 图中的F代表卷积核尺寸, H代表通道数; 图中的x_l是该层经过下采样得到的特征信息, g是下一层经过上采样得到的特征信息, x̂l是经过注意力机制模块最终得到的特征信息。 首先g和x_l先分别经过卷积核大小为1的卷积层并进行特征信息融合, 其次将融合信息输入至网络激活层, 并经过ReLU函数完成特征激活, 然后对经过以上处理的特征信息依次再使用卷积核为1的卷积层和Sigmoid激活函数得到注意力参数矩阵, 最后得到具有注意力的特征信息 x̂l。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 注意力门控模块结构图Fig.3 Attention gate module structure diagram

融合U-Net++和注意力机制使用已划分好的训练集对模型进行训练, 并使用训练好的模型对测试集中的羊毛样本的羊毛含量等级进行预测。 所建立的U-Net++模型主要由输入层、 卷积层、 标准正则化层、 最大池化层、 全局平均池化层、 上采样层以及注意力门控模块组成。 传统的U-Net++网络主要用于医学图像分割, 对应的数据一般是二维数据, 而本研究对不同频段的近红外光的吸收率为一维数据。 为此针对原网络结构进行了一定改进: (1)不同于二维的图像数据, 由于近红外光谱数据为一维向量, 因此在本文的网络中将原网络结构中的二维卷积层、 池化层以及上采样层均使用一维的替代。 (2)为了产生更具有分辨性的特征信息, 将网络结构在原网络的基础上增加上了注意力门控模块。 所建立的U-Net++模型参数设置如表2所示, 网络结构如图4所示。

表2

Table 2

表2(Table 2)

表2 下采样部分每层网络结构参数 Table 2 Network structure parameters of each layer in the following sampling part 网络层 模型参数 输入层 经预处理过的羊毛近红外光谱数据/经上一层下采样得到的特征向量 卷积层C1 卷积核大小(16× 2n-1× 1), Relu激活函数(其中n代表第n层) 批量正则化B1 默认参数 卷积层C2 卷积核大小(16× 2n-1× 1), Relu激活函数(其中n代表第n层) 批量正则化B2 默认参数 池化层P1 池化窗口大小为2, 最大池化 全连接层 将池化层的输出特征向量拉伸为一个向量

表2 下采样部分每层网络结构参数 Table 2 Network structure parameters of each layer in the following sampling part

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 Attention U-Net++结构图Fig.4 Attention U-Net++ structure

建立的Attention U-Net++模型中, 编码器部分通过对输入的光谱数据进行多次下采样提取数据特征, 同时在解码器部分中加入了注意力门控模块。 在设计网络模型时, 合理设计网络结构, 对模型性能的提高十分重要。 本模型参考U-Net++的结构, 在特征提取部分设置五层, 每一层由一维卷积层、 批量正则化层、 最大池化层、 全连接层组成, 每层的具体网络参数结构如表2所示。 在上采样部分同样设置为五层, 每层经过上采样层之后再与前一层输出的特征向量通过注意力门控模块进行融合, 以X^{(1, 3)}为例, 该节点的是由X^{(1, 0)}, X^{(1, 1)}, X^{(1, 2)}先经过拼接生成新的特征信息, 再将拼接生成的新的特征信息与X^{(2, 2)}共同经过注意力门控模块所得; 最后将融合的特征经过一维全局平均池化层、 Dense层以及输出层, 最终使用softmax函数得到预测分类结果。

研究的模型运行环境为: Intel(R) Core(TM) i5-10300H CPU; 16 GB计算机内存; NVDIA GeForce GTX 1650显卡; 使用软件为PyCharm, 并配有NumPy, Pandas, Keras等Python运算库。

常用的多分类模型评价指标有准确率(Accuracy)、 平均准确率、 混淆矩阵等, 本文选择准确率、 召回率(Recall)、 精确率(Precision)、 F1分数(F1-Score)以及混淆矩阵作为评价指标来评价所提出的分类模型预测精度。 以上所提到的评价指标计算公式如式(7)— 式(10)所示。

Accuracy=TP+TNTP+TN+FP+FN(7)

Recall=TPTP+FN(8)

Precision=TPTP+FP(9)

F1⁃Score=2Precision·RecallPrecision+Recall(10)

在一般的二分类问题中, 真阳性(TP)表示被模型预测为正的正样本, 真阴性(TN)表示被模型预测为负的负样本, 假阳性(FP)表示被模型预测为正的负样本, 假阴性(FN)表示被模型预测为负的正样本。 所涉及的分类问题为三分类问题, 即如果将“ 羊毛含量低” 这一类别看作正类的话, 那么其他两类都属于负类, 对于其他两类以此类推。 一般来说, Accuracy的值越接近1, 表示模型的分类预测精度越高。 在计算以上几个评价指标时, 将三分类问题看作三个二分类问题, 分别计算每一类的各项指标, 再根据每类样本占所有样本的比例分配不同的权重, 最后进行加权平均计算整体样本的各项指标。 混淆矩阵是评价精度的一种标准格式, 用n行n列的矩阵形式来表示; 每一列代表样本预测类别, 每一列的总数表示预测为该类别的数据的数目; 每一行代表样本实际类别, 每一行的总数表示该类别样本的个数。

本工作研究的是分类问题, 采用了分类问题中常用的交叉熵损失(categorical cross entropy)作为损失(loss)函数来计算预测结果与实际值之间的差值, 交叉熵损失函数公式如式(11)所示, 其中M代表类别的数量; y_ic代表指示变量, 即如果样本i的真实类别相同等于c就是1, 否则为0; p_ic代表对于观测样本i属于类别c的预测概率; 同时在网络训练的过程中所选择的优化器为Adam优化器。

L=1N∑iLi=-1N∑i∑c=1Myiclog(pic)(11)

将训练模型中的学习率(learning rate)设置为0.001, 批大小(Batchsize)设置为10, 迭代次数设置为100次。 图5(a— d)分别为模型在训练过程中训练集和验证集上的loss值和准确率的变化趋势, 从训练集的损失函数变化趋势可以看出, loss值随着迭代次数的增加逐渐减小, 其中前20次迭代过程中loss值快速下降, 20次之后下降趋势逐渐平稳; 验证集在前50次的迭代中还存在明显的波动, 50次迭代后在验证集上的性能趋于平稳, 模型达到收敛。 在模型训练100次之后保存所训练的模型, 对测试集中的光谱数据进行测试, 并评估模型的性能。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 训练集和验证集的损失和准确率变化趋势Fig.5 Change trend of loss and accuracy of training set and verification set

在评估模型性能时采用十折交叉验证的方式, 其中训练集、 验证集以及测试集的比例为8:1:1。 为避免因同一样本光谱之间的相似性造成过于乐观的评估结果, 在划分数据集时将属于同一样本的光谱数据划分至同一数据子集中(如训练集、 验证集或测试集)。 表3为所提出的模型经过十折交叉验证之后在训练集、 验证集以及测试集的平均准确率, 该模型在测试集上的预测精度为93.59%, 略低于在训练集上的准确率。 图6为其中一次交叉验证结果绘制的混淆矩阵。 可以看出, 分类预测效果达到预期, 尤其是对检测标签为“ 羊毛含量低” 的样本, 基本可以检测出羊毛含量低的样本; 同时从表3的训练集和测试集的预测结果来看, 模型未出现过拟合、 欠拟合的现象, 模型的性能达到理想效果。

表3

Table 3

表3(Table 3)

表3 十折交叉验证平均结果 Table 3 Mean results from ten cross-validation tests 数据集 准确率/% 训练集 95.73 验证集 94.89 测试集 93.59

表3 十折交叉验证平均结果 Table 3 Mean results from ten cross-validation tests

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 Attention U-Net++模型一次预测结果混淆矩阵Fig.6 Attention U-Net++ model a prediction result confusion matrix

为了评价所采用Attention U-Net++模型的性能, 选择了目前较为常用的分类模型进行对比。 所选择用于对比的模型包括随机森林模型、 支持向量机算法(support vector machine, SVM)模型, 卷积神经网络模型(convolutional neural networks, CNN)以及卷积自编码(convolutional autoencoder, CAE)模型。 进行对比实验时, 随机森林决策树数目设为200, SVM模型的惩罚系数设为2, CNN网络模型使用4层卷积, 输出层分类函数使用Softmax分类函数, 优化器使用Adam, loss值使用交叉熵损失函数, CAE模型的编码器和解码器都使用3层卷积。 几种模型的分类预测结果如表4所示, 可以看出, 在使用相同的羊毛制品近红外光谱数据对模型进行训练的情况下, 本文提出的Attention U-Net++模型预测准确率可达到93.59%, 明显优于传统的机器学习方法和神经网络模型; 这是因为本文模型通过不同层次特征之间的融合, 缩小了编码器和解码器之间的差距, 同时注意力门控模块也可以对重要特征信息进行聚焦, 从而提高模型的预测分类精度。

表4

Table 4

表4(Table 4)

表4 不同分类模型预测结果对比 Table 4 Comparison of prediction results of different classification models 模型 准确率 /% 召回率 /% 精确率 /% F1分数 /% 随机森林 86.34 86.82 87.29 86.75 SVM 90.78 90.76 91.81 90.56 CNN 91.38 90.19 91.19 90.32 CAE 91.43 90.00 90.15 89.99 Attention U-Net++ 93.59 93.53 94.24 93.42

表4 不同分类模型预测结果对比 Table 4 Comparison of prediction results of different classification models

为了验证本模型所使用的密集跳跃连接和注意力门控模块的效果, 将提出的Attention U-Net++网络与其他U-Net系列网络模型(包括U-Net, Attention U-Net以及U-Net++)进行对比实验, 用于进行对比实验的几个模型的数据集与参数设置均与本文模型一致, 预测分类结果如表5所示。

表5

Table 5

表5(Table 5)

表5 不同U-Net系列模型预测结果对比 Table 5 Comparison of prediction results of different U-Net series models 模型 准确率 /% 召回率 /% 精确率 /% F1分数 /% U-Net 77.86 75.2 79.51 76.85 Attention U-Net 91.86 90.8 91.83 91.21 U-Net++ 92.38 92.33 93.17 92.43 Attention U-Net++ 93.59 93.53 94.24 93.42

表5 不同U-Net系列模型预测结果对比 Table 5 Comparison of prediction results of different U-Net series models

从表5可以看出, 本文提出的Attention U-Net++模型预测准确率为93.59%, 召回率为93.53%, 精确率为94.24%, F1分数为93.42%, 均高于其他三个模型。 与U-Net和Attention U-Net网络模型相比, 本文所使用的模型使用了密集的跳跃短连接代替了原始的简单逐层连接, 实现了不同层次的U-Net网络的融合, 减小了低层特征和高层特征信息之间的语义鸿沟, 充分挖掘数据特征信息, 因此对模型的预测精度有所提升, 准确率分别从77.86%和91.86%提高到93.59%。 与U-Net和U-Net++网络模型相比, 本文模型加入了注意力门控模块, 这一模块通过计算注意力参数对无关的特征信息在一定程度上进行抑制, 对相关的特征信息进行重点关注, 从而更有效地提取特征信息, 实现更精确的预测分类。 综上所述, 所建立的算法模型通过密集的跳跃短连接以及注意力门控模块, 能够实现对特征信息的有效挖掘和利用, 与其他算法相比, 各项评价指标均有显著提升。