羊毛近红外光谱波段数据集有21份样本, 包含澳洲羊毛、 赤峰敖汉土种分梳绵羊毛、 国产新疆细毛羊羊毛、 清河县丝光长羊毛、 赤峰敖汉土种分梳绵羊羔毛、 新疆长羊毛、 山羊毛等, 每种样品各三份, 羊绒近红外光谱波段数据集有18份样本, 包含阿富汗紫绒、 新疆白山羊绒、 紫无毛绒(外蒙、 西藏)、 赤峰敖汉羊绒、 陕西套子无毛绒各三份。

近红外光谱波段数据采集使用RZNIR 7900近红外光谱分析仪, 仪器如图1所示。 该仪器测量波长范围是1 000~2 500 nm, 近红外光谱波段数据波长采样间隔设置为1 nm, 采用漫反射方式采集羊绒羊毛纤维近红外光谱波段数据。 由于不同成分染料的结构会对反射性能产生影响, 导致近红外光谱波段数据有偏差, 而影响最严重的波段范围是1 000~1 300 nm, 本实验中羊绒羊毛纤维近红外光谱波段数据集都采用1 300~2 500 nm波段范围进行后续的处理和纤维预测。 采集步骤如下: (1)羊绒羊毛纤维样本收集阶段, 为确保纤维样本近红外光谱波段数据的稳定性, 所采用的样本均为羊绒羊毛的原始纤维; (2)近红外光谱波段数据采集阶段, 近红外光谱分析仪在常温条件下, 开机预热半小时。 随后, 将羊绒羊毛纤维样本平铺放入到近红外光谱分析仪的检测光圈内, 使纤维样本在光圈内是均匀分布且保证厚度不低于3 mm, 并用秤砣扣压, 确保纤维样本在光圈内; (3)对纤维样本进行扫描, 获得红外光谱曲线。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 RZNIR 7900近红外光谱分析仪Fig.1 RZNIR 7900 near-infrared spectroscopy analyzer

在不影响分析速率的条件下, 适当增加近红外光谱扫描次数, 将每份纤维样本正反两面各作一次测量, 取其平均值放入到数据集中。 每份样品测量30次, 然后将平均近红外光谱数据导出, 并保存为csv文件。 羊绒羊毛纤维近红外光谱数据总共采集1 170个, 其中羊毛近红外光谱数据有630个, 羊绒近红外光谱数据有540个。 羊绒羊毛近红外光谱曲线如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 羊绒羊毛近红外光谱曲线图Fig.2 Near infrared spectra diagram of cashmere and wool samples

本文提出双路多尺度卷积神经网络模型。 在保留原始近红外光谱波段的基础上, 通过近红外光谱波段降维模块得到降维后的具有分类判别力的近红外光谱波段。 每个路径内部均采用多尺度特征提取模块提取更加丰富的特征。 此模型还包括两个信息交互块, 以确保从原始近红外光谱波段和降维后的近红外光谱波段提取的特征进行交流融合。 最后利用类级别的融合, 以得到最终的羊毛羊绒纤维预测。 双路多尺度卷积神经网络模型结构图如图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 双路多尺度卷积神经网络模型结构图Fig.3 Structure of a two-way multi-scale convolutional neural network model

1.2.1 近红外光谱降维模块

一般来说, 在处理近红外光谱波段数据时, 常常会采用无监督的主成分分析(principal component analysis, PCA)线性降维方法, 以及有监督的线性判别分析(linear discriminant analysis, LDA)降维方法。 PCA通过对数据线性投影, 可以实现把更高维的数据映射到更低维的目标空间上, 但同时要保证在投影到的维度空间上方差最大, 以确保在使用更低维度数据的同时保留更多原始数据的维度。 这就会导致经过PCA降维后的特征不如原始特征的解释度强, 由于要确保方差最大, 因此可能会丢失方差小的重要信息, 不利于后续光谱数据的纤维预测。 将数据投影采用有监督的降维方法LDA分类输出, 使得类内方差在投影后呈现最小的同时, 类间方差也达到最大。 LDA的降维只能降到比类别数少一个, 这就导致了特征提取的不够全面, 同时LDA也可能会导致过拟合的情况。

为此, 提出了利用一维卷积的降维方式, 来提高降维的泛化能力。 如式(1)所示, 给定原始近红外光谱X∈ R^{N× 1}, N表示原始近红外光谱波段长度, 经过近红外光谱波段降维模块得到新的光谱波段X'∈ R^{N'× D'}, N'表示降维后的近红外光谱波段长度, 并作为新分支的输入。 创建新分支的目的在于学习出更具有预测判别力的近红外光谱波段。

X'=BN(Con(X))(1)

1.2.2 多尺度特征提取模块

针对一维数据特征提取方法通常为一维传统卷积。 一维传统卷积只对近红外光谱波段相邻特征点之间进行卷积, 这就会导致一些关键判别信息丢失, 而跨特征点之间通常隐含更具判别力的关键信息。 因此, 本模块采取一维空洞卷积代替一维传统卷积, 为进一步得到更加丰富的近红外光谱波段特征。 具体结构图如图4所示。 以新分支某个近红外光谱波段特征为例, 同时采用了不同空洞率的空洞卷积叠加得到近红外光谱波段M= X1down1, X2down1, X3down1, X4down1, 用于聚合多尺度丰富的近红外光谱波段跨特征点的特征信息。 其中, 模块包含四个卷积, 分别为三个不同空洞率的7× 1空洞卷积和一个一维卷积。 为了帮助训练, 近红外光谱波段原始波段X^down∈ RNdown×T与经过两个多尺度特征提取模块提取后的特征波段进行残差连接得到新的近红外光谱波段特征X^down2∈ RNdown×T1。 如式(2)和式(3)所示, 其中Cwdd(conv with different dilations)为不同维度卷积操作。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 多尺度特征提取模块Fig.4 Multi-scale band feature extraction module

[M]=Cwdd(Xdown)(2)

Xdown2=ReLU(FC(X)+Xdown)(3)

1.2.3 路径交流模块

本模块用于近红外光谱波段跨路径之间的特征融合补充。 如图5所示, 由于原始近红外光谱波段经过多尺度提取模块后的近红外光谱波段X^up1包含原始近红外光谱波段特征信息, 因此模块先由近红外光谱波段X^up1补充到降维后的近红外光谱波段X^down1, 随后由经过多尺度特征提取后的近红外光谱波段X^down2补充到近红外光谱波段X^up1中得到近红外光谱波段X^up2。 本模块的目的是使新得到的原始近红外光谱波段和降维后的近红外光谱波段包含更加丰富具有辨别力的特征信息, 在后续模型的纤维预测中才能更有利于分类。 具体如式(4)和式(5)所示, 其中Sig.为Sigmoid激活函数

Xdown2=Sig.(Conv(GAP(Xup1)))+Xdown1(4)

Xup2=Sig.(Conv(UpGAP(Xdown2)))+Xup1(5)

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 路径交流块Fig.5 Path communication module

1.2.4 融合模块

为了更好地将原始近红外光谱波段X^up2和降维后的近红外光谱波段X^down2结合, 此模块采用类级别融合, 涉及到的计算公式如式(6)— 式(8)所示, 其中u可以平衡原始光谱波段和降维光谱波段类别的平衡超参数。

Pup_pred=SoftMax(FC(Xup2))(6)

Pdown_pred=SoftMax(FC(Xdown2))(7)

Pfinal=u×Pup_pred+(1-u)×Pdown_pred(8)

1.2.5 模型损失函数

本研究的主要目标是进行羊绒羊毛纤维预测, 这是一个二分类问题。 为了实现这个目标, 将采用二元交叉熵函数(binary cross entropy loss, BceLoss)作为损失函数来衡量二分类问题中模型的预测质量, BceLoss公式如式(9)所示。 P₁(y)和P₂(y)分别代表y_i× logp(y_i=1)和(1-y_i)× log(1-p(y_i=1)), y_i指的是第i个样本的二元标签值, 值为0或1, p(yⁱ=1)是模型对第i个样本的预测值, 即模型预测第i个样本的标签值为1的概率。 当预测结果和真实标签一致时, 损失函数的值接近于0, 表示模型的预测是准确的; 而当预测结果和真实标签不一致时, 损失函数的值变大, 表示模型的预测有误。

BCELoss=-1n∑i=1n[P1(y)+P2(y)](9)

基于PyTorch框架建立模型。 实验环境: 13th Gen Intel(R) Core(TM) i9-13980HX 2.20 GHz; 计算机内存为1T; NVIDIA GeForce RTX 4080 Laptop GPU; 12G显存。 为优化模型以及其他模型进行对比, 系统中配置了conda虚拟环境, 统一利用python3.7.0以及pytorch1.10.0版本进行不同模型的对比实验, 此外还安装了一些Numpy、 Pandas、 Sklearn等python算法库和视觉库, 以实现神经网络的正常运行。

对羊绒羊毛纤维近红外光谱波段数据集进行训练和测试, 先将模型在训练集上进行相同数据的反复训练, 充分学习数据特征, 然后用测试集对模型进行评估。 将测试集输入到模型中进行分类预测, 采用召回率(Recall, R)、 准确率(Accuracy, ACC)、 F1(F1-Score)、 精确率(Precision, P)以及混淆矩阵作为评价模型纤维预测效果指标。 评价指标如式(10)— 式(13)所示。

ACC=TP+TNTP+TN+FP+FN(10)

R=TPTP+FN(11)

P=TPTP+FP(12)

F1=2P×RP+R(13)

式中, TP是指将羊绒或羊毛纤维样本预测为正类的数量; TN指的是非羊绒羊毛纤维被正确识别为负样本; FP是指将非羊绒羊毛纤维预测为羊绒羊毛的数量; FN是指将正类样本预测为负类样本的数量。 本工作主要是用作羊绒羊毛纤维的二分类问题, 即如果将羊毛这一类别看作正类的话, 那么羊绒就属于负类, 对于羊绒来说也是一样的。 一般来说, ACC的值越接近1表示模型分类预测的准确度越高。 用n× n的混淆矩阵, 来评估网络模型的预测准确度; 各列代表羊绒或羊毛纤维预测的种类, 各列总数为预测到的羊绒或羊毛纤维对应类别的数量; 每行代表纤维样本的真实种类, 每行总数代表该种类纤维样本的真实数量。

共采集的630个羊毛和540个羊绒数据作为模型建立和评估的研究对象。 将数据集的80%划分为模型的训练集, 在训练集中再随机划分出20%作为验证集, 20%的数据集作为模型的测试集。 网络模型的训练使用训练集的羊绒羊毛近红外光谱波段数据, 验证集的羊绒羊毛近红外光谱波段数据当作选取最佳模型的依据, 测试集的羊绒羊毛近红外光谱波段数据用来验证羊绒羊毛纤维预测效果。 羊绒羊毛近红外光谱波段数据集划分如表1所示。

表1

Table 1

表1(Table 1)

表1 羊绒羊毛近红外光谱波段数据集划分 Table 1 Data set partitioning of cashmere and wool samples 类别 样本总数 训练集 验证集 测试集 羊毛 630 403 101 127 羊绒 540 346 86 107

表1 羊绒羊毛近红外光谱波段数据集划分 Table 1 Data set partitioning of cashmere and wool samples

本研究的核心是分类问题, 采用的是上文中介绍的损失函数BceLoss, 同时采用Adam优化器优化网络模型训练过程。

将训练模型的学习率(learning rate)设置为0.01, 批样本(Batchsize)设置为8, 迭代轮数设置为100次。 训练集和验证集的准确率与loss曲线如图6所示。 从训练的损失函数曲线来看, loss值随着迭代的次数在逐渐下降, 其中前25轮成波动式快速下降, 25轮后趋于平稳; 验证集的准确率曲线在前25轮的时候还有明显的波动, 25轮后区域平稳, 模型得到很好的收敛。 对模型训练100轮后进行保存所训练的模型, 并选取最佳模型对测试集中的近红外光谱数据进行测试, 并评估模型的预测性能。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 训练集和验证集的准确率和Loss曲线Fig.6 Accuracy and loss curves of training set and test set

双路多尺度卷积神经网络模型一次预测结果的混淆矩阵如图7所示。 从图中可以看出, 羊毛总数为127, 预测正确的个数为122; 羊绒总数为107, 预测正确个数为101, 基本可以预测出羊绒羊毛纤维。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 双路多尺度卷积模型一次预测结果的混淆矩阵Fig.7 Confusion matrix of the first prediction results of the two-way multi-scale convolution model

为了比较双路多尺度卷积神经网络模型与传统模型的性能, 使用多种算法进行实验, 包括多层感知机(multilayer perceptron, MLP)、 决策树模型(decision tree algorithm, DTA)、 K-近邻算法(K-nearest neighbors, KNN)、 随机森林(random forest, RF)以及支持向量机(support vector machine, SVM)与本文所提出的改进的算法进行预测结果对比。 为公平比较不同模型的羊绒羊毛纤维预测效果, 均采用原始羊绒羊毛近红外光谱波段数据作为输入, 对不同模型进行训练。 不同模型羊绒羊毛纤维的预测结果如表2所示。 从表2可以看出, 在使用相同的羊绒羊毛近红外光谱波段数据集对模型进行训练的情况下, 本模型预测的平均准确率可达到94.45%, 相较于随机森林算法提升7.33%, 明显优于传统机器学习的算法和神经网络模型; 这是因为本文提出的模型通过近红外光谱降维模块和多尺度特征提取模块进行深层次的近红外光谱波段特征提取, 而路径交流模块也对两路近红外光谱特征进行特征交互, 最后利用类融合方法进行特征融合, 从而提高了模型预测的平均准确率。 进而证明本文提出的模型可以实现近红外光谱羊绒羊毛纤维的快速无损准确的预测。

表2

Table 2

表2(Table 2)

表2 不同模型预测羊绒羊毛的预测结果(%) Table 2 The prediction results of different models for distinguishing cashmere and wool (%) 模型 准确率/% 召回率/% 精确率/% F1分数/% RF 87.12 86.23 87.33 86.78 DTA 88.03 87.72 88.16 87.94 SVM 89.23 89.43 90.53 89.98 MLP 90.32 90.65 90.04 90.34 KNN 91.02 90.99 90.93 90.96 1D-CNN 91.49 89.19 92.52 90.82 Our 94.45 94.36 93.89 94.12

表2 不同模型预测羊绒羊毛的预测结果(%) Table 2 The prediction results of different models for distinguishing cashmere and wool (%)

为验证本文所提算法对羊绒羊毛纤维预测效果的影响, 在自建的数据集上进行一系列消融实验。 设置的实验如下: 原始数据单路输入、 仅移除路径交流模块、 仅移除多尺度特征特征提取模块以及整体改进后的模型, 消融实验结果如表3所示。

表3

Table 3

表3(Table 3)

表3 在羊绒羊毛数据集上进行消融实验 Table 3 Ablation studies on dataset of cashmere and wool 模型 准确率/% 本模型 94.45 单路 91.86 仅移除路径交流模块 93.23 仅移除多尺度特征提取模块 92.04

表3 在羊绒羊毛数据集上进行消融实验 Table 3 Ablation studies on dataset of cashmere and wool

表3中的结果表明, 原始数据单路输入在经过多尺度特征提取模块后, 平均预测准确率提高了0.37%; 对于仅移除路径交流模块后的网络模型, 平均预测准确率提高了1.74%; 对于仅移除多尺度特征提取模块后的网络模型, 平均预测准确率提高了0.55%; 总的模型相较于原始的1D-CNN平均准确率提高了2.96%。 综上所述, 本文提出的改进模型在预测准确率上有提高。