实验选取长春市前进大街欧亚超市采购的新鲜肉类, 具体信息如表1所示。

表1

Table 1

表1(Table 1)

表1 样品制备信息 Table 1 Sample preparation information 肉类 部位 制备片数 前腿肉 3 牛肉 外脊肉 3 牛腩肉 2 里脊肉 3 羊肉 上脑肉 3 羊外脊 2 里脊肉 3 猪肉 五花肉 3 前腿肉 2

表1 样品制备信息 Table 1 Sample preparation information

将9种新鲜肉类切成尺寸为4 cm× 2 cm× 1 cm的切片, 如图1所示。 每种肉类制备10片样品, 每组激光烧蚀尽量作用于样品中心区域, 同时烧蚀点之间保持一定距离, 平均15束脉冲收集1幅光谱, 每片样品采集12组光谱数据, 每种肉类共120组光谱数据, 共360组光谱数据。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 (a)猪肉; (b)羊肉; (c)牛肉Fig.1 (a) Pork; (b) Mutton; (c) Beef

实验装置结构如图2所示。 光源为Nd:YAG激光器(SLII-10, Continuum, 1 064 nm), 激光能量、 脉宽、 重复频率分别设置为65 mJ、 10 ns、 10 Hz。 通过中阶梯光栅光谱仪(Me5000, Andor)采集等离子体, 采集范围为200~1 100 nm, 共可采集27 370个波段数量, 分辨率< ± 0.05 nm。 实验温度22 ℃, 相对湿度27%。 通过三维平移台(M-410.DG, PI)对样品位置进行调整, 以避免存在烧蚀重复点。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 LIBS实验装置图Fig.2 LIBS experimental setup

为了在LIBS特征光谱分析中保留尽可能多的原始信息并消除噪声干扰, 首先对光谱数据进行降噪处理。 结合US NIST原子光谱数据库及LIBS特征光谱, 选取元素谱线。 选择ResNet18网络模型作为主干模型进行建模识别, 在利用模型残差边有效传输原始数据特征的同时剔除冗余信息。 网络具体架构如图3所示, 主要由3个Block组成, 其中1个Block带有1× 1残差边。 模型Learning rate设置为0.000 1, epoch设置为30轮。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 RseNet18网络架构Fig.3 RseNet18 network architecture

除构建深度学习模型外, 本文还构建了3种机器学习模型进行比对, 结合主成分分析提取关键信息, 减少数据冗余, 并将光谱数据转化为低维度空间特征, 为机器学习模型提供更清晰、 简洁的数据输入, 从而帮助模型训练和预测。 模型评估方面, 选择10倍交叉验证的方法, 将机器学习模型的学习程度达到最大化, 以解决光谱信息分布不均, 导致模型识别精度受原始数据集选择的影响。 选择Accuracy、 Kappa、 Precision、 Recall、 F-score、 MCC(Matthews correlation coefficient)来对模型整体识别能力进行评估, 分别表示为

$\text { Accuracy }=\frac{T P+T N}{T P+F P+F N+T N~~~} $(1)

$\text { Precision }=\frac{T P}{T P+F P~~~}$(2)

$\text { Recall }=\frac{T P}{T P+F N~~~}$(3)

$\mathrm{~F} \text {-Measure }=\frac{2 \times \text { Recall } \text { × Precision }~~~~~~}{\text { Recall }+ \text { Precision }~~~}$(4)

$\mathrm{MCC}=\frac{T P \times T N-F P \times F N}{\sqrt{(T P+F P)(T P+F N)(T N+F P)(T N+F N)}~~~~~~}$(5)

式中, TP、 TN、 FN、 FP分别表示真阳性、 真阴性、 假阴性、 假阳性。 Kappa作为衡量数据与模型一致性指标, 表示为

$\mathrm{Kappa}=\frac{~~\mathrm{Po}-\mathrm{Pe}~~}{1-\mathrm{Pe}~}$(6)

式(6)中, Po为模型整体分类精度, Pe为实际与预测数量的乘积之和除以样本总数的平方。 论文整体技术路线如图4所示。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 技术路线Fig.4 Flowchart of model building

图5显示了三种肉类LIBS特征光谱。 从图中可以看出, 3种肉类组织中存在多种金属元素, 如在279.8、 393.4、 588.99和766.5 nm处存在Mg、 Ca、 Na、 K元素谱线。 此外非金属元素C、 H、 O也可以在LIBS光谱中发现, 从图中可以看出不同肉类样品中各元素谱线强度存在一定差异, 这些元素谱线强度的差异实际上反映了它们在不同种类肉类组织中的含量差异, 为识别3种肉类组织的光谱数据提供了基础。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 牛肉、 羊肉、 猪肉组织LIBS特征光谱Fig.5 Spectrum of LIBS features of beef, mutton, pork tissues

在选择谱线时依据以下原则: (1)特征谱线激发概率大、 无干扰谱线; (2)避免相邻且无法分辨的谱线; (3)避免具有自吸收或自反转特性特征谱线。 可以看出特征光谱存在Mg、 Ca、 Na、 K等元素谱线, 从肉质角度来看, 镁、 钾和钠的含量与肉质的嫩度有关, 例如镁在神经肌肉活动中起着重要作用, 有助于肌肉放松, 减少压力对肉质的影响。 而钾元素是肌肉收缩和神经冲动的必需元素, 在细胞内部, 钾元素与钠元素一起用于维持细胞内液体的适当平衡。 通过图谱分析发现在猪肉组织光谱图中Ca Ⅱ 393.4 nm谱线强度显著高于牛肉和羊肉; 而羊肉光谱图中Na Ⅰ 588.99、 Na Ⅰ 589.59 nm谱线强度则低于其他两种肉类。 此外, 3种肉类中的K Ⅰ 466.49 nm元素谱线也呈现出不同程度的差异, 其中Ca、 Mg、 K和Na含量差异可能与饮食和管理的差异以及土壤特征如有机质水平、 矿物质组成有关, 因此本文将Ca、 Na、 K元素作为分析谱线。 C— N谱带强度能够有效反映不同肉类中蛋白质、 糖、 脂肪等有机质含量的差异, 这些差异是生物体生理代谢活动的反映, 因此C— N谱带强度可以被视为识别不同品种肉类的一个可靠指标。 最终本文选择了5种元素9个波段谱线进行分析, 如表2所示。

表2

Table 2

表2(Table 2)

表2 特征谱线选取 Table 2 Library of selected emission lines Element Wavelength/nm Mg 279.8 C— N 388.3 Ca 393.4、 396.8、 422.7 Na 588.99、 589.59 K 766.5、 769.9

表2 特征谱线选取 Table 2 Library of selected emission lines

首先通过PCA对3种肉类光谱数据进行处理, 剔除相关性较高的冗余特征, 并将降维处理后的数据作为机器学习模型输入变量, 从而达到精简特征, 降低维度的效果。 图6为降维后光谱数据矩阵各主成分贡献率及其累积贡献率, 其中前3个主成分可占总方差的85.5%。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 主成分特征贡献率Fig.6 Contribution of principal component features

图7为基于前三个主成分构建的三维散点图, 可以看出3种肉类组织光谱数据点在图中呈现出严重的重叠现象, 并且数据点分布较为分散。 这表明传统聚类分析方法未能有效区分不同肉类的光谱特征, 因此需结合机器学习算法模型对3种肉类组织的光谱数据信息进行深入分析, 从而更有效地挖掘光谱数据中的细微差异, 实现精确分类识别。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 前三个主成分特征散点图Fig.7 Scatterplot of the first three principal component features

首先通过Accuracy、 F1-score、 Recall等参数对机器学习模型的整体识别能力进行深入分析, 结果如表3所示。 3种机器学习模型在识别不同肉类组织方面均表现出较高的识别精度, 均在90%以上。 以SVM算法为例, 其对牛肉、 羊肉、 猪肉的光谱数据识别精度分别高达92.5%、 96.7%、 94.2%, F1-score也分别达到了94.5%、 95.1%、 93.8%。 这一现象表明, 通过PCA降维处理后的光谱数据, 与机器学习算法模型相结合, 能够初步实现对3种常见肉类的分类识别。 然而模型识别能力并不均衡, 例如KNN模型对牛肉与羊肉的识别精度分别达到95.8%与94.2%, 而对猪肉的识别精度仅为90.8%, 同时SVM和BaggingTree模型同样存在此类问题, 说明以机器学习算法作为肉类识别手段的泛化性不强, 容易对单一品种肉类造成混淆。

表3

Table 3

表3(Table 3)

表3 机器学习模型Accuracy、 F1-score、 Recall参数 Table 3 The Accuracy, F1-score, Recall of machine learning models Accuracy /% F1-score /% Recall /% 牛肉组织光谱 92.5 94.5 92.5 PCA-SVM 羊肉组织光谱 96.7 95.1 96.7 猪肉组织光谱 94.2 93.8 94.2 牛肉组织光谱 95.8 94.3 95.8 PCA-KNN 羊肉组织光谱 94.2 93.4 94.2 猪肉组织光谱 90.8 93.2 90.8 牛肉组织光谱 95.8 96.6 95.8 PCA-BaggingTree 羊肉组织光谱 96.7 95.5 96.7 猪肉组织光谱 92.5 92.9 92.5

表3 机器学习模型Accuracy、 F1-score、 Recall参数 Table 3 The Accuracy, F1-score, Recall of machine learning models

针对机器学习模型对多品种肉类识别能力不均衡的问题, 本文构建了以ResNet18为主干网络的深度学习模型对3种肉类光谱数据进行分析, 一方面提高模型识别精度, 另一方面提高模型跨品种数据集的模型泛化能力, 从而达到对多品种肉类精确识别的目的。 结果如表4所示。 模型对3种肉类光谱数据的识别精度分别达到了97.5%、 99.2%以及97.5%; F1-score分别达到了98.7%、 97.9%及97.5%, 模型整体识别能力明显高于其他3种机器学习模型算法, 同时模型对3种肉类光谱数据识别能力较为均衡。 表5显示了4种模型的整体识别精确度、 Kappa系数以及MCC系数, 体现了模型整体识别能力、 识别泛化性以及一致性。 4种模型的整体识别精度分别达到了94.4%、 93.6%、 95.0%以及98.1%。 可以看出ResNet18网络模型在保证模型泛化性的同时, 其整体识别精度同样高于机器学习模型, 此外模型Kappa及MCC同样高于机器学习模型, 这一现象说明了以深度学习为思想的网络架构在多品种肉类识别场景下, 其模型样品内部数据挖掘和特征学习方面明显强于机器学习模型, 能够保证多品种肉类识别任务中的模型泛化性及识别精度。

表4

Table 4

表4(Table 4)

表4 ResNet18模型Accuracy、 F1-score、 Recall参数 Table 4 The Accuracy, F1-score, Recall of ResNet18 Accuracy/% F1-score/% Recall/% 牛肉组织光谱 97.5 98.7 97.5 ResNet18 羊肉组织光谱 99.2 97.9 99.2 猪肉组织光谱 97.5 97.5 97.5

表4 ResNet18模型Accuracy、 F1-score、 Recall参数 Table 4 The Accuracy, F1-score, Recall of ResNet18

表5

Table 5

表5(Table 5)

表5 ResNet18模型与机器学习模型Accuracy、 Kappa、 MCC参数 Table 5 The Accuracy, Kappa, MCC of ResNet18 and machine learning models Accuracy/% Kappa/% MCC/% PCA-SVM 94.4 91.7 91.8 PCA-KNN 93.6 90.4 90.4 PCA-BaggingTree 95.0 92.5 92.5 ResNet18 98.1 97.1 97.1

表5 ResNet18模型与机器学习模型Accuracy、 Kappa、 MCC参数 Table 5 The Accuracy, Kappa, MCC of ResNet18 and machine learning models

为进一步直观展示ResNet18网络模型性能, 通过混淆矩阵对模型的识别结果进行展示, 结果如图8所示。 4种模型中, KNN模型识别效果最低, 在360组数据中, 共有23组光谱数据识别错误, 说明以计算距离为函数思想的机器学习模型, 与平面分割(SVM)或集成思想(Bagging Tree)相比, 并不适用于高维度, 且特异性较高肉类组织光谱数据。 相比之下, ResNet18网络模型在进行多品种肉类识别任务中精度明显提高, 牛肉、 羊肉、 猪肉光谱数据分别有117、 119、 117组光谱数据识别正确, 这表明深度学习网络模型在将LIBS光谱数据映射到网络深层架构中后, 能够通过卷积以及池化的方式对特异性较强、 复杂度较高的肉类组织LIBS光谱数据信息进行充分挖掘, 从而获得更好的局部特征提取能力以及跨数据集泛化能力。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 模型混淆矩阵 (a): SVM; (b): KNN; (c): Bagging Tree; (d): ResNet18Fig.8 Confusion Matrix of 4 models (a): SVM; (b): KNN; (c): Bagging Tree; (d): ResNet18

图9展示了ResNet18模型在训练过程中的可视化过程。 在30次训练迭代过程中, 模型Loss值在前10轮迭代过程中呈逐步下降的趋势, 并在20轮之后损失函数逐渐稳定并趋近于0。 模型精确度在13轮前逐步上升, 在13~20轮区间内存在一定程度的波动现象, 并在20轮之后趋于稳定, 表明在多品种肉类识别任务中, 在对3种LIBS光谱数据分析过程中, 以ResNet18为主干网络的网络模型具有优秀的学习能力与稳定性。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 ResNet18模型精确度与Loss值Fig.9 ResNet18 model accuracy and Loss values

表6显示了GoogLeNet、 Vgg16、 ResNet50三种深度学习模型与本文方法对比结果, 从表中可以看出, GoogLeNet、 Vgg16、 ResNet50精确度分别为96.4%、 96.7%、 97.5%, 通过横向比较, 表明本文方法对肉类光谱数据识别的能力优于其他深度学习模型。

表6

Table 6

表6(Table 6)

表6 深度学习模型Accuracy、 Kappa、 MCC参数 Table 6 The Accuracy, Kappa, MCC of ResNet18 Accuracy/% Kappa/% F1-Score MCC/% Vgg16 96.4 94.6 96.4 94.6 GoogLeNet 96.7 95 96.7 95 ResNet50 97.5 96.3 97.5 96.3 ResNet18 98.1 97.1 98.1 97.1

表6 深度学习模型Accuracy、 Kappa、 MCC参数 Table 6 The Accuracy, Kappa, MCC of ResNet18

为了验证模型跨样本集、 跨设备、 跨环境的泛化能力, 本文采用了不同光谱仪, 激光器对3种肉类样品进行重新采集, 其中猪肉、 牛肉、 羊肉样品分别采集120组LIBS特征光谱, 共360幅特征光谱, 并通过ResNet18模型对重新采集的数据进行建模识别, 结果如表7所示, 模型整体识别精度达到98.9%, 牛肉、 羊肉、 猪肉组织模型精确度分别为97.5%、 100%、 99.2%, 从结果可以看出, 本文所建立的ResNet18模型具有良好的跨样本集、 跨设备、 跨环境泛化识别能力。

表7

Table 7

表7(Table 7)

表7 ResNet18模型跨数据集Accuracy、 F-Score、 Recall参数 Table 7 The Accuracy, F-Score, Recall of ResNet18 cross-dataset Accuracy/% F-Score/% Recall/% 牛肉组织光谱 97.5 98.7 97.5 羊肉组织光谱 100 99.6 100 猪肉组织光谱 99.2 98.3 99.2 全谱 98.9 98.9 98.9

表7 ResNet18模型跨数据集Accuracy、 F-Score、 Recall参数 Table 7 The Accuracy, F-Score, Recall of ResNet18 cross-dataset

由于LIBS在探测元素方面的具有强大的灵敏性, 同时不同种类肉类组织中存在着明显的元素差异, 而卷积神经网络能够对肉类LIBS光谱数据中的非线性特征进行深度挖掘, 因此本文搭建了LIBS-ResNet18杂化体系, 将元素信息嵌入到网络的深层架构中, 作为神经网络的输入, 对整个肉类组织的光谱信息进行深入挖掘, 以便快速提取肉类组织内部差异信息, 本文的研究目标在于首次评估LIBS技术与深度学习结合, 并在快速原位识别肉类物种方面的潜力。 通过LIBS技术可以检测到样品元素组成差异, 而深度学习网络模型能够对内部元素的光谱数据特征进行有效挖掘, 将LIBS与深度学习技术联用, 就能够在元素层次上实现对复杂物质的快速无损识别和分类。