实验所用酸枣仁及其伪品理枣仁、 兵豆和枳椇子, 购买于河北安国中药材市场远光药业有限公司。 选样过程中人工去除一些破损、 干瘪和过小籽粒, 每类样本选取400粒完整饱满籽粒, 置于4个玻璃培养皿中均匀分布。 每类样品按照3: 1的比例随机划分校正集(300粒)和预测集(100粒)。

系统主要由高光谱相机、 光源、 电动平移台和步进电机等构成(图1所示)。 选用杭州彩谱科技有限公司的FS-13型高光谱相机采集酸枣仁及其伪品的高光谱图像, 光谱范围为400~1 000 nm, 光谱分辨率为2.2 nm, 图像分辨率为0.1 mm· 像素^-1。 为消除仪器暗电流和环境光变化等引入的干扰噪声, 样本采集前, 先采集黑白参考, 用于对获得的高光谱图像进行校正。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 高光谱成像系统示意图Fig.1 Schematic diagram of hyperspectral imaging system

对原始高光谱图像进行裁剪拼接。 利用主成分分析和二维散点图提取籽粒感兴趣区域并构建掩模图像, 基于掩模图像提取单籽粒样品的平均光谱。

1.3.1 卷积神经网络

1DCNN模型架构如图2所示。 采用2个卷积层进行特征提取, ReLu作为激活函数, 每个卷积层后面增加了最大池化层, 以去除一些无信息的特征。 参考Zhou等^[10]方法, 通过在输入层之后添加一个自定义选择层来实现关键波长选择。 该选择层按照元素乘法操作, 定义的可学习权重表示相应波段的重要程度。 训练采用交叉熵损失函数(cross-entropy loss), 使用Adam优化器。 学习率、 迭代次数(epoch)和批尺寸(batch size)分别设置为0.000 5, 4 800和50。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 1DCNN网络结构图Fig.2 Diagram of 1DCNN network structure

1.3.2 t分布随机邻域嵌入

t分布随机邻域嵌入(t-SNE)是一种非线性的机器学习算法, 通过映射变换将每个数据点映射到相应的概率分布, 并在低维空间里也保持其在高维空间里所携带的信息^[12], 有效实现数据的降维并进行数据可视化。 本研究中, 将每个卷积层和全连接层的输出数据输入t-SNE进行降维可视化。

1.3.3 偏最小二乘判别分析

偏最小二乘判别分析(partial least squares discriminant analysis, PLSDA)是一种用于定性分类的多变量统计分析方法, 在对样本数据降维后, 建立回归模型, 并对结果进行分类判别。

1.3.4 竞争性自适应重加权采样

竞争性自适应重加权采样(CARS)是基于蒙特卡罗(MC)采样和偏最小二乘(PLSR)模型中回归系数的一种特征波长变量选择方法, 旨在筛选出最具有核心竞争力的波长组合。 利用CARS对原始数据进行重要波长选择, 减少光谱特征的冗余信息, 提高计算速率。

图3所示为酸枣仁及伪品理枣仁、 兵豆和枳椇子的平均光谱及误差带。 由图可知, 酸枣仁及三种伪品的平均光谱曲线整体轮廓较相似, 反射率及其变化程度存在差异, 理枣仁和兵豆的反射率值总体高于酸枣仁和枳椇子。 由于400~1 000 nm主要反映颜色特征, 酸枣仁和枳椇子颜色最接近, 理枣仁颜色较浅, 故酸枣仁和枳椇子的平均光谱曲线最为相似, 理枣仁整体反射率值较高。 酸枣仁及三种伪品均在832和891 nm附近有波峰, 854 nm处为波谷。 兵豆在632和670 nm处还有一个波峰和波谷。 Zerbini等^[13]在对芒果的光学特性研究中指出670 nm附近的波段为叶绿素a吸收区。 Siedliska等^[14]在对草莓果实进行高光谱成像技术检测研究中指出842 nm附近的峰与糖的O— H键拉伸振动有关。 880~900 nm范围内出现的峰与水分中的O— H官能团拉伸的第三泛音有关^[15]。 综上表明, 平均光谱中的峰、 谷主要反映了样品中叶绿素、 水和糖等主要成分的信息。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 酸枣仁及三种伪品的平均光谱及误差带Fig.3 Average spectra and error bands of ziziphi spinosae semen and three kinds of counterfeits

2.2.1 CARS特征变量选择

图4为CARS特征变量筛选结果。 图4(a)显示了蒙特卡洛采样次数和采样变量数之间的关系。 筛选波长的速度随运行次数的增加而减慢, 在前30次采样中, 采样变量数快速下降, 体现出了CARS算法粗略选择波长的过程; 当运行次数大于30后, 波长变量筛选速度越来越慢, 波长数量也越来越少, 表现了CARS算法对变量精选的过程。 由图4(b)可知, 运行次数在81次时, RMSECV值达到最小, 说明在运行第81次时, 基本上已完成波长剔除工作。 之后的运行过程可能淘汰了比较重要的相关波长变量, 因此导致RMSECV值增大。 图4(c)中, “ * ” 对应的RMSECV值最小且变量数最少, 即第81次采样。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 CARS特征变量筛选 (a): 波长数量的变化趋势图; (b): RMSECV的变化趋势图; (c): 波长变量回归系数的变化趋势图Fig.4 CARS feature variable screening (a): Trend chart of the number of wavelengths; (b): Trend chart of RMSECV; (c): Regression coefficients vs sampling runs

经CARS特征波长提取后, 共得到5个重要波长, 分别为: 511、 672、 721、 850和981 nm, 它们在原始光谱上的分布如图5所示。 675 nm附近的波长可能与种皮中的叶绿素a、 b以及花青素有关^[16], 反映了种皮的颜色。 720 nm附近的波段与样品内部的碳水化合物有关^[17]。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 挑选的5个特征波长在原始光谱曲线上的分布Fig.5 Distribution of the 5 selected characteristic wavelengths on the original spectral

2.2.2 PLSDA分类模型结果分析

CARS-PLSDA判别模型的混淆矩阵如图6所示。 样品的灵敏度和精确率均大于等于96%, 校正集的总体准确率为99.6%, 预测集的总体准确率为99.0%。 由图可知, 校正集中酸枣仁样品有1个错判为理枣仁, 枳椇子样品中有4个误判为酸枣仁。 在预测集中, 酸枣仁样品全部判别正确, 枳椇子中有4个样品错判为酸枣仁。 原因可能是酸枣仁与枳椇子具有相近的颜色和光谱特征。 模型对部分样本的可视化预测结果如图7所示, 四类样本均被正确鉴别。 图7(a)为基于R: 700 nm 、 G: 546 nm 和B: 438 nm 波段的伪彩色图像。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 CARS+PLSDA模型结果混淆矩阵 (a): 校正集; (b): 预测集Fig.6 Confusion matrices of CARS+PLSDA modeling results (a): Correction set; (b): Prediction set

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 CARS+PLSDA模型结果可视化图 (a): 伪彩色图像(R: 700 nm 、 G: 546 nm 和B: 438 nm); (b): 可视化结果Fig.7 Visualization of CARS+PLSDA modeling results (a): Pseudo color image(R: 700 nm, G: 546 nm, B: 438 nm); (b): Visualization results

2.3.1 自定义层特征选择

从训练好的1DCNN模型的自定义选择层获得一组权重向量, 该向量与原始光谱向量具有相同的维度, 即1× 300。 权重参数数值大小被认为可以反映波长在建模任务中的重要性。 在光谱特征的选择中, 通常期望以较少的波长提供足够的信息; 相对复杂的数据集, 通常接受10~20个左右的选定特征^[10]。 本工作选取了对应权重绝对值最大的前20个特征波长, 其在原始光谱上的分布如图8所示。 分别为405、 443、 474、 485、 548、 557、 583、 587、 591、 638、 664、 727、 729、 748、 809、 828、 832、 857、 937和939 nm。 其中664、 727和857 nm与CARS挑选的波段中的672、 721和850 nm较为接近。 858 nm附近的波段主要归因于样本中C— H基团的三级倍频。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 挑选的20个特征波长在原始光谱曲线上的分布Fig.8 Distribution of 20 selected characteristic wavelengths on the original spectra

2.3.2 1DCNN分类模型

图9为经1DCNN模型分类后校正集和预测集的混淆矩阵。 样品的灵敏度和精确率均大于等于98%, 校正集的总体准确率为99.8%, 预测集的总体准确率为99.5%, 模型预测精度略优于CARS-PLSDA。 由图可知, 误差主要是酸枣仁被误判为枳椇子。 在校正集的300个酸枣仁样本中, 有297个判别正确, 有3个误判为枳椇子。 在预测集的100个酸枣仁样品中, 有两个误判为枳椇子。 与PLSDA模型相比, 1DCNN模型判别误差主要是正品被误判为伪品, 从实际检测应用来说, 具有更好的安全性。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 1DCNN模型结果混淆矩阵 (a): 校正集; (b): 预测集Fig.9 Confusion matrices of 1DCNN modeling results (a): Correction set; (b): Prediction set

为了进一步了解1DCNN模型的分类过程, 利用t-SNE方法对两个卷积层与全连接层的输出结果进行了降维可视化, 结果如图10所示。 由图可知, 经卷积层处理后的数据, 可以清楚分离出理枣仁和兵豆, 但酸枣仁和枳椇子仍有一定程度的混淆。 全连接层输出的数据, 各类样本数据具有很好的可分性, 仅有个别酸枣仁和枳椇子数据点重合混淆。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 t-SNE可视化分析 (a): 第一层卷积; (b): 第二层卷积; (c): 全连接层Fig.10 t-SNE visualization analysis (a): The first convolutional layer; (b): The second convolutional layer; (c): Fully connected layer

1DCNN模型对部分样本预测的可视化结果如图11所示, 四类样本同样均被正确判别。

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 1DCNN模型结果可视化图 (a): 伪彩色图像(R: 700 nm、 G: 546 nm 和B: 438 nm); (b): 可视化结果Fig.11 Visualization results of 1DCNN modeling (a): Pseudo color image (R: 700 nm, G: 546 nm, B: 438 nm); (b): Visualization results

2.3.3 5W-1DCNN分类模型结果分析

从自定义层的权重向量中, 挑选权重绝对值最大的前5个特征波长, 建立5W-1DCNN分类模型。 5W-1DCNN模型结构在图2所示结构的基础上去掉自定义选择层, 输入层数据尺寸相应修改为1 600× 5, 第一层卷积尺寸修改为1× 2× 1, 第二层卷积尺寸修改为1× 2× 4, 最大池化层参数改为1× 1, 其余参数不变。 5个特征波长分别为557、 748、 809、 857和937 nm。 模型校正集和预测集的混淆矩阵如图12所示。 校正集的总体准确率为100%, 预测集的总体准确率为99.5%。 在预测集的100个酸枣仁样品中, 有2个误判为枳椇子。 5W-1DCNN模型与1DCNN模型预测效果基本相同, 但模型输入大幅度减小, 有助于降低检测硬件成本。 与CARS-PLSDA模型相比, 5W-1DCNN模型预测效果更好。 模型对部分样本的可视化预测结果如图13所示。

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 5W-1DCNN模型结果混淆矩阵 (a): 校正集; (b): 预测集Fig.12 Confusion matrices of 5D-1DCNN modeling results (a): Correction set; (b): Prediction set

图13

Fig.13

	Figure Option ViewDownloadNew Window
	图13 5W-1DCNN模型结果可视化图 (a): 伪彩色图像(R: 700 nm、 G: 546 nm和B: 438 nm); (b): 可视化结果Fig.13 Visualization results of 5W-1DCNN model (a): Pseudo color image (R: 700 nm, G: 546 nm, B: 438 nm); (b): Visualization results

上述结果表明, CARS-PLSDA和1DCNN模型均能实现酸枣仁和伪品理枣仁、 兵豆和枳椇子的有效判别。 5W-1DCNN模型分类效果略优于CARS-PLSDA。 CARS-PLSDA模型需要进行人工特征筛选, 1DCNN建模过程中可以自动实现特征筛选, 但基于数据驱动的建模所需样本数量和质量要求较高。 CARS和自定义选择层特征分析表明, 两种模型具有类似/相近分布的特征波长, 这些波长与样本表面颜色和内部成分特征相关。

本研究中所使用的高光谱图像波段范围为可见近红外波段(400~1 000 nm), 与短波红外波段(1 000~2 500 nm)相比, 可见近红外波段主要反映可视特征及与颜色相关的内部成分信息。 酸枣仁与三种伪品: 理枣仁、 兵豆和枳椇子在外观颜色、 纹理等特征上存在差异, 可有效被可见近红外高光谱图像捕获。 短波红外高光谱图像在内部成分信息的反映上更具优势, 对于不同品种的酸枣仁及伪品, 同样具有分类鉴别的可行性。 但是短波红外高光谱相机价格更高, 在可见近红外波段图像已有良好分类效果的条件下, 不是检测方案的最优选择。 未来对于粉状酸枣仁等初加工产品的鉴别检测研究, 由于样本的物理形态被破坏, 可优选短波红外高光谱图像进行深入研究。