光谱采集选择深圳谱研互联科技有限公司的手持式反射型近红外光谱仪NIR-R210, 波长范围为900~1 700 nm, 波长分辨率为14 nm, 信噪比为6 000∶ 1, 波长精度为± 1 nm, 其测量参数为吸光度。 通过MicroUSB接口直接连接到计算机设备, 并配备ISC-NIRScan软件使用, 可将采集的光谱数据导入计算机。 白板使用STD-DR100型号的标准白板, 用于取参考强度值。 光谱数据采集实验平台如图1所示, 由近红外光谱仪、 MicroUSB数据线和计算机组成。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 光谱数据采集平台Fig.1 Collection platform of spectral data

实验所用稻种由安徽省农业科学院水稻研究所生产, 根据中华人民共和国农业行业标准《NY/T 2915— 2016水稻高温热害鉴定与分级》中水稻结实率五个等级的划分标准和实际生产中水稻结实率较常见分类, 将水稻的结实情况分为Ⅰ 、 Ⅱ 、 Ⅲ 、 Ⅳ 、 Ⅴ 五个等级, 等级越高, 水稻秕谷含量越少, 水稻的结实情况越好。

水稻结实率常以总粒数中实粒数占比来衡量, 其中总粒数为实粒数与秕谷粒数之和。 为获取不同秕谷含量的稻种样品, 采用实粒数与秕谷粒数之比来制作样品, 制备包括0%秕谷、 25%秕谷、 50%秕谷、 75%秕谷和100%秕谷的样品, 其秕谷粒数和实粒数之比分别为: 0∶ 1、 1∶ 3、 1∶ 1、 3∶ 1、 0∶ 1。 选取待测的不同秕谷含量的水稻种子样品, 将水稻种子放入培养皿中进行数据采集。 采集时, 设定每个样本重复扫描12次, 测量时间为4.7 s。 为避免稻种堆积所造成的偏差, 在每个样本的多个不同位置选点进行测量, 取平均值作为光谱的原始数据。 不同秕谷含量的稻种样品分别扫描500个样本, 共2 500个样本。 采用基于联合X-Y距离的样本划分法(sample set partitioning based on joint X-Y distance, SPXY)按7∶ 3的比例划分数据集, 训练集1 750个, 测试集750个。

光谱仪采集的原始光谱数据除包含稻种样本真实信息外, 还包括光谱噪声、 杂散光、 基线漂移等干扰信息, 它们降低了光谱数据的质量, 影响了对稻种样本关键光谱信息的准确提取, 从而影响模型的判别性能。 因此, 在建立稻种秕谷含量等级判别模型前, 有必要对光谱数据进行预处理, 以降低各种干扰信息对稻种样本光谱数据的影响, 提高模型的判别精度。 在常用的光谱预处理方法中, 卷积平滑(Savitzky-Golay smoothing, SG)^[13]基于滑动窗口和多项式拟合实现光谱数据中噪声的平滑处理; 多元散射校正(multiplicative scatter correction, MSC)^[14]和标准正态变换(standard normal variate, SNV)^[15]以样品光谱的平均光谱为参照, 并结合线性回归或正态变换修正每个光谱, 以降低多元散射的干扰; 而多项式基线校正(polynomial baseline correction, PBC)^[16]通过多项式拟合基线漂移的变化趋势, 并在原始光谱中校正基线漂移。 为最大程度地减少噪声、 多元散射和基线漂移的影响, 本研究采用SG+MSC+PBC (SMP)和SG+SNV+PBC (SSP)两种组合预处理方法对光谱进行预处理, 基于SG平滑处理降低光谱信号中的背景噪声, 结合PBC校正光谱基线, 并通过MSC或SNV处理, 消除水稻籽粒表面差异带来的散射影响, 从而提高光谱的质量, 提升模型的准确性。

预处理虽减少了稻种样本光谱的干扰信息, 提高了光谱数据的质量, 但预处理后的光谱数据仍可能存在大量冗余信息, 甚至某些对稻种秕谷敏感的波段被其他波段共同解释或替代。 为从光谱数据中提取对建模有用的特征信息, 采用连续投影算法(successive projection algorithm, SPA)^[17]、 竞争性自适应重加权采样(competitive adaptive reweighted sampling, CARS)^[18]和主成分分析(principal component analysis, PCA)^[19]三种特征波段选择方法进行稻谷特征波段选择的降维处理。 SPA通过测量光谱之间的角度来评估光谱波长间相似性, 优选出能反应稻种秕谷含量的有效特征波段, 从而降低样品光谱特征维度, 提高模型的精确性和可解释性。 CARS采用偏最小二乘回归系数绝对值的大小对光谱数据各波长的重要性进行评估, 基于自适应加权重采样选择出回归系数绝对值大的波长, 有效去除无关特征波长。 PCA通过线性变换将原始特征转换为一组互相无关的主成分, 以保留数据的主要变化方向, 帮助捕捉最具代表性的特征, 减少冗余特征波段信息, 优化建模效率。

采用支持向量机(support vector machine, SVM)、 K-最近邻算法(k-nearest neighbor, KNN)、 决策树(decision tree, DT)、 线性判别分析(linear discriminant analysis, LDA)、 偏最小二乘判别分析(partial least squares discriminant analysis, PLS-DA)、 朴素贝叶斯(naive bayes, NB)对稻种的不同秕谷含量进行定性预测。 SVM^[20]是一种经典的有监督机器学习方法, 结合核函数对秕谷含量已知样本进行训练, 可实现对稻种中不同秕谷含量的分类判别。 KNN^[21]通过度量待分类样本与秕谷含量已知样本之间的距离实现对稻种秕谷含量的判别。 DT^[22]基于递归切割方法沿平行于特征变量轴的方向选择最佳特征分裂, 进而判别稻种样本的秕谷含量。 LDA^[23]通过最大化类别间方差和最小化类别内方差来区分不同秕谷含量的光谱数据, 实现稻种中秕谷含量的判别。 PLS-DA^[24]结合了偏最小二乘回归的属性和分类分析技术的判别能力, 区分稻种不同秕谷含量组间差异性以实现秕谷含量判别。 NB^[25]是基于贝叶斯定理的概率分类器, 通过计算给定的秕谷含量等级类别的条件概率选择最大概率的等级类别, 以判别稻种中秕谷含量。

为了评估模型在稻种秕谷含量判别中的性能, 采用查准率、 查全率、 F1分数(F1-score)以及准确率(Accuracy)为模型评价指标, 其中, 查准率表示模型在预测为正例的样本中, 有多少比例是真正的正例; 查全率表示模型在所有真正正例样本中, 有多少被模型正确预测为正例; F1分数是查准率和查全率的调和平均值, 综合考虑了分类器的查准率和查全率。 准确率是分类器正确分类样本的比例, 它考虑了模型在所有类别上的预测准确, 能够衡量模型的总体性能。 查准率(Precision)、 查全率(Recall)、 F1-score以及准确率(Accuracy)的定义如式(1)— 式(4)

Precision=TPTP+FP(1)

Recall=TPTP+FN(2)

F1⁃score=2×Precision×RecallPrecision+Recall(3)

Accuracy=TP+TNTP+TN+FP+FN(4)

式(1)— 式(4)中, TP是模型正确预测为正类别的样本数, TN是模型正确预测为负类别的样本数, FP是模型错误地预测为正类别的样本数, FN是模型错误地预测为负类别的样本数。

为直观分析不同秕谷含量的光谱差异, 对采集的不同秕谷含量的光谱进行可视化。 图2(a)所示为采集的不同秕谷含量稻种样本的原始光谱, 虽不同光谱在吸光度值上呈现细微差异, 但很难直观地区分不同秕谷含量的稻种样品的光谱信息。 为突出不同秕谷含量的稻种样品的光谱差异, 对原始光谱进行平均, 图2(b)所示为不同秕谷含量稻种样本的一组平均光谱曲线。 由于不同秕谷含量样品中饱满籽粒与空秕籽粒的淀粉成分差异导致其吸光度发生改变, 由图2(b)中光谱曲线可以看出稻种秕谷的含量越高, 平均吸收度越低, 不同秕谷含量稻种样本的平均光谱虽在某些波段呈现差异小, 但可以通过吸收峰、 吸收谷和波段明显地看出不同秕谷含量稻种样本的光谱差异, 如图2(b)中的红色箭头标记所示, 0%秕谷、 25%秕谷、 50%秕谷、 75%秕谷含量的平均光谱在波长为1 000、 1 200和1 450 nm等处存在吸收峰, 而在1 130、 1 310和1 680 nm等处存在吸收谷, 如图2(b)中的蓝色箭头标记所示, 并且在1 680 nm处50%秕谷、 75%秕谷、 100%秕谷含量的吸光度下降幅度大, 故可对光谱数据进行建模处理, 实现秕谷含量的判别。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 不同秕谷含量的样本光谱曲线 (a): 不同秕谷含量样本的原始光谱; (b): 不同秕谷含量的平均光谱Fig.2 Comparison of spectra of samples with different grain contents (a): Original spectra of samples with different empty grain contents; (b): Average spectra of samples with different empty grain contents

为减少原始光谱中噪声、 基线漂移和散射等因素的影响, 采用SG+MSC+PBC (SMP)和SG+SNV+PBC (SSP)对原始光谱进行预处理。 图3(a)为不同秕谷含量稻种样品的原始光谱, 预处理后的光谱如图3(b)和(c)所示, 对比预处理前后的光谱图可知, 经SMP和SSP预处理后的光谱具有极高的相似度, 能够有效抑制噪声、 散射效应和基线漂移的干扰。 为了选取较优的预处理算法, 对SMP和SSP预处理后的光谱均建立SVM、 KNN、 DT、 LDA、 PLS-DA和NB等6种判别分类模型, 结果如表1所示。 相比于使用原始光谱数据直接建模, 经SMP和SSP预处理后的各个分类模型性能都得到了不同程度的提升, 其中KNN、 LDA及PLS-DA在两种预处理方法下的准确率均达97%以上, 而SVM、 DT与NB在SSP预处理方法下的模型性能提升较为明显。 综合考虑各个分类模型在SMP和SSP预处理后的性能表现, 选择SG+SNV+PBC (SSP)为不同秕谷含量稻种样品的最佳预处理方法。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 原始光谱与预处理光谱对比 (a): 原始光谱; (b): SG+MSC+PBC预处理后光谱; (c): SG+SNV+PBC预处理后光谱Fig.3 Comparison between original and preprocessed spectra (a): Original spectra; (b): Spectra after SG+MSC+PBC pretreatment; (c): Spectra after SG+SNV+PBC pretreatment

表1

Table 1

表1(Table 1)

表1 基于预处理后全波段光谱的分类模型的预测准确率对比 Table 1 Comparison of prediction accuracy of classification models based on pre-processed full-band spectra 预处理方法 SVM KNN DT LDA PLS-DA NB 原始光谱 55.47% 70.00% 55.60% 80.40% 81.87% 28.40% SG+MSC+PBC(SMP) 61.47% 97.20% 84.57% 97.47% 97.60% 67.87% SG+SNV+PBC(SSP) 86.80% 97.73% 85.73% 97.47% 97.73% 70.67%

表1 基于预处理后全波段光谱的分类模型的预测准确率对比 Table 1 Comparison of prediction accuracy of classification models based on pre-processed full-band spectra

为减少冗余波长, 降低模型计算复杂度, 在保证模型判别准确率的前提下, 有必要提取用于区分稻种不同秕谷含量的特征波长。 对经过预处理的稻种样本光谱数据分别采用SPA、 CARS和PCA 方法去除光谱中的冗余信息, 并结合SVM、 KNN、 DT、 LDA、 PLS-DA、 NB分类模型, 构建不同秕谷含量判别模型, 其中, CARS根据回归系数的大小调整各波长的权重, 在迭代过程中逐步剔除权重小的波长, 保留对模型最有信息价值的波长, 从而减少了不必要的信息负载; SPA基于向量的投影分析, 将波长投影到其他波长上, 通过计算其他波长与已选择波长之间的角度, 选择相似性最低的波长, 以有效降低数据的共线性。 由于不同分类模型可能需要不同的特征波长数来获取最佳的判别效果, 为确定不同分类模型中最优特征选择的数量, 通过5折交叉验证(5-Fold Cross-Validation)方法进行交叉验证, 计算每次交叉验证的准确率, 最后根据交叉验证的结果确定最佳特征数量。 不同分类模型的特征波长分布如图4所示, 图中蓝色实线为平均光谱, 红色点为光谱的特征波长在平均光谱上的分布。 SVM、 KNN、 DT、 LDA、 PLS-DA、 NB模型在SPA方法下选择的特征波长数依次是203、 158、 72、 223、 222、 227, 采用CARS方法选择的特征波长数依次是228、 223、 158、 219、 219、 145。 可见, 不同模型需要特定数量的波长特征才能达到最佳准确率, 并且不同特征波长选择算法筛选的特征数量存在差异, 需结合秕谷含量判别准确率选择最优的特征选择方法。

图4

Fig.4

Figure Option ViewDownloadNew Window

图4 不同模型用SPA和CARS特征选择方法得到的特征波长分布 (a): SSP-SPA-SVM; (b): SSP-SPA-KNN; (c): SSP-SPA-DT; (d): SSP-SPA-LDA; (e): SSP-SPA-PLS-DA; (f): SSP-SPA-NB; (g): SSP-CARS-SVM; (h): SSP-CARS-KNN; (i): SSP-CARS-DT; (j): SSP-CARS-LD; (k): ASSP-CARS-PLS-DA; (l): SSP-CARS-NBFig.4 Feature wavelength distributions of different models under SPA and CARS feature selection methods (a): SSP-SPA-SVM; (b): SSP-SPA-KNN; (c): SSP-SPA-DT; (d): SSP-SPA-LDA; (e): SSP-SPA-PLS-DA; (f): SSP-SPA-NB; (g): SSP-CARS-SVM; (h): SSP-CARS-KNN; (i): SSP-CARS-DT; (j): SSP-CARS-LD; (k): ASSP-CARS-PLS-DA; (l): SSP-CARS-NB

PCA的目标是最大化数据方差, 通过选择主成分来保留数据中的主要信息, 从而实现降维。 通过计算每个主成分的方差, 并观察累积方差贡献率, 选择累积方差解释率达到或超过95%的主成分。 图5所示为主成分方差贡献率变化图, 经SG+SNV+PBC预处理后的光谱数据需选择数据的前三个主成分就能够解释至少95%的方差, 保留了98.86%的光谱信息。 图6展示了前三个主成分的载荷向量, 即在每个波长上的权重, 权重的绝对值大小表示了预处理后的特征在主成分上的重要性或贡献度, 其中1 667~1 700 nm波长段对于第一个主成分的贡献最大, 900~921和1 630~1 665 nm波长段对第二个主成分贡献最大, 900~940和1 005~1 093 nm波长段对第三个主成分的贡献率最大, 这些高权重值在相应的主成分中有更大的影响力, 对最终的PCA结果有更显著的贡献。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 主成分方差贡献率变化Fig.5 Change of the contribution rate of principal component variance

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 前三个主成分的波长权重Fig.6 Wavelength weights of the first three principal components

为验证SPA、 CARS与PCA选择的特征波长对各模型判别结果的影响, 基于特征波长建立不同判别模型, 结果如表2所示。 由表2可知, 不同的判别模型在PCA降维下的性能均差于SPA和CARS, 这是由于PCA并未考虑类别信息, 而更专注于最大方差的方向。 对比表2中不同模型在SPA和CARS特征波长选择下的秕谷含量判别准确率, KNN的秕谷含量判别准确率最高, 在训练集上的准确率达100%, 测试集准确率高达98%以上, 而NB模型假设各个特征之间是相互独立, 不能捕捉特征之间存在较强的相关性, 导致模型的秕谷含量判别准确率最差; 相较于NB、 LDA和PLS-DA模型在训练集和测试集上的秕谷含量判别准确率有着较好的改善, LDA和PLS-DA模型通过最大化不同秕谷含量特征波长之间的差异, 以有效捕捉到光谱数据的类别关系, 实现秕谷含量的分类判别, 而SVM和DT在训练集上均获得90%以上的秕谷含量判别准确率, 但由于其在降维后可能会对训练集中的噪声和局部特征进行过度拟合, 导致测试集的性能下降。

表2

Table 2

表2(Table 2)

表2 不同模型对稻种秕谷含量等级判别的准确率 Table 2 Accuracies of different models for determining grade of empty grain content in rice seed 降维方法 模型 准确率 训练集 测试集 SPA SVM 90.80% 86.93% KNN 100.00% 98.00% DT 95.88% 85.06% LDA 99.13% 97.60% PLS-DA 99.25% 97.60% NB 71.77% 70.93% CARS SVM 91.48% 86.67% KNN 100.00% 99.47% DT 97.20% 84.40% LDA 99.20% 97.60% PLS-DA 99.20% 97.60% NB 73.42% 71.33% PCA SVM 70.84% 71.73% KNN 92.17% 83.73% DT 91.08% 79.47% LDA 64.04% 67.60% PLS-DA 63.69% 67.07% NB 68.72% 69.60%

表2 不同模型对稻种秕谷含量等级判别的准确率 Table 2 Accuracies of different models for determining grade of empty grain content in rice seed

对比上述等级判别模型, SSP-CARS-KNN模型在训练集获取100%准确率, 且测试集准确率高达99.47%, 表明该模型在训练集上能够完美拟合数据, 同时在测试集上也有很好的泛化能力。 经交叉验证, 模型的K值设为1, 对训练数据的拟合非常灵活, 能够较好地适应训练数据的特点。 图7为SSP-CARS-KNN模型的混淆矩阵可视化, 对于150个水稻秕谷含量等级Ⅲ 样本, 仅有4个被误判为Ⅱ 级, 其他等级的样本均判定正确。 表3为SSP-CARS-KNN模型的评价指标值, 不同稻种秕谷含量等级的平均查准率为99.48%, 平均查全率为99.47%, 平均F1值为99.47%, 所有等级判别准确率为99.47%, 模型性能已经达到较好效果, 最终选择SSP-CARS-KNN模型作为稻种秕谷含量等级判别模型。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 混淆矩阵可视化Fig.7 Confusion matrix visualization

表3

Table 3

表3(Table 3)

表3 SSP-CARS-KNN模型对秕谷含量判别效果 Table 3 Determination effect of SSP-CARS-KNN model for grade of empty grain content in rice seed 分类目标 查准率 查全率 F1分数 Ⅰ 级 100.00% 100.00% 100.00% Ⅱ 级 97.40% 100.00% 98.68% Ⅲ 级 100.00% 97.33% 98.65% Ⅳ 级 100.00% 100.00% 100.00% Ⅴ 级 100.00% 100.00% 100.00%

表3 SSP-CARS-KNN模型对秕谷含量判别效果 Table 3 Determination effect of SSP-CARS-KNN model for grade of empty grain content in rice seed