油茶果样本采集自江苏省南京市江宁区金航油茶专业合作社, 采集的油茶果品种均属于霜降籽, 果实成熟期在霜降节前后。 本课题组于2020年10月13日— 2020年11月10日期间共采摘5批油茶果, 用于高光谱检测油茶果成熟度的样本^[2]。 为将研究进一步深入, 于2021年9月30日— 2021年11月10日期间共采摘5批不同成熟度的油茶果(油茶果采摘期为10月份; 11月14号油茶树上已几乎没有完整的油茶果, 基本采摘完毕, 因为果实过熟导致果壳开裂、 果仁脱落), 每批采摘的油茶果均形状大小相似, 且无病虫害等缺陷。 样品采摘后立即封装运回实验室。 5批采摘油茶果个数依次为100、 100、 100、 100和80, 共计480个样本。 按照不同采摘的时间将油茶果的成熟度分为5类, 使用Kennard Stone对不同类别油茶果样本按照3∶ 1划分为训练集和测试集, 训练集和测试集数据分布如表1所示。

表1

Table 1

表1(Table 1)

表1 不同成熟度油茶果样本的划分情况 Table 1 Classification of camellia oleifera fruit samples with different maturities 采摘时间 训练集 样本数 测试集 样本数 样本 总数 划分 成熟度 2021.09.30 75 25 100 Ⅰ 2021.10.10 75 25 100 Ⅱ 2021.10.20 75 25 100 Ⅲ 2021.10.30 75 25 100 Ⅳ 2021.11.10 60 20 80 Ⅴ

表1 不同成熟度油茶果样本的划分情况 Table 1 Classification of camellia oleifera fruit samples with different maturities

采用南京林业大学生物质包装无损检测实验室搭建的高光谱成像无损检测平台, 如图1所示, 主要包括成像光谱仪(GaiaField-V10E-AZ4, 400~1 000 nm)、 sCMOS相机、 载物台系统、 卤素灯、 计算机和电机等。 其中成像光谱仪的光谱分辨率为5 nm, 被测样本置于传送带(依靠电机驱动)的载物台上。 高光谱图像数据采集软件为Specview。 在采集油茶果光谱图像之前将高光谱仪器预热30 min。 为避免采集到的光谱图像失真, 在采集数据时需要对设备参数进行调试, 经过多次预实验确定最佳设备参数如下: 光谱仪(400~1 000 nm)曝光物距为300 mm, 曝光时间为1.4 ms, 位移扫描速度为6 mm· s^-1。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 高光谱成像系统 1: 计算机; 2: sCMOS 相机; 3: 光谱仪(400~1 000 nm); 4: 卤素灯; 5: 样本; 6: 载物台系统; 7: 电机Fig.1 Hyperspectral imaging system 1: Computer; 2: sCMOS camera; 3: Spectrometer (400~1 000 nm); 4: Halogen lamp; 5: Sample; 6: Carrier system; 7: Motor

由于高光谱图像采集过程中存在相机的暗电流和环境因素影响, 需要对原始图像进行黑白校正^[8], 校正公式如式(1)

R=Iraw-IdarkIwhite-Idark(1)

式(1)中, I_raw为原始样本的漫反射光谱图像数据; R为校正后的漫反射光谱图像数据; I_dark为暗图像数据; I_white为白板的漫反射图像数据。

原始高光谱图像包含油茶果和背景信息, 因此需要去除背景提取纯油茶果的光谱信息。 利用ENVI Vision5.3软件(Research Systems Inc., Boulder, CO, USA)通过阈值分割将整个油茶果样本作为感兴趣区域(region of interest, ROI)。 如图2所示, ROI的提取步骤如下:

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 光谱信息提取过程Fig.2 Spectral information extraction process

(1) 对比发现在815.8 nm波长处图像中的油茶果样本和背景反射率差异最大;

(2) 对图像进行阈值分割获得灰度图像;

(3) 以反射值0.2作为分割图像中油茶果样本与背景的最小阈值;

(4) 提取150个波长的光谱信息, 取平均反射率作为样本的原始光谱, 即可得到波长反射率曲线;

(5) 提取出480条高光谱图像曲线。

光谱仪在采集光谱信息过程中易产生大量的噪声和干扰信息, 因此需要将噪声和干扰信息剔除进一步提高光谱信息的鲁棒性和准确性^[9]。 使用五种常见有效的预处理方法对原始光谱信息进行处理, 即标准正态变量变换法(standard normal variate transformation, SNV)、 SNV结合去趋势(detrending)、 SG卷积平滑法(savitzky-golay smoothing, SG)、 一阶导(窗口宽度为3)和二阶导(窗口宽度为3)。

高光谱数据中包含大量的冗余信息, 需要提取出最小冗余新变量来消除数据间的共线性和重叠问题^[10]。 采用两种不同的变量选择方法:

(1) 连续投影算法是一种为特征变量选择而设计的前向迭代选择方法, 利用投影分析法将变量投影到其他变量上, 通过比较投影向量的大小, 选取投影向量最大的变量并结合校正模型的最小均方根误差(root mean square error, RMSE)选取特征变量^[11]。

(2) 竞争性自适应重加权采样算法是一种结合蒙特卡洛采样与偏最小二乘回归(PLSR)绝对系数(RC)的特征变量选择方法。 CARS的原理是通过自适应重加权采样方法和指数衰减函数去除掉偏最小二乘回归系数中绝对值权重较小的波长, 经多次计算选择PLSR模型中交叉验证RMSE最小的变量子集作为特征变量^[12]。

偏最小二乘判别分析是基于PLSR提出的一种判别分析方法, 在频谱建模中表现出良好的分类性能^[13]。 在PLS-DA中Y值为预测每个样本的类别, 类别标签采用二进制编码, 需设定阈值与模型实际值和预测值之差对比判别分类。 PLS-DA模型采用10折交叉验证得到最小预测误差确定最优潜在变量(latent variable, LV)的数量。

支持向量机是机器学习中经典的监督学习算法, 适用于解决样本量小、 非线性和高维模式识别问题^[11]。 核函数的选择是SVM的关键, 径向基函数(RBF)被广泛用作谱分析中的核函数, 具有很强的处理非线性问题能力。 粒子群优化算法是一种进化算法, 采用PSO迭代优化SVM的惩罚因子(c)和核参数(g), 在PSO-SVM模型中, 采用10折交叉验证, 种群规模设置为20, 迭代次数为100, 学习因子C1和C2分别为1.5和1.7^[14]。

考察模型的性能效果采用分类准确率(correct classification rate, CCR)、 灵敏度(sensitivity)、 特异性(specificity)和Kappa系数来评估, 各数值越高表明模型性能越好, 其计算公式如式(2)— 式(4)

分类准确率=TP+TNTP+FN+FP+TN(2)

灵敏度=TPTP+FN(3)

特异性=TNTN+FP(4)

式中: TP、 TN、 FN和FP是混淆矩阵划分的四个指标, TP(真阳性)为阳性油茶果被识别为阳性的数量; TN(真阴性)为阴性油茶果被识别为阴性的数量; FN(假阴性)为阴性油茶果被误分为阳性油茶果的数量; FP(假阳性)为阳性油茶果被误分类阴性油茶果的数量, 这里的阳性油茶果表示某一类油茶果, 剩余类别的油茶果皆为阴性。

果实的外部颜色是人们判别其成熟度的重要标准之一, 处于不同成熟度等级的果实在颜色上具有一定的差异。 薛建新等^[5]基于RGB模型提取了沙金杏的颜色特征值, 使用光谱融合颜色特征建立的ELM(extreme learning machine, ELM)模型优于纯光谱模型, 准确率达93.3%。 由此可见, 光谱信息融合颜色特征增强了模型的判别效果。 故而亦基于RGB模型, 采用颜色矩方法提取油茶果样本图像的颜色特征值, 由于颜色信息主要作为低阶矩分布, 因此一阶矩、 二阶矩和三阶矩足以表达图像的颜色分布^[15]。 其中, 一阶矩表示颜色分量的平均强度, 二阶矩表示待测区域的颜色方差, 三阶矩表示颜色分量的偏斜度。 其计算公式如式(5)— 式(7)

${{\mu }_{i}}=\frac{1}{N}\overset{N}{\mathop{\underset{j=1}{\mathop \sum }\, }}\, {{P}_{ij}}$ (5)

${{\sigma }_{i}}=\sqrt{\frac{1}{N}\overset{N}{\mathop{\underset{j=1}{\mathop \sum }\, }}\, {{({{P}_{ij}}-{{\mu }_{i}})}^{2}}}$(6)

${{s}_{i}}=\sqrt[3]{\frac{1}{N}\overset{N}{\mathop{\underset{j=1}{\mathop \sum }\, }}\, {{({{P}_{ij}}-{{\mu }_{i}})}^{3}}}$(7)

式中, μ _i、 σ _i、 s_i分别为图像的一阶矩、 二阶矩和三阶矩, P_ij为图像中第j个像素点的第i个颜色分量, N为像素点数。

基于RGB颜色空间将图像R、 G、 B三个分量的一阶矩、 二阶矩和三阶矩组成一个9维的颜色特征向量, 该颜色特征值为[μ _R, μ _G, μ _B, σ _R, σ _G, σ _B, s_R, s_G, s_B]。

去除首尾噪声波段, 对416.6~994.9 nm内115个波段进行光谱特征分析。 480个油茶果样本的原始光谱曲线如图3(a)所示, 图3(b)为不同成熟度油茶果带有标准差的平均光谱图, 两幅图变化趋势基本一致。 光谱中的主要吸收带归因于强泛音和含氢基团的组合吸收, 如O— H(来自于水中)、 C— H(来自于脂肪和油)^[16]。 430.89 nm附近的吸收峰主要与邵氏带有关^[17], 672 nm附近的吸收峰与样本外壳叶绿素和“ 红边” 效应有关^[18], 957.5 nm附近的吸收峰主要与油茶果内部水分的O— H拉伸态和弯曲态的二阶泛音有关^[18]。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 油茶果样本光谱曲线 (a): 480个样本的原始光谱曲线; (b): 不同成熟度油茶果带有标准差的平均光谱图Fig.3 Spectra of camellia oleifera samples (a): Raw spectral curves of 480 samples; (b): Average spectral curves with standard deviation of camellia oleifera samples with different maturities

将5种不同成熟度的油茶果样本赋予1、 2、 3、 4、 5类别标签, 基于全光谱(416.6~994.9 nm)和预处理后的全光谱建立了PLS-DA和PSO-SVM判别模型。 共采用5种不同的预处理方法, 包括SNV、 SNV-detrend、 SG、 一阶导和二阶导, 通过参数寻优基于最优参数下建立定性分析模型, 其判别结果和最优参数如表2所示。 结果表明, 预处理后模型的分类准确率普遍优于未预处理模型, 因为预处理可以减少散射效应或背景噪声从而提高模型的鲁棒性。 对比发现经一阶导预处理后模型性能最优, PLS-DA和PSO-SVM最优模型训练集、 交叉验证集和测试集的准确率分别为96.6%、 93.8%、 92.2%和97.2%、 94.2%、 90.0%。 因此, 选取一阶导预处理的全光谱做进一步分析。

表2

Table 2

表2(Table 2)

表2 不同预处理方式全光谱PLS-DA和PSO-SVM模型性能比较 Table 2 Performance comparison of PLS-DA and PSO-SVM models using whole-spectrum preprocessed with different methods 建模方法 预处理 分类准确率/% 参数 训练集 交叉验证集 测试集 PLS-DA None 94.2 92.6 87.6 17 SNV 95.8 93.4 90.6 19 SNV-detrend 94.6 92.0 88.8 18 SG 93.4 90.8 84.0 17 一阶导 96.6 93.8 92.2 18 二阶导 96.8 94.4 91.2 17 PSO-SVM None 96.9 86.7 77.2 \ SNV 98.6 93.0 81.6 \ SNV-detrend 92.2 88.0 74.2 \ SG 96.3 81.9 72.5 \ 一阶导 97.2 94.2 90.0 \ 二阶导 96.9 93.8 89.2 \

表2 不同预处理方式全光谱PLS-DA和PSO-SVM模型性能比较 Table 2 Performance comparison of PLS-DA and PSO-SVM models using whole-spectrum preprocessed with different methods

为了保证建模的准确性, 提高模型的计算速度, 经预处理后的全光谱仍存在大量的冗余信息, 可能会带来过拟合、 噪声和非线性的风险, 且大都数情况下全光谱范围内仅有少数波长与待测物质有关。 因此, 使用SPA和CARS对一阶导预处理后的全光谱(416.6~994.9 nm, 115个波长)进行特征波长筛选。 根据经验将SPA特征波长分析最佳特征变量数范围定为5~30^[13]。 如图4(a)所示RMSE值最小时对应26个特征波长, 图4(b)为26个特征波长在全波长中的分布情况。 在CARS分析中, 将蒙特卡洛采样次数设置为1 000, 设置每次运行选择的训练集和测试集样本为3∶ 1, 对于RMSECV采用10折交叉验证, 蒙特卡洛采样运行次数为50, 参数设置均凭以往经验^[19]。 如图4(c)第一个子图所示, 随着蒙特卡洛采样次数的增加, 特征变量的数量呈指数下降; 在第二个子图中, 使用交叉验证中的RMSECV值作为采样运行次数的评估指标, 基于最小RMSECV值筛选出28个特征波长, 分布情况如图4(d)所示。 具体波长信息如表3所示。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 应用SPA和CARS算法选择特征波长 (a): RMSE随特征变量数的变化; (b): SPA筛选特征变量在光谱曲线上的分布; (c): CARS筛选特征变量的结果; (d): CARS筛选特征变量在光谱曲线上的分布Fig.4 Applications of SPA and CARS to select the characteristic wavelength (a): Variation of RMSE with the number of eigenvariables; (b): Distribution of SPA screening eigenvariables; (c): Results of CARS screening eigenvariables; (d): Distribution of CARS screening eigenvariables

表3

Table 3

表3(Table 3)

表3 基于一阶导预处理光谱SPA和CARS选取波长 Table 3 Wavelength selections based on first-derivative spectra by SPA and CARS 降维方法 特征数量 416.6~994.9 nm范围内选择波长 SPA 26 430.8, 445.2, 459.7, 493.7, 562.2, 582.0, 606.7, 626.7, 636.7, 677.0, 687.0, 702.2, 717.5, 722.7, 732.9, 758.5, 784.2, 836.2, 883.2, 893.7, 909.7, 925.5, 952.0, 957.5, 968.2, 984.2 CARS 28 430.8, 455.0, 464.6, 479.1, 503.3, 577.0, 631.7, 636.7, 738.0, 748.2, 758.5, 763.7, 779.0, 784.2, 789.4, 805.0, 825.7, 836.2, 841.4, 846.5, 851.7, 857.0, 883.2, 899.0, 920.2, 962.7, 968.2, 973.5

表3 基于一阶导预处理光谱SPA和CARS选取波长 Table 3 Wavelength selections based on first-derivative spectra by SPA and CARS

表4列出了基于全光谱判别模型以及SPA和CARS简化模型的分类结果, 简化后的模型性能略低于全光谱模型, 但仍取得较好的分类效果, 且建模效率大大提升。 研究结果显示, 采用CARS选定波长建模测试集准确率均高于SPA模型测试集准确率, CARS-PLS-DA和CARS-PSO-SVM模型预测集准确率分别为92.5%和89.2%。 为了进一步比较模型的分类情况, 表5汇总了CARS-PLS-DA和CARS-PSO-SVM模型预测集的混淆矩阵、 灵敏度和特异性以及Kappa系数计算结果, Kappa系数用于评估分类效果具有较好的一致性和可信度, 系数越高, 分类模型越可靠^[20]。 CARS-PLS-DA和CARS-PSO-SVM模型对成熟度Ⅲ 、 Ⅳ 、 Ⅴ 灵敏度值相对较低, 主要原因是此时油茶果样本皆已成熟, 已进入采摘期, 光谱差异性相对较小, 但两个定性分析模型的特异性值均超过0.91, Kappa系数均超过0.86, 具有极高的一致性, 对于分类识别任务具有优异的性能。 CARS-PLS-DA模型的Kappa系数值和预测集分类准确率均高于CARS-PSO-SVM模型, 综合来看CARS-PLS-DA模型识别油茶果成熟度性能更加优越。

表4

Table 4

表4(Table 4)

表4 基于不同方法选定波长PLS-DA和PSO-SVM模型性能比较 Table 4 Performance comparison of PLS-DA and PSO-SVM models using characteristic wavelengths selected by different methods 建模 方法 降维 方法 特征 数量 分类准确率/% 参数 训练集 交叉验证集 测试集 全光谱 115 96.6 93.8 92.2 18 PLS-DA SPA 26 94.8 93.4 90.8 17 CARS 28 94.4 93.4 92.5 16 全光谱 115 97.2 94.2 90.0 \ PSO-SVM SPA 26 96.9 94.2 88.3 \ CARS 28 97.7 93.8 89.2 \

表4 基于不同方法选定波长PLS-DA和PSO-SVM模型性能比较 Table 4 Performance comparison of PLS-DA and PSO-SVM models using characteristic wavelengths selected by different methods

表5

Table 5

表5(Table 5)

表5 最优简化模型预测集混淆矩阵 Table 5 Confusion matrix of optimal simplified model for prediction set confusion matrix of optimal simplified model for prediction set 实际类别 CARS-PLS-DA模型 CARS-PSO-SVM模型 Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅰ 25 0 0 0 0 25 0 0 0 0 Ⅱ 0 25 0 0 0 0 25 0 0 0 Ⅲ 0 0 23 1 1 0 0 20 1 4 Ⅳ 0 0 2 20 3 0 0 0 20 5 Ⅴ 0 1 0 1 18 0 1 1 3 15 灵敏度 1.00 1.00 0.92 0.80 0.90 1.00 1.00 0.80 0.80 0.75 特异度 1.00 0.99 0.98 0.98 0.96 1.00 0.99 0.99 0.96 0.91 Kappa系数 0.906 2 0.864 0

表5 最优简化模型预测集混淆矩阵 Table 5 Confusion matrix of optimal simplified model for prediction set confusion matrix of optimal simplified model for prediction set

融合油茶果高光谱图像第64(641.8 nm, R)、 46(522.3 nm, G)、 27(459.8 nm, B)三个通道生成RGB图像, 然后与掩膜图像相乘得到油茶果样本的RGB图像, 具体流程如图2所示。 使用颜色矩的方法提取RGB图像在R、 G、 B三个分量上的均值、 方差和偏斜度, 并组成一个9维的颜色特征向量作为图像的颜色特征, 样本平均颜色特征值如表6所示。 可以看出颜色特征值量级较小, 但不同成熟度之间有一定差异, 因此使用归一化(Normalization)将颜色特征值转化为[-1, 1]之间, 增强数据之间的差异性, 提高模型的可比性。 将颜色特征值融入特征波长分别建立PLS-DA和PSO-SVM组合模型, 如表7所示使用SPA+颜色和CARS+颜色特征建立的PLS-DA模型测试集准确率依次为91.2%、 94.2%, 使用SPA+颜色和CARS+颜色特征建立的PSO-SVM模型测试集准确率依次为92.7%、 93.3%。 进一步发现在PLS-DA和PSO-SVM模型中SPA+颜色特征建模比单一SPA特征建模分类准确率分别提高了0.4%、 4.4%, 使用CARS+颜色特征建模比单一CARS特征建模分类准确率分别提高了1.7%、 4.1%。 基于CARS+颜色特征建立的PLS-DA和PSO-SVM组合模型测试集准确率分别为94.2%、 93.3%, 综合研究显示CARS+颜色特征建模比SPA+颜色特征建模效果优异, 体现了模型性能最优化。

表6

Table 6

表6(Table 6)

表6 RGB模型提取得到的样本平均颜色特征值 Table 6 Average color features values of samples extracted by RGB model 颜色特征值 成熟度Ⅰ 成熟度Ⅱ 成熟度Ⅲ 成熟度Ⅳ 成熟度Ⅴ R分量均值 0.004 6 0.034 5 0.039 6 0.038 7 0.026 1 G分量均值 0.004 3 0.027 6 0.029 0 0.031 4 0.019 4 B分量均值 0.001 3 0.009 0 0.009 7 0.009 9 0.006 5 R分量标准差 0.021 9 0.032 1 0.041 4 0.036 2 0.035 8 G分量标准差 0.021 0 0.027 5 0.032 3 0.030 9 0.029 0 B分量标准差 0.006 5 0.009 6 0.011 2 0.010 2 0.009 9 R分量偏斜度 0.047 9 0.066 9 0.085 3 0.074 8 0.072 9 G分量偏斜度 0.046 8 0.059 0 0.068 0 0.065 7 0.060 5 B分量偏斜度 0.014 9 0.020 9 0.024 2 0.022 2 0.021 0

表6 RGB模型提取得到的样本平均颜色特征值 Table 6 Average color features values of samples extracted by RGB model

表7

Table 7

表7(Table 7)

表7 光谱特征融合颜色特征PLS-DA和PSO-SVM模型性能比较 Table 7 Performance comparison of PLS-DA and PSO-SVM models based on spectral-color features fusion 建模方法 特征名称 特征数量 分类准确率/% 参数 训练集 交叉验证集 测试集 PLS-DA SPA+颜色 35 95.0 92.6 91.2 16 CARS+颜色 37 95.2 92.8 94.2 18 PSO-SVM SPA+颜色 35 93.1 92.5 92.7 \ CARS+颜色 37 97.2 92.5 93.3 \

表7 光谱特征融合颜色特征PLS-DA和PSO-SVM模型性能比较 Table 7 Performance comparison of PLS-DA and PSO-SVM models based on spectral-color features fusion

为了进一步评估模型的性能, 表8汇总了光谱特征融合颜色特征最优模型预测集混淆矩阵, 研究结果显示成熟度Ⅴ 更容易发生误判, 主要原因是成熟度Ⅴ 早已经成熟, 且在成熟后与成熟度Ⅲ 、 Ⅳ 光谱信息和颜色特征变化差异降低。 在CARS+颜色-PLS-DA模型中将2个成熟度Ⅴ 的油茶果样本误判给了成熟度Ⅳ ; 在CARS+颜色-PSO-SVM模型中将1个成熟度Ⅴ 的油茶果样本误判给了成熟度Ⅲ , 3个成熟度Ⅴ 的油茶果样本误判给了成熟度Ⅳ 。 特征波长融合颜色特征后Kappa系数比单一特征波长分别提高了0.016 9、 0.052 4, 且CARS+颜色-PLS-DA模型Kappa系数最高, 为0.923 1, 预测集分类准确率高达94.2%, 该模型为本研究中最优模型。

表8

Table 8

表8(Table 8)

表8 光谱特征融合颜色特征最优模型预测集混淆矩阵 Table 8 Confusion matrix of the optimal model for prediction set based on spectral-color features fusion 实际类别 CARS+颜色-PLS-DA模型 CARS+颜色-PSO-SVM模型 Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅰ 25 0 0 0 0 25 0 0 0 0 Ⅱ 0 25 0 0 0 0 25 0 0 0 Ⅲ 0 0 23 2 0 0 0 22 2 1 Ⅳ 0 0 1 22 2 0 0 1 24 0 Ⅴ 0 0 0 2 18 0 0 1 3 16 灵敏度 1.00 1.00 0.92 0.88 0.90 1.00 1.00 0.88 0.96 0.80 特异度 1.00 1.00 0.99 0.96 0.98 1.00 1.00 0.98 0.95 0.99 Kappa系数 0.923 1 0.916 4

表8 光谱特征融合颜色特征最优模型预测集混淆矩阵 Table 8 Confusion matrix of the optimal model for prediction set based on spectral-color features fusion

综上说明颜色特征对光谱信息分类模型起到了增益作用, 将油茶果样本生长过程中的颜色差异性融入模型中, 使得定性分析模型更加全面、 稳健。 CARS+颜色-PLS-DA模型在识别油茶果成熟度分类无损检测技术方面具有巨大的潜力。