在同一天内采摘外皮光滑, 纹理清晰, 成熟的西瓜总计307个, 分别包含正常的西瓜150个、 空心西瓜157个, 单果重约1.3~2.5 kg, 果皮厚度约5 mm, 西瓜样本全部采自北京市, 品种为L600。

近红外光谱是一种快速、 无损及高效的检测技术。 采集方式主要包含漫反射、 漫透射以及全透射三种, 由于西瓜瓜皮较厚, 体积较大, 光谱采集采用全投射的方式, 能够获得较丰富的西瓜内部信息, 有研究表明, 光谱采用全透射进行水果内部品质无损检测的分选效果较好^[9]。

实验采用自主研发的全透射近红外光谱在线检测装置(OnlineNIR)如图1, 该装置主要由传送单元(使西瓜以恒定速度移动)、 西瓜自由果托(保护西瓜, 使西瓜以相同姿势移动)、 暗箱(防止外界光线的影响)、 卤素灯(FUJI, JCR, 15 V, 150 W, 光源)、 高灵敏度光谱仪(充分采集光谱信息)、 光电传感器(确定西瓜传送位置, 控制光谱仪开关)以及控制整个系统的工业计算机。 整个光谱采集系统的积分时间为10 ms。 该系统可以在快速运动条件下, 采集整个西瓜不同部位的全透射光谱。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 西瓜光谱采集以及光谱采集设备Fig.1 Watermelon spectral collection and spectral collection equipment

采集具体步骤:

(1) 将每个西瓜以西瓜轴线与传送带所在平面平行的姿势放在西瓜自由果托上, 果托通过传送带的带动, 西瓜始终以0.5 m· s^-1的速度前进。

(2) 西瓜进入光箱后, 遮光帘遮蔽箱外光线, 光箱中一端光源照射西瓜, 另一端光谱仪接收透射出来的包含西瓜内部信息的光谱, 由于西瓜以相同速度前进, 光谱仪接收西瓜不同部位的全透射光谱信息。

采摘当天, 在实验室进行编号, 将所有西瓜在采集近红外光谱[见图2(a)], 进行空心瓜验证, 将空心西瓜组一一沿西瓜赤道面切除, 如图2(b)为西瓜空心, 验证空心瓜个数, 此次样本总计标记157个空心西瓜样本, 将西瓜随机按照7∶ 3的比例进行训练集和测试集的划分。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 两种西瓜瓜心图片 (a): 正常西瓜; (b): 空心西瓜Fig.2 Two pictures of watermelon hearts (a): Normal watermelon; (b): Hollow watermelon

2.1.1 支持向量机(SVM)

分类模型采用支持向量机(support vector machines, SVM), 是一种二分类模型, 适用本西瓜空心与否的鉴别, SVM基本原理通过寻找到一个分离超平面, 将训练数据集与此平面能够保证最大的几何间距, 进而能够正确划分数据集。

采用的核函数为径向基函数(radial basis function kernel, RBF Kernel), 其应用范围广, 参数少, 其中, SVM中的参数c为惩罚系数, 适当的c值能提高整体模型的泛化能力。 gamma(以下简称g值)是RBF中自带的参数, 控制了支持向量的辐射范围。 c值为128, g值为0.004 5。

2.1.2 偏最小二乘判别(PLSDA)

采用偏最小二乘判别(partial least squares linear discriminant analysis, PLSDA)是一种有监督的基于PLS回归分析的判别分类方法^[10], 潜变量数为8。

2.1.3 一维卷积神经网络(1D-CNN)

卷积神经网络(convolutional neural network, CNN)分为一维卷积、 二维卷积和三维卷积, 采用一维卷积神经网络(one-dimensional convolutional neural network, 1D-CNN), 网络结构见表1, 网络包含六个卷积层(convolutional layer)主要提取特征光谱; 三个最大池化层(max Pool)进一步提取特征光谱, 降低维度, 防止过拟合; 两个批归一化层(batch Normalization)主要加速模型训练, 提高模型泛化能力; 2个全连接层(fully-connected layer)主要作用为整合局部特征到全局特征。

表1

Table 1

表1(Table 1)

表1 1D-CNN网络参数 Table 1 1D-CNN network parameters 网络结构 网络参数 输入层 西瓜近红外光谱数据 卷积层C1 Filters=16, kernel size=1× 20, Relu激活函数 卷积层C2 Filters=16, kernel size=1× 10, Relu激活函数 批归一化层b1 num_features=16 最大池化层S1 Kernel size=1× 3 卷积层C3 Filters=16, kernel size=1× 3, Relu激活函数 卷积层C4 Filters=16, kernel size=1× 3, Relu激活函数 批归一化层b2 num_features=16 最大池化层S2 Kernel size=1× 3 卷积层C5 Filters=16, kernel size=1× 3, Relu激活函数 卷积层C6 Filters=16, kernel size=1× 3, Relu激活函数 最大池化层S3 Kernel size=1× 3 全连接层1 Relu激活函数 全连接层2 Linear激活函数

表1 1D-CNN网络参数 Table 1 1D-CNN network parameters

采用SVM、 PLSDA以及1D-CNN分别建模, 三种方法均采用准确率(Accuracy)进行评估, 其中SVM和PLSDA采用百分制计算模型准确率, 越接近100%模型分类效果越好, 而1D-CNN模型准确率越接近1模型分类效果越好, 损失函数越接近0, 模型性能越好^[6]。 使用MATLAB R2023b软件以及采用python语言, 采用pytorch框架建立一维卷积神经网络模型。

采集到的西瓜原始光谱存在大量无用信息, 这些信息一般是由杂散光以及随机噪声等产生, 通过对原始光谱进行预处理可以减少这些无用信息对模型造成的干扰。 选择预处理方法分别多元散射矫正(multiplicative scatter correction, MSC), 能够减少光散射带来的不良干扰; 卷积平滑(Savitzky-Golay smoothing, SGS), 降低原始光谱中噪声的干扰^[11], 平滑窗口为11, 拟合二次多项式。

当光源的光线从西瓜的一端通过透射的方式穿过另一端西瓜内部物质所含CH、 NH和OH基团的振动形成合频和倍频^[12], 穿透出的光线包含西瓜内部的重要信息, 穿透西瓜的光线被光线传感器接收, 形成近红外光谱。 由图3可以看出正常西瓜和空心瓜光谱特征基本一致, 但是光谱吸收强度不同。 由于波长范围在557~700 nm中光谱强度较低, 且包含大量的无用信息, 因此选择波长范围在700~1 100 nm的近红外光谱数据进行分析。 其中光谱在860~950 nm的吸收峰为C— H基团的三级倍频的吸收峰, 在970~990 nm的吸收峰为O— H基团的二级倍频的吸收峰。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 两种内部状态的西瓜样本平均光谱Fig.3 Average spectra of watermelon samples with two internal states

空心西瓜主要由于膨大时期缺水, 营养供给不足等情况^[13], 相邻薄壁细胞破裂, 形成空洞。 根据西瓜空心主要集中在西瓜中心部位的特性, 通过对近红外光谱进行区域分割处理, 对分割后的光谱进行适当加权处理, 通过缩小光谱中无用信息的影响力, 放大有用信息的影响力, 提高整体光谱的质量, 进而提高整体分类模型筛选的准确率, 此方法将作为一种新的预处理方法进行研究。

2.5.1 光谱分割处理

采集完整的近红外光谱后, 由于前后的光谱大多由水果边缘散射形成, 本身涉及的水果内部信息就少, 又掺杂了大量无关的表皮散射干扰、 前后水果散射干扰、 光箱内壁散射干扰等, 且强度高, 容易饱和、 变形, 不适合用于分析, 因此将光谱去除前后两条光谱, 并将剩余光谱分为三部分, 如图4。 分别定义为顶部光谱, 赤道光谱和底部光谱。 图4(a, b, c)分别显示出顶部光谱和底部光谱的强度高, 赤道光谱强度较低, 这是因西瓜的形状是椭圆形, 赤道部分维度大, 透射出的光强度低, 瓜蒂和瓜脐方向维度小, 投射出光强度高。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 光谱区域分割演示图 (a): 顶部光谱; (b): 赤道光谱; (c): 底部光谱Fig.4 Demonstration of spectral regional segmentation (a): Top spectrum; (b): Equatorial spectrum; (c): Bottom spectrum

光谱区域分割是从顶部和底部光谱同时向赤道进行分割, 单侧区域分割比例从0%, 依次递增10%, 直至增加到50%, 共包含6组不同方案进行分析。 顶部光谱和底部光谱分割比例相同, 则赤道光谱分割比例=100%-顶部光谱分割比例-底部光谱分割比例。

2.5.2 光谱的权重处理

光谱区域分割完毕, 分别对顶部光谱, 底部光谱以及赤道光谱进行赋予权重系数。 首先对分割后的三部分光谱进行平均处理, 得出顶部、 底部及赤道部分平均光谱, 再对顶部光谱进赋予权重, 底部光谱与顶部光谱赋予相同权重系数, 赤道光谱权重=1-顶部光谱权重-底部光谱权重。 赋予权重系数从0%, 依次递增3%, 直至增加到45%, 此方案包含共16组不同权重系数进行分析。

3.1.1 验证光谱分割对分类模型精度的影响

西瓜的空心部位主要集中在瓜体中心, 赤道光谱信息应该包含更多的西瓜瓜心信息。 验证在同一权重赋值条件下, 集中分析光谱分割在影响空心瓜分类模型中的可行性。 选择权重系数分别为: 0, 100%, 0。 理想状态下, 由于光谱分割是从西瓜两端向中间逐渐分割, 导致两端光谱数量逐渐增多, 其中两端光谱含有非空心信息较多, 与权重系数相乘, 顶部光谱和底部光谱数据为0, 含有较多的空心信息被保留, 使整体分类模型预测能力升高。 当赤道光谱分割数量过少时, 大量空心信息被划分到两端光谱, 导致大量的空心信息流失, 整体分类模型的预测能力下降。 反映到准确率曲线应是先上升后下降的趋势。

实际每个西瓜空心的空间大小不一, 形状各不相同, 因此每个空心西瓜样本的近红外光谱包含的空心信息不同, 按照同一批次西瓜进行研究, 探究适合整批西瓜的最优光谱分割比例。 在每种光谱分割方案基础上, 进行赋予权重, 分别建立SVM和PLSDA的西瓜空心分类模型。 如图5所示, 随着光谱区域分割比例越来越大, 光谱中的空心信息凸显, 模型预测能力升高, 随着分割比例进一步增加, 西瓜中心光谱所含空心信息逐渐减少, 分类模型预测能力随之降低。 光谱区域分割比例为10%时, 基于SVM建立的分类模型准确率最高达到96.74%, 光谱区域分割比例为20%时, 基于PLSDA建立的分类模型准确率最高达到92.39%。 两种算法建立模型准确率均先上升后下降, 验证了光谱区域分割在空心西瓜分类模型中的可行性。 10%和20%分别为SVM和PLSDA模型的最佳光谱区域分割比例。 两种算法筛选的分割比例不同, 可能是由于两种算法原理不同, 导致光谱区域分割比例略有不同。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 光谱区域分割准确率趋势图Fig.5 Trend chart of spectral region segmentation accuracy

3.1.2 确定最优权重系数

确认最优光谱区域分割比例, 即表示确定了本批次西瓜空心状态的最优综合位置, 因此确定最优权重系数。 每种光谱区域分方案的权重赋予方案相同, 权重系数仅对分割后的光谱进行改变, 只需要分别在光谱分割比例为10%和20%的基础上在各自分类模型中寻找最佳权重系数。

理想状态下, 赤道光谱包含了大量的瓜心信息, 随着赤道权重系数越来越小, 分类模型预测能力越来越低, 图6为权重系数准确率, 总体趋势满足此规律, 但是细分到每个权重系数下的分类模型准确率趋势并不完全遵循此规律, 可能因每个样本的近红外光谱都进行相同分割, 而由于每个西瓜的瓜心信息不同, 西瓜空心形状、 大小和位置各不相同, 分割出的光谱含有空心信息各不相同, 某些样本分割出的顶部光谱和底部光谱包含空心信息, 某些样本分割出的顶部光谱和底部光谱包含非空心信息, 赤道光谱情况相同, 顶部光谱和底部光谱经过权重赋值后, 某些样本空心信息影响力被放大, 非空心信息影响力同样被放大, 在权重赋值后非空心信息综合影响力大于空心信息综合影响力, 在这些信息的综合影响下, 准确率趋势并没有完全满足理想状态下的情况, 但总体符合此规律。 当权重系数达到最优值, 此值即为本批样本最佳权重系数, 分类模型准确率达到最大值。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 权重系数准确率趋势图Fig.6 Trend chart of weight coefficient accuracy

如图6所示, 分割后的顶部光谱和底部光谱赋予0%的权重时, SVM和PLSDA的空心瓜分类模型准确率达到最大值。

以上确定最优光谱区域分比例分别为10%(SVM)和20%(PLSDA), 权重系数都为0, 获取权重光谱, 图7(a, b, c)分别显示了原始光谱, 以及通过SVM和PLSDA挑选出的权重光谱。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 原始光谱与权重光谱图片 (a): 原始光谱; (b): PLSDA权重光谱; (c): SVM权重光谱Fig.7 Original and weighted spectral images (a): Original spectrum; (b): PLSDA weighted spectrum; (c): SVM weighted spectrum

表2为两种模型与不同预处理方法的结果, SVM分类模型整体效果比PLSDA模型更好, 通过原始光谱建立的SVM模型效果比PLSDA模型效果高10.87%。 经过SGS平滑和MSC后的光谱通过PLSDA建立分类模型的效果比原始光谱建立的模型效果好, 而通过SVM建立的模型并没有提升, 甚至通过MSC处理后降低了模型效果。 说明预处理虽然可以减少相应的干扰, 而相同的预处理方法在不同模型中的效果有很大差异。 通过光谱区域分革和权重处理后的光谱在模型中表现最好, 模型准确率最高达到96.74%, 相比原始光谱建立的模型, 通过SVM建立模型提升超过7%, 而PLSDA建立的模型提升超过14%, 说明此处理方法有效且效果显著, 并且相比其他两种预处理方法, 不受模型种类的影响。 通过SVM挑选出的权重光谱质量高于PLSDA挑选出的结果。

表2

Table 2

表2(Table 2)

表2 SVM和PLSDA模型预测结果 Table 2 Prediction results of SVM and PLSDA models 原始光谱 权重光谱 SGS MSC SVM 89.13% 96.74% 89.13% 85.87% PLSDA 78.26% 92.39% 80.43% 80.43%

表2 SVM和PLSDA模型预测结果 Table 2 Prediction results of SVM and PLSDA models

3.3 1D-CNN建立空心瓜分类模型

1D-CNN能够在光谱中自动学习物质和状态的关键特征, 尤其是在卷积层时会自动提取光谱特征, 相比传统机器学习方法, 研究人员还需要手动对光谱进行预处理和特征波段的筛选。 图8为本次建立空心瓜分类模型1D-CNN的网络结构图。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 1D-CNN网络结构图Fig.8 1D-CNN network structure diagram

研究结果显示, 相同的预处理方法应用在不同模型所产生的效果往往会有较大差异, 甚至并不能提高模型的效果, 还可能产生相反的效果, 但是权重光谱不受模型不同的影响, 并且权重光谱是对原始光谱赋予适当权重系数, 放大有利于模型效果的信息, 本工作主要探究赋予权重的光谱在1D-CNN中的效果, 权重光谱来自基于SVM与PLSDA模型挑选出。

图9显示了损失率与模型分类的准确率, 其中, 图9(a)显示了通过原始光谱建立的1D-CNN分类模型, 准确率高达95.70%, 相比通过SVM建立的模型效果至少高6%以上, 而比PLSDA准确率高于17%, 与基于这两种算法并在预处理后光谱建立的模型相比, 1D-CNN效果仍然更好, PLSDA和SVM是一种常规的机器学习模型, 而1D-CNN对特征又进行了蒸馏提取, 并且在近红外光谱数据中能够准确获取特征和关键信息。 图9(b)是通过PLSDA模型挑选出的权重光谱建立的1D-CNN模型, 准确率达到了96.77%, 相比原始光谱建立的1D-CNN模型略高, 相比权重光谱通过PLSDA算法建立的模型超过4%, 图9(c)是通过SVM模型挑选出的权重光谱建立的1D-CNN模型, 准确率达到98.92%, 相比原始光谱建立的1D-CNN模型超过3%, 相比权重光谱通过SVM算法建立的模型超过2%, 上述表明, 权重光谱在1D-CNN模型仍然有效, 1D-CNN模型效果比传统机器学习建立的模型效果更好。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 1D-CNN损失率与准确率图 (a): 原始光谱; (b): PLSDA权重光谱; (c): SVM权重光谱Fig.9 1D-CNN loss rate and accuracy chart (a): Original spectrum; (b): PLSDA weighted spectrum; (c): SVM weighted spectrum