研究对象为5种不同品种的玉米种子, 对其采集近红外光谱数据后分别使用多元散射校正(multiplicative scatter correction, MSC)、 标准正态变量变换(standard normal variate, SNV)、 平滑滤波(savitzky-golay, SG)、 归一化(normalization)四种方法进行光谱数据预处理, 并建立KELM模型, 找出效果最佳的预处理算法用于实验建模。 分别引入PSO、 GWO、 NGO三种群体智能优化算法对模型进行参数寻优, 并在此基础上加入竞争性自适应重加权采样法(competitive adaptive reweighted sampling, CARS)对建模数据降维, 从而探讨数据维度对模型性能的影响。 最终实现对不同品种玉米的准确鉴别。

1.1.1 相关原理

多元散射校正(multiplicative scatter correction, MSC)可以有效消除由于散射水平不同带来的光谱差异, 增强光谱与数据之间的相关性。 该方法通过理想光谱修正光谱数据的基线平移和偏移现象。 MSC步骤如下: (1)求得所有光谱数据的平均值作为理想光谱; (2)将每个样本的光谱与平均光谱进行一元线性回归, 求解最小二乘问题得到每个样本的基线平移量和偏移量; (3)对每个样本的光谱进行校正: 减去求得的基线平移量后除以偏移量, 得到校正后的光谱。

标准正态变量变换(standard normal variate, SNV)用于消除光谱数据中的系统性偏移和尺度缩放效应, 其原理是对每个光谱数据点进行均值中心化和标准差归一化。 SNV步骤如下: (1)对每个光谱数据点进行均值中心化, 即该光谱数据点减去平均值; (2)对每个光谱数据进行标准差归一化, 即该光谱数据点除标准差; (3)处理后的光谱重构成为一个新的光谱矩阵。

平滑滤波(Savitzky-Golay, SG)是一种数字滤波器, 可以应用于一组数据, 从而平滑数据。 其原理是通过卷积的过程实现在不改变信号趋势和宽度的情况下提高数据的精度。 即通过线性最小二乘法将相邻数据点的连续子集与一个低次多项式拟合。

归一化(normalization)是将数据映射到指定的范围内进行处理, 用于去除不同维度数据的量纲以及量纲单位。 经过归一化后, 将有量纲的数据集变成纯量, 可以达到简化计算的作用。

竞争性自适应重加权采样法(competitive adaptive reweighted sampling, CARS)是一种特征提取方法, 采用全部特征建立偏最小二乘回归模型并迭代, 筛选出回归系数绝对值大的波长点, 将权重小的波长点去除后, 利用交互验证选出RMSECV值最低的子集, 该方法可有效提取光谱数据中的特征波长点。

用于实验的玉米为市购种植最为广泛的: 甜糯黄玉米、 甜妃、 昌甜、 金色超人、 香甜5号五个品种, 去除破损、 瘪粒、 矮小的玉米粒后, 每个品种选取(13± 0.5) g作为一个样品, 得到甜糯黄玉米36个、 甜妃18个、 昌甜18个、 金色超人18个、 香甜5号36个, 共计126个样品。 为了降低因湿度温度等原因对样本的影响, 将样本置于近红外光谱实验室静置20 h后进行扫描。

采样仪器为Bruker公司生产的TANGO近红外光谱仪, 测量波长为11 520~4 000 cm^-1, 分辨率为8 cm^-1。 将近红外光谱仪开机预热40 min后, 进行仪器分辨率校正, 将玉米样本置入仪器专用样品杯中, 保证样品杯底部均匀无漏光现象, 并将定制的标准白板盖在样品杯杯口, 避免因人为操作和外界环境引起的异常, 将样品杯放于仪器载物台上开始扫描样本透射率。 每个样品扫描32次后选取平均光谱作为研究样本。 将样品数据按照5: 1的比例随机分为训练集和测试集, 划分后训练集和测试集样本数据量分别为105个和21个。

1.3.1 核极限学习机

ELM是基于单隐含层前馈神经网络(single-hidden layer feedforward neural network, SLFN)提出的新学习策略, 此方法具有结构简单、 学习率高等特点, 在机器学习领域极具价值。 ELM在训练前可以随机产生输入权重和隐含层偏置, 只需要给定隐含层神经元的数量及激活函数便可获得最优解, 但输入层权值矩阵和隐含层阈值矩阵的随机性影响了模型的稳定性, 同时ELM隐含层冗余节点对数据特征共线无益, 还可能出现过拟合。 KELM是基于ELM引入核函数的改进算法, 能够在保留ELM优点的基础上通过引入核函数的方式将数据从向量空间映射至高维特征空间进行运算。 KELM计算每个样本与所有样本的相似度其不再受隐含层节点数的干扰, 提高了模型的稳定性和泛化能力。 正则化参数C和RBF核函数γ 对模型的性能起到决定性作用, C取值过大会导致模型出现过拟合; 反之会导致学习不足出现欠拟合现象。 γ 的形式和参数变化影响了输入空间到特征空间的映射, 也会对特征空间的性质产生影响。

1.3.2 北方苍鹰优化算法

KELM对正则化参数C和核函数γ 的取值十分敏感, 其性能与两个函数的关系无法用表达式描述, 只能通过多次尝试的方法来选取最优的C和γ 值。 NGO是2021年提出的一种模拟北方苍鹰捕猎过程的算法^[14], 这种行为的模拟大幅提高了算法对空间的局部搜索能力。 北方苍鹰优化算法在给定初始种群数量后所有种群成员随机选取最优区域, 并确定种群成员的新值后更新各成员值。 算法进入下一次迭代并在随机选取的最优区域中不断搜索更新每次迭代得到的最佳值, 直到最后一次迭代结束后引入迭代过程中得到的最佳解作为给定优化问题的拟最优解。 虽然最优区域的确定相当于一次全局搜索, 但能有效缩小搜索范围使算法能够以极快的速度完成寻优。

常见的群体智能优化算法有很多如PSO、 GWO, PSO的权重和偏差值更新方法容易陷入局部极值, 惯性因子值较大时, 全局寻优能力强, 局部寻优能力弱; 值较小时, 全局寻优能力弱, 局部寻优能力强。 对于GWO算法, 在一般问题的求解精度和收敛速度方面都有良好的性能, 但极容易出现早熟收敛的现象。

1.3.3 评价指标

本研究使用精确率(precision)和召回率(recall)计算F1值作为分类模型性能的评价指标, F1值是二者的综合值, F1值高则说明模型的性能强, 计算公式如式(1)所示

F1=2×precision×recallprecision+recall(1)

式(1)中, 精确率(precision)的高低代表了预测为正的样本中有多少是真正的正样本, 召回率(recall)针对总样本而言, 表示的是样本中的正例有多少被预测正确, 这二者都对F1值的高低起到决定性作用, 其计算公式如式(2)和式(3)所示, 其中TP表示将正类预测为正类的数量; FP表示将负类预测为正类的数量; FN则是将正类预测为负类的数量。

precision=TPTP+FP(2)

recall=TPTP+FN(3)

本研究采用分类准确度作为评价指标, 即模型预测正确样本的数量在全部预测样本中的占比。 并在前两项评价指标基础上绘制混淆矩阵对模型进行评价。

为了降低采样时由于颗粒分布不均匀等原因产生的散射对模型稳定性的影响, 在建模前分别采用MSC图1(a)、 SNV图1(b)、 SG图1(c), 以及NOR图1(d)对原始数据进行预处理。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 预处理后的光谱 (a): MSC; (b): SNV; (c): SG; (d): NORFig.1 Near-infrared spectra after preprocessing (a): MSC; (b): SNV; (c): SG; (d): NOR

为了选取最适合本研究的预处理方法, 将图1中的数据分别按照5: 1的比例分为训练集和测试集并建立正则化参数C和核函数γ 均为10的单一KELM模型, 根据不同预处理方法下构建模型的训练及测试集准确度来选择预处理方法, 由表1可知, 在数据经过SNV预处理后建立的KELM模型准确度较其他预处理方法准确率更高, 故本实验选择SNV对数据进行预处理。

表1

Table 1

表1(Table 1)

表1 不同预处理方法下构建KELM模型的训练及测试集结果 Table 1 Training and test set results of constructing KELM model under different preprocessing methods 预处理 方法 训练集 误判数 训练集准确 率/% 测试集 误判数 测试集准确 率/% 原始数据 7 93 5 77 MSC 10 90 3 85 SNV 5 95 2 90 SG 10 90 10 52 NOR 24 76 4 76

表1 不同预处理方法下构建KELM模型的训练及测试集结果 Table 1 Training and test set results of constructing KELM model under different preprocessing methods

对于SNV预处理后的数据, 选用五折交叉验证分别建立NGO-KELM, PSO-KELM和GWO-KELM模型, 三种优化算法的适应度曲线如图2所示, 模型参数和性能如表2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 适应度曲线Fig.2 Adaptation curve chart

表2

Table 2

表2(Table 2)

表2 不同优化算法寻优后建立KELM模型的性能 Table 2 Performance of KELM models after search by different optimization algorithms 模型 正则化 参数 C 核函数 γ 训练集 准确度 /% 训练集 F1值 /% 测试集 准确度 /% 测试集 F1值 /% NGO-KELM 668.10 59.33 99.04 98.30 100.0 100.0 PSO-KELM 10.00 4.00 98.09 96.66 85.71 83.33 GWO-KELM 1 000.0 52.20 99.04 98.24 95.23 93.33

表2 不同优化算法寻优后建立KELM模型的性能 Table 2 Performance of KELM models after search by different optimization algorithms

结果表明, NGO收敛速度和对模型参数寻优表现高于PSO和GWO, 分析认为NGO可以充分利用解函数的特征, 尽可能找到并利用解空间中的最优参数, 提高了找到新的局部最优解的可能性, 增强算法在最优值处的收敛精度, 使算法在局部最优解附近搜索, 提高在局部最优解附近的收敛精度和对局部最优解的利用能力。 由于最优位置缓慢移动, 体现出整个群体的走向, 以“ 精英反向学习策略” 使苍鹰的位置逐渐收敛成一条“ 直线” , 有效提高了收敛速度和精度。 PSO算法以最优解对于其他解的更新指引性太强、 解的更新过程中的随机性太弱, 当解集向群体最优解汇聚的时候, 导致群体最优解所在的一定范围外的空间没有机会探索。 而GWO算法面对复杂问题时收敛精度不高, 随机生成初始种群的方式无法保证较好的种群多样性, α 狼也不一定是全局最优点, 在不断的迭代中, ω 不断逼近前3匹狼, 导致GWO算法陷入局部最优解, 这都会降低模型分类准确度。

为了验证三种算法对低维数据的寻优能力, 采用CARS对原有数据进行特征筛选如图3, RMSECV最小值为43即最优迭代次数为43, 此时所对应的波长变量子集特征波长数量为102个, 因此将原有的高维玉米光谱数据降至102维。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 CARS对数据降维的参数Fig.3 Parametric plot of CARS for data dimensionality reduction

在此基础上使用三种优化算法对KELM的正则化参数C和核函数γ 进行寻优, 使用五折交叉验证识别准确率最高时的参数作为建模参数, 分别建立CARS-NGO-KELM, CARS-PSO-KELM和CARS-GWO-KELM模型, 模型性能如表3所示。 结果表明使用GWO寻优得到的正则化参数C过大, 模型出现了过拟合现象。 PSO在面对降维后的数据上对比降维前表现略有提升, 分析是因为数据维度变小, 使PSO在全局空间中搜索到最优解的概率增大。 而NGO在面对低维数据寻优问题上表现仍高于其余两种优化算法, 这是因为其种群成员在面对求解问题中会在全局随机选取最优区域后在各自的最优区域中搜索最佳值, 在数据维度变小的情况下北方苍鹰选取最佳区域更容易覆盖到全局, 从而以更快的速度完成寻优。

表3

Table 3

表3(Table 3)

表3 使用CARS降维后各模型的性能 Table 3 Performance of each model after dimensionality reduction using CARS 模型 正则化 参数 C 核函数 γ 训练集 准确度 /% 训练集 F1值 /% 测试集 准确度 /% 测试集 F1值 /% CARS-NGO-KELM 578.64 2.20 98.09 97.05 100.0 100.0 CARS-PSO-KELM 11.00 1.00 93.33 92.75 95.23 88.88 CARS-GWO-KELM 1000.0 2.81 99.04 98.46 95.23 93.33

表3 使用CARS降维后各模型的性能 Table 3 Performance of each model after dimensionality reduction using CARS

根据四种模型在测试集上的混淆矩阵[图4(a— d)]可知NGO-KELM模型和CARS-NGO-KELM模型在测试集上能够正确识别各玉米样本种类, 而CARS-PSO-KELM和CARS-GWO-KELM两种模型的分类错误均与甜糯黄玉米和香甜5号有关, 可能是由于两类样本数量多于其他样本, 在训练时出现“ 学习过度” 导致模型出现了过拟合现象。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 四种模型在测试集上的混淆矩阵 (a): NGO-KELM; (b): CARS-NGO-KELM; (c): CARS-PSO-KELM; (d): CARS-GWO-KELMFig.4 Confusion matrix for the four model test sets (a): NGO-KELM; (b): CARS-NGO-KELM; (c): CARS-PSO-KELM; (d): CARS-GWO-KELM

为了验证这一猜想, 分别将原有数据集中的甜糯黄玉米(36个样本)和香甜5号(36个样本)减少至18个, 使用剩余的90个样本数据按照5∶ 1的比例随机划分为训练集和测试集重新训练NGO-KELM、 CARS-NGO-KELM、 CARS-PSO-KELM、 CARS-GWO-KELM四种模型, 同步5种样本数量后的模型性能如表4所示。

表4

Table 4

表4(Table 4)

表4 同步样本数量后模型性能对比 Table 4 Comparison of model performance after synchronizing the number of samples 模型 正则化 参数 C 核函数 γ 训练集 准确度 /% 训练集 F1值 /% 测试集 准确度 /% 测试集 F1值 /% NGO-KELM 814.90 16.60 100.0 100.0 100.0 100.0 CARS-NGO-KELM 780.61 1.00 100.0 100.0 100.0 100.0 CARS-PSO-KELM 15.0 1.00 97.33 96.55 100.0 100.0 CARS-GWO-KELM 1000.0 9.18 98.66 96.29 100.0 100.0

表4 同步样本数量后模型性能对比 Table 4 Comparison of model performance after synchronizing the number of samples

在同步样品数量后四种模型在测试集上的识别准确率均能达到100%。 说明在每种样品数量不均衡的情况下训练模型会对模型性能产生一定的影响, 对于样本量较多的种类可能会出现过拟合现象^[15]。