试验所用玉米种子购买于种子市场, 包括郑单958、 先玉335、 京科968、 登海605和德美亚五个品种。 每个品种取200粒作为一个样本, 5个品种分别有22, 23, 63, 85和100个样本, 共计293个样本, 去除有破损、 瘪粒的样本。 将玉米样本放置于近红外光谱实验室24 h之后进行光谱扫描。

光谱采集设备是德国Bruker公司生产的TANGO品牌的近红外光谱仪, 测量波长范围为11 520~4 000 cm^-1, 测量样本的方式为漫反射和透射, 分辨率为8 cm^-1, 每个样本扫描32次取平均值作为样本的光谱数据。 将每类样本按照6:1的比例随机划分训练集和测试集, 全部293个样本最终划分为251个训练集样本和42个测试集样本。

1.2.1 支持向量机

SVM的基本思想是结构风险最小化, 通过核函数将数据从原始特征空间映射到高维特征空间, 使线性内积运算非线性化, 然后在高维特征空间建立使分类间隔最大化的最优超平面。 惩罚因子C和RBF核函数参数γ 是SVM中两个重要的参数。 惩罚因子C>0, C越大对错误分类的惩罚越大, 但容易出现过拟合; C越小则对错误分类的惩罚减小, 模型的复杂度降低, 容易出现欠拟合。 γ 决定数据映射到新特征空间后的分布, γ 越小, 支持向量越多, 模型平滑效应增大, 容易欠拟合; γ 越大, 支持向量越少, 对未知样本分类效果很差, 模型容易过拟合。 支持向量的个数影响模型训练与预测的速度, 因此在使用SVM建立判别模型时, 惩罚参数C和核函数参数γ 的选择至关重要。

1.2.2 贝叶斯优化

SVM模型参数C和γ 与模型性能之间呈现黑箱特点, 即模型的性能与参数C和γ 之间无法使用表达式描述, 只能根据通过遍历离散的自变量取值得到最优SVM模型。 贝叶斯优化^[12]是一种十分高效的全局优化算法, 主要用于机器学习调参, 贝叶斯优化是一种不需要计算导数的系统化调优算法, 采用高斯过程建立概率代理模型, 考虑之前的参数信息, 不断更新先验, 使用采集函数来确定下一个评估点, 可以在较短的时间内确定最佳参数。 概率代理模型和采集函数是贝叶斯优化算法的两个核心组件。 高斯过程是随机变量的集合, 用以代替目标优化函数。 在本研究中, 高斯过程用于优化的SVM的参数组合, 高斯过程的表达式如式(1)

f(x)~GP[m(x), k(x, x')](1)

式(1)中, 均值函数m(x)=E(f(x)), 代表样本f(x)的数学期望。 协方差函数k(x, x')=E{[f(x)-m(x)][f(x')-m(x')]}, 高斯过程根据已经搜索的点估计其他点处目标函数的均值和方差, 通过均值和方差构造采集函数, 用于决定下次迭代时的采样点位置。

常见的超参数优化算法包括网格搜索、 遗传算法, 这些算法除了非常耗时之外, 在遍历下一个离散参数时不考虑之前的参数信息, 针对非凸问题容易陷入局部最优。 而贝叶斯优化侧重于减少评估代价, 迭代次数少, 速度快, 而且考虑之前的参数信息, 针对非凸问题不易陷入局部最优。 本研究选择贝叶斯优化作为SVM模型的参数寻优算法。

贝叶斯优化算法的过程如下:

(1) 在SVM模型的C和γ 的设定搜索范围中随机选取n₀个采样点, 以十折交叉验证的平均测试准确率为目标函数f, 模型的不同参数组合作为自变量x, 构成代理模型框架, 得到目标函数的初始分布和采样点集D;

(2) 通过最大化采集函数选择下一个采样点x_t, 得到采样点函数值f(x_t);

(3) 将新的采样点[x_t, f(x_t)]添加到采样点集D中, 更新高斯过程代理模型, 使得代理模型更加贴合目标函数的分布;

(4) 设定一个最大迭代次数, 当迭代次数达到最大次数时, 停止算法迭代, 输出最优采样点以及对应的目标函数最优值, 即SVM模型的最优参数C和γ 。

1.2.3 评价指标

本研究基于混淆矩阵, 引入f₁评价指标作为模型的评价标准。 f₁评价指标的计算公式如式(2)

f1=2×recall×precisionrecall+precision(2)

式(2)中, recall和precision分别叫做查全率和查准率, 其定义如式(3)和式(4)

recall=TPTP+FN(3)

precision=TPTP+FP(4)

式(3)和式(4)中, TP为将正类预测为正类的个数; FN为将正类预测为负类的个数; FP为将负类预测为正类的个数。 查全率(recall)越高, 说明模型对正样本的识别能力越强; 查准率(precision)越高, 说明模型对负样本的区别能力越强。 f₁是两者的综合, f₁越高, 说明所建立的分类模型越稳健。 recall和precision任何一个数值减小, f₁的值都会减小。

本研究还选择识别准确率作为玉米品种判别模型的评价指标。 识别准确率是指正确预测的样本数占总预测样本数的比率, 不考虑预测的样本是正类还是负类。

为了降低光谱数据中谱带重叠、 噪声信号对建模的干扰, 在建模前需要对采集的原始光谱进行预处理。 采用标准正态变量变换(standard normal variate transformation, SNV)对光谱数据进行预处理。 SNV主要用来消除固体颗粒大小、 表面散射以及光程变化等因素对光谱数据的影响。 图1(a, b)分别为样本的原始光谱曲线和SNV处理后光谱曲线为全部玉米样本光谱数据经过SNV变换前后的光谱曲线。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 玉米种子原始近红外光谱图(a)及SNV处理后的光谱图(b)Fig.1 Original near-infrared spectra of corn seeds (a) and the spectra after SNV treatment (b)

在SNV预处理后的数据基础上, 使用10折交叉验证分别建立GS-SVM, GA-SVM和BO-SVM模型, 三种模型的参数以及性能指标如表1所示。 表1的结果表明, BO算法对SVM参数调优表现相比于GS和GA算法表现不佳, 分析认为贝叶斯优化依赖于高斯过程建立概率代理模型, 高斯过程作为一种概率分布, 是事件最终结果的分布。 高斯过程中的协方差函数k(x, x')控制采样点的探索程度, 对应于全局搜索, k(x, x')的计算依赖于已有样本的协方差矩阵。 在高维数据的情形下, 要使样本点布满整个搜索空间, 需要大量的样本, 有限的样本点在高维空间中的距离都会比较远, 数据样本稀疏, 会导致k(x, x')近乎为无效函数。 因此贝叶斯优化在高维数据中失去了其通过协方差函数进行探索的意义, 近乎于完全随机搜索, 算法不能通过采集函数进行高效的探索, 有可能导致SVM模型陷入局部最优, 模型表现不佳。 说明在高维数据寻优方面, BO算法并不是一个好的选择。

表1

Table 1

表1(Table 1)

表1 不同优化算法下的SVM模型性能对比 Table 1 Performance comparison of SVM models under different optimization algorithms 模型 惩罚 因子C 核参数 γ 训练集性能 指标/% 测试集性能 指标/% 准确率 f1 准确率 f1 GS-SVM 100.0 0.01 98.97 98.97 97.73 97.92 GA-SVM 256.0 0.003 9 98.40 98.13 97.73 97.92 BO-SVM 753.53 0.017 2 96.37 95.96 95.45 95.65

表1 不同优化算法下的SVM模型性能对比 Table 1 Performance comparison of SVM models under different optimization algorithms

光谱数据经过PCA处理后, 消除了数据特征间的共线性, 去除了数据中不重要的特征, 使得各个维度之间的数据相互正交, 降低了数据的复杂性, 并且大幅降低算法的计算开销。 为了验证PCA降维对贝叶斯优化算法的影响, 将高维度玉米近红外光谱数据利用PCA降维处理后保留10个主成分, 前10个主成分的累计贡献率达到了99.9%, 在此基础上使用贝叶斯优化, 对SVM模型参数C和γ 进行优选并建立PCA-BO-SVM模型。 采用十折交叉验证, 计算模型的平均测试准确率, 得到SVM模型的全局最优参数。 同时在PCA降维的基础上建立PCA-GS-SVM和PCA-GA-SVM两种模型, 三种模型性能参数如表2所示。 由表2可知, 对光谱数据使用PCA降维处理后, 使用GS寻优得到的SVM模型核参数γ 相比于GA以及BO算法寻得的核参数γ 较大, 模型出现轻微的过拟合, 导致在测试集上表现不佳。 对于SVM模型这样的连续型参数, GS算法无法通过遍历所有C与γ 可能参数组合去验证SVM参数空间中的所有参数, 为了得到较优的参数组合, GS算法必须加大网格搜索的密度, 加之GS算法需要进行的交叉验证次数十分惊人, 因此GS搜索方法耗费的时间成本巨大。

表2

Table 2

表2(Table 2)

表2 降维后三种模型性能指标对比 Table 2 Comparison of performance indicators of the three models after dimensionality reduction 模型 惩罚 因子C 核参数 γ 训练集性能 指标/% 测试集性能 指标/% 准确率 f1 准确率 f1 PCA-GS-SVM 80.00 0.01 98.28 98.27 95.45 95.57 PCA-GA-SVM 254.67 0.0039 97.98 97.71 97.73 97.92 PCA-BO-SVM 503.05 0.0053 99.60 99.57 100 100

表2 降维后三种模型性能指标对比 Table 2 Comparison of performance indicators of the three models after dimensionality reduction

GA算法的本质是随机性搜索, 其调参的效果依赖于采样次数, 采样次数越多, 越有可能找到模型的全局最优参数, 但随机采样点不容易落到最优参数组合上, 并且GA算法无法利用之前采样点的评估效果进行主动寻优, 寻优效率较低^[13], 寻得的参数不一定是全局最优参数。 BO算法可以在很短的时间内寻得SVM的全局最优参数, 这是因为BO算法使用采集函数, 通过采集函数, 在探索不确定区域和关注已知具有较优目标值的区域之间进行权衡, 来确定下一个评估点。 使用采集函数, 可以使模型避开许多无用采样点的评估, 准确描述出目标函数的分布, 从而高效找到模型的最优参数组合。 与PCA-GS-SVM和PCA-GA-SVM模型相比, PCA-BO-SVM模型在测试集上的准确率和f₁值均达到100%, 说明经BO算法寻优后的SVM模型惩罚因子C和核参数γ 均为全局最优参数, 模型性能优于其他两种模型。

四种模型在测试集上分类结果的混淆图如图2, 由混淆图可以看到, 图2(a)PCA-GS-SVM, 图2(b)PCA-GA-SVM和图2(c)BO-SVM三种模型的识别错误率均与郑丹958有关, 图2(d)中PCA-BO-SVM模型在测试集中均可以正确识别各类玉米样本, 识别效果优于其他三种模型。 BO-SVM模型的识别错误率与先玉335有关, 这可能是由于郑丹958和先玉335样本数量较少导致模型对该样本的训练不够, 在测试集上表现不佳所致。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 模型在光谱测试集上的混淆图 (a): PCA-GS-SVM; (b): PCA-GA-SVM; (c): BO-SVM; (d): PCA-BO-SVMFig.2 Confusion map of the model on the spectral test set (a): PCA-GS-SVM; (b): PCA-GA-SVM; (c): BO-SVM; (d): PCA-BO-SVM

为了验证这一猜想, 剔除数据集中样本数量较少的郑丹958(22个样本)和先玉335(23个样本)两类样本, 将剩余的248个玉米近红外光谱样本仍然按照6:1的比例随机划分为训练集和测试集, 使用PCA-GS-SVM, PCA-GA-SVM, BO-SVM和PCA-BO-SVM四种模型在训练集上建模, 在测试集上进行玉米种类的识别, 得到四种模型在三类玉米样本上的分类性能指标(表3)。

表3

Table 3

表3(Table 3)

表3 去除小样本后模型性能指标对比 Table 3 Comparison of model performance indicators after removing small samples 模型 惩罚 因子C 核参数 γ 训练集性能 指标/% 测试集性能 指标/% 准确率 f1 准确率 f1 PCA-GS-SVM 10.00 1.00 99.20 99.19 100.0 100.0 PCA-GA-SVM 101.92 2.02 100.0 100.0 100.0 100.0 BO-SVM 577.87 1.58 100.0 100.0 100.0 100.0 PCA-BO-SVM 387.27 1.90 100.0 100.0 100.0 100.0

表3 去除小样本后模型性能指标对比 Table 3 Comparison of model performance indicators after removing small samples

由表3可以得出, 在去掉郑丹958和先玉335两类小样本之后四种模型的训练集和测试集上的识别准确率均有显著提高, 在测试集上的识别准确率均达到100%。 说明在类间数据量不平衡的模型训练过程中, 模型对样本数据量较多的类别拟合的更好, 对该类的分类准确率较高^[14], 但模型的泛化性能较弱。 某种类别数据量越多, 对模型参数的修正就越细腻, 使模型更能刻画该类别的分布, 对该类别数据的分类效果越好。