实验用近红外光谱采集设备为德国Bruker公司Tango近红外光谱仪, 采用积分球漫反射测量方式。 设定采集的分辨率为8 cm^-1, 样品和背景的扫描时间均为32 s。 谱区范围11 550~3 950 cm^-1, 每条光谱采集的数据点数为1 845个, 采样间距为4.119 cm^-1。 采集图像的设备为vivo iQOO Z5手机, 分辨率为6 400万像素。

实验材料为10个不同品种的黄色玉米种子, 其中一部分是黑龙江八一农垦大学农学院培育的自交系品种, 一部分购自大庆市萨中种子公司。 为了获得不同存储时间的样本数据, 将每个品种的种子分为3组, 自采购之日起半年时间内, 每隔2个月采集一组光谱和图像数据, 总共采集3次。 样本采集前剔除损伤、 变色、 形状奇异的种子。 样本的详细信息如表1所示。

表1

Table 1

表1(Table 1)

表1 实验样本信息表 Table 1 Sample information table 名称(编号) 样本数 名称(编号) 样本数 先玉335(M) 36 自交系565(J) 18 自交系567(K) 18 自交系570(L) 18 甜糯黄玉米(A) 36 金色超人(D) 18 香甜5号(E) 18 小金黄(G) 18 奶油香糯(H) 18 广甜三八(I) 18

表1 实验样本信息表 Table 1 Sample information table

实验用近红外光谱仪Tango采集颗粒状样本时, 要求样本的容量要达到量杯容量的2/3, 因此每个样本的种子数量以达到量杯的2/3为宜, 对种子的粒数没有限定。 将每个样本重复装样3次(每次装样都要将样本翻动摇匀), 每次测3条光谱取平均。 所有样本光谱采集的环境条件相同: 温度22 ℃, 相对湿度30%。 样本光谱数据采集之后, 平铺在黑色的衬垫上, 采集图像。 使用vivo iQOO Z5手机, 后置微距摄像头分辨率为200万像素, 焦距2.4 mm, 将手机固定于支架, 样本散铺在黑色的衬垫上, 相机距衬垫15 cm, 设置1倍焦距, 日光散射环境下拍摄, 种子之间互不接触为宜。 每个样本反复平铺3次, 采集3张图像, 与3条光谱数据相对应。 光谱分析、 图像分析和建模采用的软件主要使用挪威CAMO公司的UnscrambX10.3和美国MathWorks公司的Matlab R2020。

1.2.1 基于IM_BiPLS和CARS的特征波长提取

后向间隔偏最小二乘法(backward interval patrial least squares, BiPLS)是一种波长区间选择算法, 通过依次减少信息量最少或共线性变量最多的区间来获取最优区间组合。 具体步骤如下:

(1)将整个光谱区间划分为n个等宽波段。

(2)顺序从n段光谱中留出一段, 在剩下的n-1段上进行PLS回归, 建立n个子模型。

(3)用交叉验证均方根误差RMSECV值作为模型评价指标, 删除RMSECV值最小的子模型所对应的预留段, 并以该子模型为第一个基模型。

(4)在余下的n-1段光谱中再依次留出一段, 在剩下的n-2段上进行PLS建模, 可得到n-1个子模型, 删除最小的RMSECV值所对应子模型的预留段, 并取该子模型为第二个基模型。 重复上述过程, 直至剩余一个波段。

(5)比较所有基模型的RMSECV值, 最小值所对应的区间组合为最优组合。

本方法以PLS作为算法的基础, 算法的效率较高, 得到的模型精度也较高, 在光谱区间选择中应用较多^{[6, 7]}。 其难点在于区间分段数目的确定, 分段数目的大小将直接影响模型的性能。 为了找到最佳的分段数目, 本研究对BiPLS算法进行了改进。

让光谱分段数目在一个合理的范围内变化, 对于某一个分段数, 采用BiPLS找到最优光谱区间组合并计算出该组合所建立模型的RMSECV和模型的相关系数r。 设E=r/RMSECV, 以E为评价指标, E值越大说明所取区间与因变量的相关性越好, 校正集预测值与真实值之间的误差越小。 计算出所有分段数对应的E值, 最大的E值所对应的光谱区间组合为最优区间组合。 把改进后的算法称为IM_BiPLS算法。

竞争自适应重加权法(competitive adaptive reweighted sampling, CARS)的基本思想是“ 适者生存” , 逐步淘汰“ 不适应” 的变量。 该算法一般采用蒙特卡罗采样, 从校正集样本中选出一部分进行PLS建模。 通过自适应加权采样和指数衰减函数去除PLS模型中回归系数绝对值(权重)较小的点, 保留权重较大的点作为新的子集, 然后基于新的子集建立PLS模型, 经过多次计算, 选择PLS模型RMSECV最小的子集中的波长作为特征波长。 CARS广泛应用于各种变量的选择, 在光谱分析中尤其受学者们青睐^{[8, 9]}。

CARS方法既可以对无信息变量进行有效去除又可以实现共线性变量的有效压缩, 不过当待选波长数目较大时, CARS进行蒙特卡罗采样具有很大的随机性, 很难保证能够采集到所有的变量组合。 因此在CARS优选特征波长之前, 采用有效方法降低待选波长的维数十分必要。 将IM_BiPLS与CARS相结合, 在IM_BiPLS优选的波段范围内进一步实现无信息变量去除和共线性变量压缩, 以达到最终优选出针对预测目标最为关键变量的目的。

1.2.2 基于最大熵和双重区域标记的图像分割算法

图像分割是图像特征提取的基础, 图像分割方法很多, 每种方法都有各自的优劣, 适用的情况也不尽相同。 为了实现群体种子图像中每个种子区域的准确分割, 提出一种基于最大熵和双重区域标记的图像分割算法。

基于最大熵的图像二值分割本质上是基于阈值的图像分割, 当目标和背景的平均熵之和为最大时, 可以从图像中获得最大信息量, 以此时的分割阈值为最佳阈值^[10]。

图像二值分割后, 得到所有种子的二值区域, 为了得到单粒种子的二值图像, 需要进行区域标记。 采用像素标记法进行区域标记, 将二值图像中所有的像素值为255的连通区域用编号标记出来。 除了种子区域, 图像中面积较小的杂质区域或滤波去除不掉的噪声区域也同样会作为区域被标记, 区域分割时会将它们也分割出来。 因此在分割出种子区域之前, 需要将这些区域去除。 采用双重区域标记的方法以达到去除这部分区域获取单粒种子区域的目的。 首先进行第一次区域标记, 计算每个标记区域的面积; 将面积小于某个阈值的区域标号记录下来, 使用函数去除这部分区域。 然后进行第二次区域标记, 以每个标记的区域为模板与原图按位相与, 就得到单粒种子的RGB图像, 为后续的单粒种子特征提取做准备。

10个品种的玉米种子样本共采集216条NIR光谱数据, 原始光谱如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 原始光谱Fig.1 Raw spectrum

样本的测量光谱中除了包含真实信息还包括与仪器响应、 测试条件和光的散射等有关的背景信息。 这些信息导致了光谱噪声和基线漂移, 会对模型的预测性能和稳健性产生或大或小的影响。 因此, 在建立种子品种分类检测模型之前, 进行光谱预处理十分必要。 为了选择最适合的预处理方法, 首先使用高斯滤波(guassian filter, GS)、 卷积平滑(savitzky-golay, SG)平滑、 多元散射校正(multiplicative scatter correction, MSC)、 标准正态变量变换(standard normal variate, SNV)方法及其组合对原始光谱进行预处理。 然后使用Kennard-Stone(KS)法将预处理后的样本光谱按4:1:1划分为训练集、 验证集和测试集, 建立全谱BP预测模型, 根据模型性能确定模型所采用的预处理方法。 不同预处理方法建模的结果如表2所示。

表2

Table 2

表2(Table 2)

表2 不同预处理方法的BP全谱模型建模结果 Table 2 Results of BP full spectrum prediction model with different pretreatment methods 预处理 方法 训练集 验证集 测试集 准确率 /% 交叉熵 准确率 /% 交叉熵 准确率 /% 交叉熵 无 72.4 1.641 5 68.2 4.708 9 65.1 4.696 4 GS 68.42 1.629 4 65.62 4.653 9 62.50 4.647 3 SG 70.39 1.196 8 59.38 3.440 5 56.25 3.414 9 MSC 80.26 0.025 1 78.13 3.824 2 75.00 4.168 3 SNV 79.61 1.559 3 71.88 4.363 4 78.13 4.313 7 GS-MSC 82.89 1.265 8 78.13 5.308 8 75.00 5.240 9 GS-SNV 80.92 1.470 1 78.13 4.094 3 71.87 4.083 8 SG-MSC 84.21 1.586 6 81.25 4.180 1 78.13 4.071 7 SG-SNV 82.89 1.377 0 78.13 4.982 3 71.87 3.721 1

表2 不同预处理方法的BP全谱模型建模结果 Table 2 Results of BP full spectrum prediction model with different pretreatment methods

由表2可知, SG平滑消除随机噪声的效果较GS好, MSC消除样品颗粒大小和表面散射光的影响优于SNV, 组合预处理方法SG-MSC的模型表现最优, 训练集的准确率达到84.21%, 验证集的准确率达到81.25%, 测试集的准确率为78.13%。 组合预处理之后的光谱如图2所示, 与原始光谱相比吸光度范围减小, 吸收峰的位置更加清晰。 在波长4 016、 4 745、 5 166、 5 648、 6 854和8 309 cm^-1处有6个的吸收峰。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 SG-MSC预处理之后的光谱曲线Fig.2 Spectral curve after SG-MSG pretreatment

对216个经过SG-MSC预处理之后的NIR光谱进行IM_BiPLS特征光谱区间选择, 自变量为216× 1 845的光谱矩阵, 因变量为216× 1的分类值矩阵(设10个品种玉米种子的类别值为1, 2, …, 10)。 将光谱区域分成n段, 令n从10变化到80, 为了提高算法效率, 让n的变化粒度为5, 即n=10, 15, 20, …, 75, 80。 以E=r/RMSECV作为评价指标, 当E最大时所对应的分段间隔为最优间隔, 所选出的区间组合为最优区间。 以n为自变量, r、 RMSECV、 E为因变量绘制模型性能随分段区间数变化曲线, 如图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 IM_BiPLS分段数选择曲线Fig.3 Segment number selection curve of IM_BiPLS

从图中可以看出, 当分段数为50时, 评价指标E达到最大值1.45。 区间选择的过程如表3所示。

表3

Table 3

表3(Table 3)

表3 分段数为50时BiPLS区间选择过程 Table 3 Bipls interval selection process when the number of segment is 50 编号 剔除的 区间 RMSECV 变量 数 编号 剔除的 区间 RMSECV 变量 数 50 47 0.933 6 1 845 25 2 0.718 3 921 49 42 0.911 4 1 809 24 18 0.697 1 884 48 45 0.892 7 1 772 23 34 0.683 9 847 47 20 0.871 8 1 735 22 24 0.672 9 810 46 22 0.856 7 1 698 21 29 0.669 8 773 45 43 0.846 5 1 661 20 8 0.671 5 736 44 19 0.813 4 1 624 19 6 0.686 4 699 43 37 0.799 0 1 587 18 32 0.702 1 662 42 1 0.784 2 1 550 17 33 0.719 8 625 41 36 0.776 0 1 513 16 49 0.726 7 588 40 27 0.768 2 1 476 15 9 0.744 5 552 39 16 0.757 9 1 439 14 23 0.781 3 515 38 13 0.752 4 1 402 13 12 0.783 4 478 37 17 0.748 4 1 365 12 10 0.745 3 441 36 4 0.743 5 1 328 11 11 0.801 1 404 35 30 0.741 2 1 291 10 46 0.749 0 367 34 31 0.738 6 1 254 9 14 0.753 3 331 33 35 0.730 6 1 217 8 48 0.776 1 294 32 15 0.723 4 1 180 72 6 0.804 6 258 31 5 0.720 7 1 143 64 1 0.860 0 221 30 39 0.719 5 1 106 54 4 0.893 8 184 29 7 0.718 3 1 069 44 0 0.997 2 147 28 25 0.718 7 1 032 32 8 1.066 5 110 27 3 0.720 9 995 2 50 1.289 1 73 26 21 0.724 0 958 1 38 2.009 9 37

表3 分段数为50时BiPLS区间选择过程 Table 3 Bipls interval selection process when the number of segment is 50

当剔除第29个区间后, 剩余区间组合的RMSECV达到最小值0.669 8, 此时优选出的间隔号组合为[8 6 32 33 49 9 23 12 10 11 46 14 48 26 41 44 40 28 50 38], 优选出变量数736个。 所选区间对应波段如图4(a)所示, 使用此波段组合建立PLS预测模型的预测结果如图4(b)所示。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 分段数为50时IM_BiPLS所选区间(a)及PLS预测的结果(b)Fig.4 Selected sections (a) by IM_BiPLS when the number of segment is 50 and results of PLS prediction (b)

不同玉米品种的蛋白质含量、 脂肪含量、 碳水化合物等含量具有品种间差异, 可以通过这些有机成分的C— H、 N— H和O— H等含氢基团的吸收强度差异体现出来。 如图4(a)所示, 48、 49、 50三个间隔对应的波长在4 000~4 387 cm^-1, 46对应的是4 531~4 684 cm^-1, 44对应的是4 836~4 984 cm^-1, 这部分波长对应脂肪的C— H键第一组合频和蛋白质中氨基酸亚甲基一级倍频的吸收范围; 40、 41对应的是5 293~5 590 cm^-1, 38对应的是5 742~5 895 cm^-1, 这部分波长对应玉米蛋白质N— H基团及淀粉O— H基团的合频吸收范围; 32、 33对应的是6 508~6 817 cm^-1, 这部分波长对应玉米蛋白质N— H键伸缩振动的一级倍频; 28、 26对应的是7 279~7 423和7 575~7 732 cm^-1, 这部分波长对应脂肪C— H键第二组合频吸收区域; 14对应的是9 408~9 557 cm^-1, 蛋白质中氨基酸亚甲基组合频对应的吸收波段; 8— 12对应的是9 713~10 470 cm^-1, 这部分波长对应淀粉甲基C— H基团三级倍频及组合频的吸收谱带。 水分子O— H键的两个特征谱带(组合频5 154 cm^-1和伸缩振动的一级倍频6 944 cm^-1)都被排除在特征波段之外, 分析认为种子的水分含量不仅不是品种的显著性标志而且是干扰因素。 区间6所对应的是10 630~10 780 cm^-1, 是蛋白质中氨基酸亚甲基C— H键三级倍频的吸收波段。

综上所述, IM_BiPLS优选得到的特征波长分布与玉米种子生化物质构成有着高度的一致性, 具有明显的物理意义, 可以体现不同玉米品种之间的生化差异, 实现光谱数据的大幅度降维, 是一种有效的基于变量区间的光谱特征变量选择方法。

IM_BiPLS优选出了由736个变量构成的特征波段组合, 其中仍然包含一些无信息变量和一些共线性变量。 一方面, 这些变量会增加模型输入维度, 加大模型训练时间。 另一方面, 无信息变量对光谱分析没有积极作用, 会降低模型的预测精度; 共线性会影响模型的稳定性。 采用CARS对IM_BiPLS优选出的波段进行特征波长优选。 设置CARS的采样次数为300, 交叉验证的折数为10折, 重采样率设为0.8。 变量的选择过程如图5所示。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 CARS变量选择过程Fig.5 CARS variable selection process

当迭代次数为164时, 取得最小RMSECV值为0.510 8, 优选出变量29个。 在IM_BiPLS优选出的波段重构曲线上显示出这29个变量的位置, 如图6所示。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 CARS选出的特征波长Fig.6 Characteristic wavelength selected by CARS

经过CARS特征优选, 从736个波长中优选出29个特征波长, 去除了无信息变量和冗余变量, 极大地降低了模型输入的维数。 从图6可以看出, CARS几乎从IM_BiPLS所选出的20个区间的每个区间中都提取到了1特征波长, 个别区间提取2~3个特征波长, 也反过来验证了IM_BiPLS所选区间的正确性。

为了最大化地保留种子图像的有用信息, 采用最大熵法对原始图像进行二值分割。 以J(1)(自交系565的第一个样本)样本为例, 样本的原始图像和分割后的图像如图7所示。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 原始图像(a)和最大熵二值分割图像(b)Fig.7 Original image (a) and maximum entropy binary segmentation image (b)

从图7中可以看出, 使用最大熵法保留了大量信息, 籽粒图像中灰度值较低的部分也被完整的分割出来, 但黑色衬垫的纹理反光信息、 小面积的杂质区域也被保留下来, 表现为白点块状区域。 采用双重区域标记的方法清理区域, 并对清理之后的二值图像进行区域标记, 计算种子区域的最小外接矩形, 结果如图8所示。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 区域清理结果(a)和种子区域最小外接矩形(b)Fig.8 Region cleanup result (a) and seed region minimum circumscribed rectangle (b)

取出每粒种子的区域并以之为模板与原图按位相与, 得到单粒种子的RGB图像。 为了消除种子边缘可能存在的误差, 在最小外接矩形的长和宽的基础上增加4个值为0的像素, 分割出第一个区域对应的玉米种子的二值图像和彩色图像如图9所示。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 单粒种子二值模板(a)和单粒种子的彩色图像(b)Fig.9 Single seed binary template (a) and color image of single seed (b)

从J(1)图像分割出来的单粒玉米种子图像文件如图10所示。 由于种子大小不一, 分割出来的单粒种子图像大小也各不相同。 得到单粒种子的图像之后, 计算其形态特征、 纹理特征和颜色特征。 然后对一个图像样本中所有种子的特征数据统计求平均作为该样本的图像特征。 采用的特征有: 面积、 周长、 圆形度、 中心距(7个矩)、 灰度共生矩阵(4个属性)、 局部二元模式(local binary pattern, lbp)特征(10个)、 颜色特征(9个), 总计33个特征。 由于中心距中ϕ ₄-ϕ ₇的数值数量级小于10^-5, 可以近似为0, 因此将其去除, 最终用于建模的特征为29个。 这29个特征的数量级差异较大在建模之前对其归一化。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 样本J(1)分割生成的种子文件Fig.10 Seed files generated by sample J(1) segmentation

为了进一步降低特征维数, 使用CARS对这29个特征进行优选, 去除共线性和冗余特征。 设置CARS的采样次数为150, 交叉验证的折数为10折, 重采样率为0.8。 变量的选择过程如图11所示, 当迭代次数为4时, 取得最小RMSECV值为1.743 78, 优选出变量11个, 分别为面积、 周长、 lbp3、 lbp4、 lbp6、 lbp8、 颜色矩b1、 颜色矩g1、 颜色矩r2、 颜色矩g2和颜色矩b2。

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 CARS图像特征优选Fig.11 Image feature optimization by CARS

BP神经网络不仅具有非线性映射能力、 自适应能力、 泛化能力和较强的容错能力, 还因其采用并行计算的方式具有较高的处理速度, 被广泛应用于农作物品种识别^{[11, 12]}。 分别以IM_BiPLS提取的光谱特征波段、 IM_BiPLS-CARS优选的特征波长、 图像特征(Image)、 CARS提取的图像特征(Image-CARS)以及IM_BiPLS-CARS优选的特征波长叠加CARS提取的图像特征(Compound)为输入, 以样本对应的类别为输出, 建立BP模型。 各模型建立前, 首先将输入数据归一化; 然后采用随机样本分配的方式, 设定训练集、 验证集和测试集之比为3:1:1, 样本数分别为130、 43和43。 隐层采用sigmoid激活函数, 输出层采用softmax损失函数, 训练算法采用比例共轭梯度反向传播算法, 最大迭代次数设为1 000。 模型的最佳隐层节点数根据经验公式和数据实测综合确定, 所依据的经验公式为

m=n+l+α(1)

式(1)中, m为隐层节点数; n为输入层节点数; l为输出层节点数; α 为1~10之间的常数, 本研究中统一取4。

从表4可以看出, Compound-BP模型的性能最佳, 训练准确率和验证准确率均为100%, 测试准确率为97.7%。 Compound-BP模型的最佳验证表现如图12所示, 当迭代次数为48时, 其最佳验证交叉熵为0.004 545 1。

表4

Table 4

表4(Table 4)

表4 模型性能对比 Table 4 Comparison of model performance 模型名称 节点数 训练集 验证集 测试集 最佳验证 交叉熵 输入 隐层 输出 准确率/% 交叉熵 准确率/% 交叉熵 准确率/% 交叉熵 IM_BiPLS-BP 736 31 10 96.9 3.727 1 90.7 7.622 7 90.7 7.613 3 0.035 008 IM_BiPLS-CARS-BP 29 10 10 97.7 2.644 4 93.1 5.402 4 93.1 5.381 5 0.031 311 Image-BP 29 10 10 97.7 2.369 1 93.1 4.989 9 93.1 4.931 2 0.033 343 Image-CARS-BP 11 8 10 95.4 2.772 4 93.1 5.777 6 90.7 5.757 4 0.025 974 Compound-BP 40 11 10 100 5.010 3 100 10.392 6 97.7 10.426 0 0.000 454 51

表4 模型性能对比 Table 4 Comparison of model performance

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 Compound-BP模型的最佳验证表现Fig.12 Best validation performance of Compound-BP