高光谱采集系统如图1所示, 主要包括芬兰Specim公司FX10系列的图像光谱仪(SPECIM, Spectral Imaging Ltd, Finland)、 电动控制移动平台、 6盏50 W卤素灯和计算机等, 在波长范围400~1 000 nm内每隔2.62 nm采集一次图像, 共224幅图像, 一次采集六个样本的高光谱图像信息, 像素大小为1 198× 512, 通过软件ENVI 5.1(The Environment for Visualizing Images)对原图像进行裁剪, 一幅图像保留一个样本的高光谱信息, 图片的尺寸和光谱波段数为340× 220× 224。 程序处理使用集成开发工具Pycharm 2019.3.3专业版, Python 3.7.1, 开源深度学习框架Pytorch, 版本1.6.0。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 高光谱图像采集系统示意图Fig.1 Schematic diagram of hyperspectral image acquisition system

于黑龙江省哈尔滨市的家乐福超市购买水晶梨样本160个, 从中挑选形状规整、 大小均匀、 表面无明显划痕、 无腐烂的样本80个。 买回后置于实验室(22~25 ℃)中24 h, 使样本温度达到室温, 用毛巾擦去梨表面的污渍与灰尘, 排除温度、 水等其他因素的干扰。 用万能试验机以5 mm· min^-1的速度缓慢挤压使每个样本发生5 mm形变, 损伤形成前后的样本如图2所示。 采集高光谱图像时先采集无损伤样本的高光谱图像, 在形成损伤后24和48 h各采集一次高光谱图像。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 水晶梨挤压前(a)和挤压损伤后(b)图像Fig.2 Images of crystal pear before (a) and after (b) crushing

为获取清晰且不失真的高光谱图像, 设定平台移动速度5.5 mm· s^-1, 移动平台与镜头之间的距离为40 cm。 通过橡胶圈将样本固定在移动平台上, 使标记损伤部位与镜头垂直。

高光谱图像系统获取的是未经黑白校正的原始高光谱图像, 为排除光线以及暗电流等因素的干扰, 需要对原始高光谱图像进行黑白校正, 校正公式如式(1)

I=Iraw-IdarkIwhite-Idark×100%(1)

式(1)中, I是校正后的图像, I_raw是原始图像, I_white是标准白板的校正图像, I_dark是反射率接近0的暗光谱校正图像。

1.4.1 主成分分析

原始光谱提供了丰富的信息, 但各波长之间存在一定的相关性, 可能会有重叠冗余的信息, 常使用主成分分析(principal component analysis, PCA)减少各波长之间的线性相关影响, 保留下来的特征信息之间没有重复或冗余。

1.4.2 支持向量机

支持向量机(support vector machine, SVM)是基于统计学习方法提出的一种机器学习方法, 其核心思想是通过核函数将输入向量映射到一个更高维的空间, 在这个空间中寻找一个超平面, 使得超平面与各数据点之间的距离最大。 SVM适用于高维度、 小样本、 非线性等问题, 本研究中数据量少, 样本分布不明确, 所以使用SVM识别梨的早期损伤及损伤时间^[12]。

1.4.3 k-近邻算法

k近邻(k-nearest neighbor, k-NN)算法是一种简单、 有效的算法, 主要思想是在确定已知类别的样本后, 计算特征空间中未知样本与最近k个已知类别样本的距离来确定未知样本的属类^[4]。

1.4.4 ResNet50网络与迁移学习

深度学习在应用过程中, 大多使用RGB图像, 而果实的内部缺陷等信息并不能直观的由RGB图像显示, 需要通过高光谱图像反映, 但高光谱图像所包含的数据信息较大, 大数据集的建立较难, 处理相比于RGB图像更加复杂, 导致训练出来的模型精度不够。 迁移学习是一种新的学习范式, 可以大大缩短训练时间, 并且对小数据集也能实现较高的精度^[13]。

RestNet50网络由16个残差块堆叠而成, 网络深度达到50层, 有较强的特征提取能力, 并且能够解决网络深度带来的网络退化和梯度消失等问题, 使得网络的性能不会因为网络深度增加而下降, 而且残差块中的跳跃连接没有引入新参数, 也没有增加模型计算量^{[14, 15]}。 使用ImageNet数据集预训练ResNet50网络, 把预训练好的权重作为初始化权值迁移到水晶梨损伤数据集上进行训练与微调, 最终得到基于ResNet50网络迁移学习的水晶梨损伤时间检测模型。

为了选择合适的特征图像, 保留更多损伤信息, 对原始图像先使用PCA降维, 前8个主成分包含了原图像99%的信息, 如图3所示。 由图3可见, PC4、 PC5和PC6中均清晰地显示了梨的损伤区域, 将这3个主成分作为检测水晶梨压伤的特征图像, 然后用掩模图像与特征图像相乘, 减少计算量并消除背景的影响, 得到去除背景后的光谱图像。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 基于轻微损伤样本全波段PCA的前8个主成分图像Fig.3 The first 8 PC images based on full-band PCA of slightly bruised samples

为了增加样本数量, 对拼接后的水晶梨特征图像随机进行上下翻转、 左右翻转, 最终得到无损伤、 挤压损伤24 h和挤压损伤48 h的特征图像各160张, 然后按照9∶ 1比例随机划分样本的训练集和测试集。 为使输入的图像数据符合基于ResNet50网络迁移学习的要求, 把图像尺寸缩放成224× 224× 3; 对于k-NN和SVM, 因为计算时参数过多需要花费的时间过长, 将图像缩放为64× 64× 3后输入2种模型。

SVM模型采用径向基核函数(RBF), 通过网格搜索确定惩罚因子C=4, 回归误差权重γ 设置为样本特征数的倒数。 k-NN模型的性能与k值、 权重值(weights)以及距离计算公式紧密相关。 权重有两个取值, 一个是uniform, 每个相邻点与观测点距离的权重都是相同的, 另一个取值为distance, 权重值为邻近点到该点距离的倒数, 距查询点近的近邻比远处的近邻具有更大的影响力。 通过网格搜索确定模型参数k=8, 权重选用distance, 距离计算公式为曼哈顿距离。 相比于原来的ResNet50网络, 基于ResNet50网络的迁移学习模型更改了全连接层模块结构, 在分类器中添加dropout操作。 加入一个线性函数, 把最后一个全连接层的输入连接到有256个输出单元的线性层, 接着连接Relu层和dropout层, 设置dropout=0.4, 训练时随机舍弃全连接层40%的神经元个数用于防止过拟合, 最后是256× 3的线性层, 输出为3通道的softmax层。 各模型对梨损伤的识别结果如表1所示。

表1

Table 1

表1(Table 1)

表1 SVM, k-NN和ResNet50网络迁移学习判别模型识别结果 Table 1 Recognition results using discriminant models using SVM, k-NN and ResNet50 for network transfer learning 降维方法 模型 训练集 测试集 SVM 100% 83.33% PCA k-NN 100% 85.42% ResNet50 93.29% 93.75%

表1 SVM, k-NN和ResNet50网络迁移学习判别模型识别结果 Table 1 Recognition results using discriminant models using SVM, k-NN and ResNet50 for network transfer learning

从表1可见, 基于ResNet50网络的迁移学习模型预测识别率为93.75%, 优于SVM的83.33%和k-NN的85.42%。 另外, SVM和k-NN模型的训练集精度远高于测试集, 出现了过拟合现象。 总体上, 基于ResNet50网络的迁移学习模型预测效果最好, SVM模型的预测效果最差。

各模型对挤压损伤识别的混淆矩阵如图4所示, 从图中可见, 对于无损伤样本3个模型均能正确识别, SVM将31%损伤24 h的样本误判为损伤48 h, 将16%损伤48 h的样本误判为无损伤样本, 将5%损伤48 h的样本误判为损伤24 h; k-NN分别将7%损伤24 h和7%损伤48 h的样本误判为无损伤样本, 7%损伤24 h的样本误判为损伤48 h, 27%损伤48 h的样本误判为损伤24 h; ResNet50网络迁移学习模型将17%损伤24 h的样本误判为损伤48 h, 将5%损伤48 h的样本误判为损伤24 h。 结果表明, ResNet50网络迁移学习模型对挤压损伤24 h和挤压损伤48 h样本均具有较高的识别准确率。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 各模型对挤压损伤时间预测识别的混淆矩阵Fig.4 Confusion matrix of each model for the identification of crush bruise time

与本研究相似的还有陈欣欣等^[5]2017年利用高光谱成像技术对库尔勒梨早期损伤进行快速识别检测, 采集了无损伤样本和损伤后1~7 d样本的高光谱图像, 建立支持向量机判别模型, 识别准确率达到93.75%; 林思寒等^[16]2018年以翠冠梨表面机械碰压损伤为研究对象, 分别采集了无损伤样本、 损伤后1~7, 11和14 d的翠冠梨高光谱图像数据, 建立偏最小二乘线性判别分析模型, 整体识别率为84%, 去除第一天的损伤数据识别准确率达到92.22%- 损伤24 h内的样本识别难度较大。