红富士苹果表面颜色较深且变化复杂, 因此对其表面的瘀伤进行检测相比其他表皮颜色单一的苹果更加困难也更具代表性。 故以烟台栖霞红富士苹果为研究对象, 苹果样本大小基本一致且来自同一批次。 近红外光谱实验选取80个样品, 近红外相机成像选取100个样品。 实验之前, 用75%的酒精对苹果表面进行消毒去污, 并将苹果在室温下放置12 h。

由于苹果表面的早期轻微瘀伤在可见光下无法用肉眼识别, 且需要确认瘀伤产生于半个小时以内, 因此, 苹果样本表面的瘀伤通过倒立摆装置人为制造。 制造苹果瘀伤的装置如图1所示, 摆杆长0.5 m, 摆锤重85 g, 摆锤直径1.8 cm。 实验时, 将摆杆提升到与水平方向夹角为45° , 随后释放摆杆使之作近似单摆运动。 由冲量定理可以计算得出摆锤对苹果表面的冲量约为0.23 N· s, 瘀伤面积大小约为0.8 cm², 瘀伤处表皮无破损仅有轻微凹陷, 可见光下肉眼很难察觉瘀伤。 瘀伤出现后立即采集光谱数据和图像数据。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 苹果瘀伤制造装置示意图Fig.1 Schematic diagram of apple bruises manufacturing device

苹果瘀伤根据受撞击次数分为四类, 分别为无损、 轻度瘀伤、 中度瘀伤和重度瘀伤, 其中轻度瘀伤的苹果是指受损部位仅被撞击一次, 中度瘀伤的苹果是指受损部位被撞击两次, 重度瘀伤指受损部位被撞击三次。 图2为不同瘀伤程度苹果的可见光图像。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 不同瘀伤程度苹果的可见光图像 (a): 无瘀伤; (b): 轻度瘀伤; (c): 中度瘀伤; (d): 重度瘀伤Fig.2 Visible light images of apples with different bruises (a): No bruises; (b): Mild bruises; (c): Moderate bruises; (d): Severe bruises

苹果样品近红外光谱的采集采用德国布鲁克公司的MPA傅里叶变换型近红外光谱仪。 将苹果待测区域放置于通光孔上方, 用吸光海绵遮挡四周以排除外界环境干扰的影响, 进行样本近红外光谱数据的采集, 光谱扫描范围为4 000~10 000 cm^-1。 首先采集80个无损样本的光谱数据, 随后采用瘀伤制造装置对其中60个样本制造轻度瘀伤样本并采集光谱数据, 然后制备重度瘀伤样本60个并采集光谱数据。 每个样本受损后, 分别在0 min(记为t₀)、 10 min(记为t₁)、 20 min(记为t₂)、 30 min(记为t₃)采集光谱数据, 因此每个时间点采集80(无损)+60(轻度瘀伤)+60(重度瘀伤)=200条光谱, 在0 min采集到的光谱图如图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 不同瘀伤程度苹果样本在0 min时的近红外光谱图Fig.3 Near infrared spectra of apple samples with different bruises at 0 min

光谱预处理方法可以有效去除光谱中的噪声并削弱背景信息, 从而得到高信噪比的光谱数据, 便于建模分析^{[12, 13]}。 采用5种光谱预处理方法并比较不同的预处理方法对模型准确率的影响; 预处理方法包括: 标准正态变换(SNV)、 多元散射校正(MSC)、 一阶导数、 一阶导数+SNV、 一阶导数+MSC。 预处理完成后分别采用偏最小二乘-判别分析(PLS-DA)和支持向量机(SVM)两种方法建立模型并进行对比分析, 建模数据为在0 min采集的光谱数据, 包括无损苹果样本光谱数据80个、 轻度瘀伤苹果样本光谱数据60个以及重度瘀伤苹果样本光谱数据60个, 其中, 将轻度瘀伤苹果和重度瘀伤苹果归为有损苹果共120个。 数据按3∶ 1随机划分为训练集和预测集。

为了探究瘀伤时间对分类模型检测精度的影响, 对四个时间点采集到的数据进行建模并检验识别效果, 每个时间点的数据也分别按3∶ 1随机划分为训练集和预测集。 采用SNV预处理方法对数据进行预处理, 采用SVM法建立二分类模型。

使用近红外相机(Xeva-2.35-320, Xenics, Leuven, Belgium)采集苹果样本的近红外图像。 相机采用第三代近红外焦平面阵列, 使用InAs/GaSb Ⅱ 型超晶格(T2SL)材料作为探测器制作材料, 可在热电冷却达到200 K的温度下运行。 相机的波段范围为1 000~2 350 nm, 分辨率320× 256, 像元尺寸30 μ m× 30 μ m, 帧频100 Hz/344 Hz。 近红外图像拍摄系统如图4所示。 相机用三脚架固定, 镜头垂直向下指向苹果, 使苹果样本图像位于画面中心, 镜头距离苹果15 cm。 因为相机自身没有光源, 实验时用两个功率为100 W的钨丝灯作为补充光源, 灯源照射角度与垂直方向成45° , 灯源与样本距离约40 cm。 采用柔光布作为灯罩使光线更加柔和。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 近红外图像采集装置Fig.4 Near infrared image acquisition device

由近红外光谱数据分析可知, 在光谱波段的1 150和1 400 nm苹果瘀伤部位处有较明显的吸收, 因而在这两个波段采集的图像可以更好的表现苹果的瘀伤特征。 结合经济型和实用性, 选择美国Edmund公司的传统镀膜带通滤光片, 滤光片中心波长分别为1 150和1 400 nm, 带宽25 nm, 直径50 nm, 光密度大于4.0。

采集图像数据之前, 首先对相机和光源进行调整。 调整光源位置以及照射角度, 从而使苹果表面光照分布均匀; 调整相机软件的矫正包和相机光圈, 使图像显示清晰。 依次采集100个苹果样本的近红外图像, 样品采集顺序依次为无损苹果样本、 轻度瘀伤苹果样本、 中度瘀伤苹果样本以及重度瘀伤苹果样本。 在无损苹果样本的图像采集完成后, 使用瘀伤制造装置人为制造瘀伤并立即使用相机采集轻度瘀伤样本的图像; 在轻度瘀伤样本的图像采集完成后再次使用瘀伤制造装置对样本的瘀伤部位进行撞击以获得中度瘀伤苹果样本, 并立即进行样本图像的采集; 最后采集重度瘀伤苹果样本的近红外图像。 无论瘀伤程度如何, 每个苹果样本采集三个波段的图像共三张, 三个波段分别为1 150和1 400 nm以及全波段(1 000~2 350 nm), 同一个苹果在三种波段下得到的苹果图像如图5。 综上, 实验共采集3种波段、 4种瘀伤程度的苹果样本图像共1 200张。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同波段苹果的近红外图像 (a): 全波段图像; (b): 波段1 150 nm图像; (c): 波段1 400 nmFig.5 Near infrared images of apple at different wavebands (a): Image of full-band; (b): Image of 1 150 nm; (c): Image of 1 400 nm

苹果的瘀伤部位和无损部位在近红外波段的吸收有明显差异, 而在可见光波段, 苹果各个部位的光吸收并无明显差异, 因此, 近红外图像可以更好的显示苹果的早期瘀伤特征。 图6为带有早期瘀伤的同一苹果样本的可见光图像[图6(a)]和近红外图像[图6(b)]。 通过对比, 可以发现近红外图像有明显的瘀伤特征, 而可见光图像肉眼看不出瘀伤的存在。 因此, 近红外相机在苹果早期瘀伤检测方面有着优越的性能, 我们课题组的研究也证实了这一点^[14]。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 带有瘀伤的苹果样品的可见光(a)和近红外(b)图像Fig.6 Visible (a) and near-infrared (b) images of apple samples with bruises

由于近红外相机采集到的原始图像存在噪声, 在进行信息提取之前, 首先对近红外图像进行中值滤波。 为后续计算, 首先选定苹果图像的瘀伤区域为感兴趣区域(region of interest, ROI), 提取ROI内所有像素并求像素灰度平均值I。

在图像中漫反射白板区域选定一处ROI, 同样提取ROI内所有像素并求取像素平均值I₀。 计算苹果瘀伤区域吸光度A , 如式(1)所示

A=-lg(I/I0)(1)

式(1)中, A为苹果样本瘀伤区域的吸光度; I为苹果瘀伤区域平均灰度值; I₀为标准漫反射白板的平均灰度值; I/I₀为苹果样本瘀伤区域的漫反射率。 将每个苹果样品三个波段(1 150 nm、 1 400 nm、 全波段)的吸光度数据组合成该样品的多光谱数据进行后续苹果瘀伤识别。

分别使用KNN、 SVM以及DT法对近红外相机得到的多光谱数据进行分类建模并引入混淆矩阵和kappa系数作为分类模型的评价指标, 其中kappa系数计算如式(2)。 混淆矩阵为一个n× n矩阵, 是评价模型精度的常用方法。 混淆矩阵的每一行表示样品的实际类别, 每一列表示样品的预测类别^[15]。

kappa=P0+Pe1-Pe(2)

假设每一类的实际样本个数为a₁、 a₂、 …、 a_n, 预测样本个数为b₁、 b₁、 …、 b_n, 总样本个数为N, 则

Pe=a1b1+a2b2+…+anbnN2(3)

假设预测正确的样本个数为R(混淆矩阵对角线元素之和), 则

P0=RN(4)

kappa计算结果通常在0到1之间, 可分为五个等级代表不同级别的一致性, 即模型预测结果与实际分类结果的一致性: 0.00~0.20极低的一致性、 0.21~0.40一般的一致性、 0.41~0.60中等的一致性、 0.61~0.80高度的一致性、 0.81~1.00几乎完全一致。

共采集得到200条t₀(0 min)时刻三类不同瘀伤程度苹果样品的近红外光谱, 其中无损样本80条, 轻度瘀伤样本60条, 重度瘀伤样本60条。 采用5种不同的预处理方法进行光谱预处理, 见1.3节。 随机抽取三类样本的3/4作为训练集, 剩余样本作为预测集, 用PLS-DA建立分类识别模型对苹果进行三分类(无损、 轻度瘀伤、 重度瘀伤), 不同预处理方法下各个分类模型的训练集和预测集识别结果如表1。 由表1可以看出, 采用SNV和MSC预处理方法的分类模型建模集和测试集的识别准确率较高, 预测集识别准确率为80.00%。 因为一般SNV的校正能力比MSC要强, 尤其是样品组份变化较大的时候, 因此采用SNV作为光谱数据预处理的方法。

表1

Table 1

表1(Table 1)

表1 基于不同预处理方法的苹果分类模型 Table 1 Apple classification model based on different preprocessing methods 预处理方法 训练集识别 准确率/% 预测集识别 准确率/% SNV 86.00 80.00 MSC 86.00 80.00 一阶导数 82.00 78.00 一阶导数+SNV 80.00 78.00 一阶导数+MSC 80.00 76.00

表1 基于不同预处理方法的苹果分类模型 Table 1 Apple classification model based on different preprocessing methods

首先采用PLS-DA法建立“ 无损-有损” 二分类模型, 以t₀时刻(0 min)的近红外光谱为建模对象, 包括80条无损样品光谱以及120条有损样品光谱, 每类样本随机抽出其中的3/4作为训练集, 其余样本作为预测集。 建模的谱区范围为4 000~9 000 cm^-1, 共包含1 296个光谱点。 模型的最大主成分数设为15, 主成分推荐方法为内部交叉法。 建立模型时选取的主成分数太低会使模型的分类准确率降低, 太高则可能造成过拟合。 根据内部交叉验证的推荐选择主成分数为9。

为检验PLS-DA模型的稳定性, 将200个光谱数据以同样的方法随机抽取10次训练集并建模, 10个模型的训练集和预测集识别准确率如表2所示。 训练集平均识别准确率为89.13%, 预测集的平均识别准确率为85.00%, 模型准确率不高, 说明苹果受外部碰撞后要即刻(0 min)判断出其是否受损确实有难度。 但模型的准确率浮动较小, 模型相对比较稳定。

表2

Table 2

表2(Table 2)

表2 基于近红外光谱的苹果“ 无损-有损” 二分类识别模型结果 Table 2 Results of apple “ nondestructive-destructive” binary classification recognition model based on near-infrared spectrum 模型序号 训练集识别准确率/% 预测集识别准确率/% PLS-DA SVM PLS-DA SVM 1 90.00 92.00 84.00 92.00 2 93.33 90.67 84.00 90.00 3 88.67 89.33 84.00 92.00 4 88.00 91.33 84.00 90.00 5 88.67 90.00 86.00 92.00 6 90.00 90.67 86.00 86.00 7 88.00 91.33 84.00 90.00 8 88.00 90.67 84.00 92.00 9 89.33 90.00 88.00 86.00 10 87.33 90.67 86.00 88.00 平均值 89.13 90.67 85.00 89.80

表2 基于近红外光谱的苹果“ 无损-有损” 二分类识别模型结果 Table 2 Results of apple “ nondestructive-destructive” binary classification recognition model based on near-infrared spectrum

类似的, 采用SVM方法建立的10个模型的训练集和预测集识别结果也见表2。 训练集的平均识别准确率为90.67%, 预测集的平均识别准确率为89.80%。 相比PLS-DA分类模型, SVM分类模型预测集的识别效果较好, 且模型的准确率浮动更小, 因此后续采用SVM法进行建模。

也测试了“ 无损-轻度-重度” 三分类模型的建立, 但训练集和预测集的识别准确率只有80.00%, 准确率比较低, 说明使用近红外光谱法进行苹果表面瘀伤程度的精确分类有一定的困难。

为了研究瘀伤后不同时间对苹果表面瘀伤检测效果的影响, 采集了四个时间点(即瘀伤后0、 10、 20和30 min)的光谱共800条, 每个时间点有200条光谱。 用SVM法建立“ 无损-有损” 二分类模型, 每个时间点的数据以3∶ 1的比例划分训练集和预测集, 得到不同时间点的模型识别准确率如表3所示。

表3

Table 3

表3(Table 3)

表3 不同瘀伤时间SVM模型的识别准确率 Table 3 Recognition accuracy of the SVM model based on the spectral data at different times after bruises caused 时间 训练集识别 准确率/% 预测集识别 准确率/% t0(0 min) 90.67 90.00 t1(10 min) 91.33 90.00 t2(20 min) 92.00 92.00 t3(30 min) 94.67 94.00

表3 不同瘀伤时间SVM模型的识别准确率 Table 3 Recognition accuracy of the SVM model based on the spectral data at different times after bruises caused

由表3中数据可以发现, 随着瘀伤后时间的增加, 模型的分类准确率逐渐增加。 与此同时, 实验观察发现, 苹果的瘀伤随着时间的增加显示越来越清晰, 在30 min时已经肉眼可见。 因此, 近红外光谱法随着瘀伤时间的增加检测的难度越来越小, 分类准确率增加。 但对特别早期的瘀伤的检测, 还需要寻找更加有效的检测方法。

使用近红外相机在全波段条件下拍摄苹果样品的图像, 加装1 150和1 450 nm滤光片后分别再次拍摄这些苹果样品的图像, 所有瘀伤样品的图像都是在瘀伤产生后t₀(0 min)时刻立即采集的。 这些图像经信息处理后得到无损样本数据、 轻度瘀伤样本数据、 中度瘀伤样本数据以及重度瘀伤样本数据各100组。

为了建立“ 无损-有损” 的二分类模型, 将所有瘀伤样本数据归为一类共300组, 随机抽取其中3/4作为训练集, 其余1/4作为预测集。 无损样本数据100组, 同样随机抽取其中3/4作为训练集, 其余1/4作为预测集。

2.4.1 基于近红外多光谱相机成像的苹果“ 无损-瘀伤” 二分类

分别使用K近邻法(KNN)、 支持向量机(SVM)、 决策树(DT)对训练集300组数据进行分类建模, 调整模型参数增强模型分类精度, 建立“ 无损-有损” 二分类苹果瘀伤检测模型, 代入预测集的100组数据进行验证, 三种模型的预测集混淆矩阵如图7。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 预测集二分类模型混淆矩阵 (a): KNN; (b): SVM; (c): DTFig.7 Confusion matrix of the binary model of the prediction set (a): KNN; (b): SVM; (c): DT

图7中标签1为无损, 标签2为有损。 可以看出在KNN模型中1个无损苹果样本被误分类为有瘀伤, 1个有损苹果样本被误分类为无瘀伤。 在SVM模型中5个无损苹果样本被误分类为有瘀伤, 1个有损苹果样本被误分类为无瘀伤。 在DT模型中1个无损苹果样本被误分类为有瘀伤, 有损苹果样本没有出现误分类。 通过对比可以看出DT模型误分类最少, KNN模型次之, SVM模型误分类最多。 三种模型识别准确率及kappa系数如表4所示。 通过识别准确率和kappa系数的对比, 选择DT模型作为苹果“ 无损-有损” 二分类模型的建模方法, 可以使苹果表面早期瘀伤检测效果达到最佳。

表4

Table 4

表4(Table 4)

表4 “ 无损-有损” 二分类模型识别准确率及精度 Table 4 Recognition accuracy and precision of “ Nondestructive-destructive” bi-classification model 模型 训练集识别 准确率/% 预测集识别 准确率/% Kappa系数 KNN 98.33 98.00 0.94 SVM 95.00 94.00 0.82 DT 99.00 99.00 0.97

表4 “ 无损-有损” 二分类模型识别准确率及精度 Table 4 Recognition accuracy and precision of “ Nondestructive-destructive” bi-classification model

2.4.2 基于近红外多光谱相机成像的苹果“ 无损-轻度-重度” 三分类

进一步研究用近红外多光谱相机成像对瘀伤程度进行分类的可行性。 对得到的无损数据100组、 轻度瘀伤数据100组和重度瘀伤数据100组按照“ 无损-轻度-重度” 进行三分类。 将数据以3∶ 1的比例随机划分为训练集和预测集, 其中3/4(225组)划分为训练集, 1/4(75组)划分为预测集。 分别使用KNN、 SVM以及DT方法建立模型, 对训练集225组数据进行分类建模, 调整模型参数增强模型分类精度, 建立“ 无损-轻度-重度” 苹果瘀伤程度分类模型, 代入预测集的75组数据进行验证, 三种模型的预测集混淆矩阵如图8所示。 图中标签1为无损, 标签2为轻度瘀伤, 标签3为重度瘀伤。由图可以看出KNN模型和SVM模型误分类相对较多, DT模型误分类最少, 75个预测集样品仅4个样品识别错误。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 三分类模型混淆矩阵 (a): KNN; (b): SVM; (c): DTFig.8 Tri-classification model confusion matrix (a): KNN; (b): SVM; (c): DT

三种模型识别准确率及kappa系数如表5所示。 可以发现, SVM模型和KNN模型的分类准确率相对较低, 预测集识别准确率都低于90.00%, 两种模型的kappa系数不到0.9。 DT模型的分类效果最好, 训练集和预测集识别准确率都达到了94.67%, kappa系数为0.92。 该结果说明使用近红外多波段成像对苹果表面无损、 早期轻度瘀伤、 早期重度瘀伤等瘀伤程度进行分类是可行的。

表5

Table 5

表5(Table 5)

表5 “ 无损-轻度-重度” 三分类模型识别准确率及精度 Table 5 Recognition accuracy and precision of “ Non-Mild-Severe destructive” tri-classification model 模型 训练集识别 准确率/% 预测集识别 准确率/% Kappa系数 KNN 92.44 89.33 0.84 SVM 86.67 84.00 0.76 DT 94.67 94.67 0.92

表5 “ 无损-轻度-重度” 三分类模型识别准确率及精度 Table 5 Recognition accuracy and precision of “ Non-Mild-Severe destructive” tri-classification model