引用本文
李斌, 韩昭洋, 王秋, 孙赵祥, 刘燕德. 基于高光谱成像技术的枇杷碰伤等级检测研究[J]. 光谱学与光谱分析, 2023,43(6): 1792-1799.
LI Bin, HAN Zhao-yang, WANG Qiu, SUN Zhao-xiang, LIU Yan-de. Research on Bruise Level Detection of Loquat Based on Hyperspectral Imaging Technology[J]. Spectroscopy and Spectral Analysis, 2023,43(6): 1792-1799.
Doi:10.3964/j.issn.1000-0593(2023)06-1792-08  
Permissions
Copyright©2023, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
基于高光谱成像技术的枇杷碰伤等级检测研究
李斌, 韩昭洋, 王秋, 孙赵祥, 刘燕德*
华东交通大学机电与车辆工程学院, 水果智能光电检测技术与装备国家地方联合工程研究中心, 江西 南昌 330013
*通讯作者 e-mail: jxliuyd@163.com

作者简介: 李 斌, 1989年生, 华东交通大学机电与车辆工程学院讲师 e-mail: libingioe@126.com

收稿日期: 2022-03-13 修回日期: 2022-06-10
基金: 国家自然科学基金项目(31760344), 国家科技奖后备项目培育计划项目(20192AEI91007)资助
摘要

枇杷果味甘酸, 供生食、 蜜饯、 酿酒用, 有化痰止咳、 和胃降气之效, 是春夏之交的度淡水果。 枇杷皮薄、 质细、 松软多汁, 在采摘及藏运过程中极易发生碰伤, 造成经济损失, 因此对碰伤枇杷的高精度快速分级检测处理至关重要。 针对几种碰伤程度的枇杷可以选用不同的方法以减少经济损失, 轻度碰伤的可以制作枇杷汁、 枇杷膏等; 中度碰伤的可以去除损伤部分制作枇杷罐头进行保存; 重度碰伤的直接处理掉节约仓储成本。 目前枇杷的碰伤程度主要通过操作员的肉眼进行损伤辨别, 受到个人习惯、 光线强度和主观心理因素影响, 会对不同碰伤程度的枇杷造成误分类。 故此提出基于高光谱成像技术图谱特征融合的方法对枇杷碰伤程度进行高精度、 快速、 无损分级。 首先, 利用自由落体碰撞装置制备轻度、 中度、 重度碰伤三组样品, 并利用高光谱成像系统采集各样品数据; 其次选用感兴区内100个像素点的平均光谱作为样本光谱并用多元散射校正(MSC)对光谱进行预处理, 作为光谱特征用于后续模型使用; 最后将光谱数据结合枇杷样品的颜色特征, 利用随机森林(RF)、 偏最小二乘法判别分析(PLS-DA)、 极限学习机(ELM)、 最小二乘支持向量机(LS-SVM)分别建立基于枇杷光谱特征、 RGB颜色特征结合光谱特征、 HSI颜色特征结合光谱特征、 混合颜色特征结合光谱特征的枇杷碰伤程度模型, 在所有模型中混合图像特征结合光谱特征的枇杷碰伤程度模型预测效果最好, 利用RF、 PLS-DA、 ELM、 LS-SVM算法的模型整体识别准确率分别为91.11%、 86.67%、 95.56%、 100%, 其中基于RBF核函数的LS-SVM碰伤枇杷模型准确率最高。 研究结果说明: 单一光谱特征模型准确率最低, 结合RGB颜色特征、 HSI颜色特征后具有更高的准确率, 光谱特征结合混合颜色特征建立的模型准确率最高, 该研究为水果碰伤程度判别提供了一定的理论参考和实验依据。

关键词: 枇杷; 高光谱成像; 光谱特征; 颜色特征; 碰伤程度; 最小二乘支持向量机
中图分类号:O657.3 文献标志码:A
Research on Bruise Level Detection of Loquat Based on Hyperspectral Imaging Technology
LI Bin, HAN Zhao-yang, WANG Qiu, SUN Zhao-xiang, LIU Yan-de*
Institute of Optical-Electro-Mechatronics Technology and Application, East China Jiaotong University, National and Local Joint Engineering Research Center of Fruit Intelligent Photoelectric Detection Technology and Equipment, Nanchang 330013, China
*Corresponding author
Abstract

Loquat is a freshwater fruit at the turn of spring and summer, it has a sour taste and can be eaten directly or made into candied fruit or wine, and it has the effect of resolving phlegm, relieving cough, harmonizing the stomach and lowering gas. The texture of loquat is soft and juicy, so it is prone to be bruised during picking, storage and transportation, resulting in economic losses. Therefore, detecting bruised loquats with high precision and rapid classification is essential. Meanwhile, we have used different methods to treat loquats with different bruising levels to reduce economic losses. The ones with light bruises can make loquat juice and paste. The ones with moderate bruises can be removed from damage region to make canned loquats for preservation. The ones with heavy bruises can be disposed of directly to save storage costs. At present, the bruise level of loquats is mainly discriminated by the operator's naked eye. It is affected by personal habits, light intensity and subjective psychological factors, which will cause misclassification. In this paper, we propose a method based on hyperspectral imaging technology spectral combined with color features to classify loquat bruise level with high precision, rapidity and non-destructiveness. Firstly, we used a free-fall collision device to prepare light, moderate and heavy bruised loquat samples and used a hyperspectral imaging system to collect data. Secondly, we select the average spectrum of 100 pixels in the region of interest as the sample spectrum and preprocess the spectrum with MSC, which is used as the spectral feature for the subsequent model. Finally, we combined spectral features with color features and used RF, PLS-DA, ELM, and LS-SVM to build loquat bruising level models based on spectral features, RGB color features combined with spectral features, HSI color features combined with spectral features, and mixed color features combined with spectral features, respectively. Among all the above models, the loquat bruise level model based on mixed color features combined with spectral features has the best prediction effect. The overall recognition accuracy of the models using RF, PLS-DA, ELM and LS-SVM algorithms is 91.11%, 86.67%, 95.56%, and 100%, respectively. The RBF-LS-SVM bruising loquat model has the highest accuracy. The results show that the model based on single spectral features has the lowest accuracy, the model combined with RGB or HSI color features has higher accuracy, and the model based on spectral features combined with mixed color features has the highest accuracy. This study provides a certain theoretical reference and experimental basis for fruit bruising level discrimination.

Keyword: Loquat; Hyperspectral imaging; Spectral features; Color features; Bruising level; Least squares support vector machine
引言

枇杷是蔷薇科、 枇杷属植物, 常绿小乔木[1], 被誉为“ 果之冠” , 是一种药食两用的经济型水果, 据《本草纲目》记载“ 枇杷能润五脏, 滋心肺” 。 枇杷果味甘酸[2], 供生食、 蜜饯和酿酒用; 叶晒干去毛, 可供药用, 有化痰止咳, 和胃降气之效; 木材红棕色, 可作木梳、 手杖、 农具柄用。 枇杷在春末夏初成熟, 正值水果淡季, 是度淡水果[3]。 从成熟到最终售卖, 枇杷需要经过采摘、 储藏、 包装、 运输等一系列过程[4], 由于枇杷皮薄、 质细、 松软多汁, 在此过程中极易发生碰伤, 表面变黑, 影响终端售卖, 造成极大的经济损失。 因此, 判断枇杷是否碰伤及其碰伤程度至关重要, 提前挑选出碰伤枇杷可以节省仓储成本和运输成本: 碰伤较轻的可以制作枇杷汁、 枇杷膏等; 碰伤程度略重的可以去除损伤部分制作枇杷罐头进行保存; 碰伤程度严重的直接处理掉以节约仓储成本。

目前, 在枇杷的采摘及采后处理过程中, 枇杷是否受损往往通过操作员的肉眼进行辨别, 受到个人习惯、 光线强度和主观心理因素影响, 效率低、 准确度差, 因此需要一种方法可以实现枇杷碰伤程度的高精度、 快速、 无损检测[5, 6, 7]。 李国进等[8]利用粒子群算法优化后的极限学习机(partical swarm optimization extreme learning machine, PSO-ELM)实现了对芒果外观品质的精准分类, 准确率达到100%; 李江波等[9]利用改进的分水岭算法, 提出了一种基于多光谱检测双色平谷桃损伤的方法, 进行PCA降维后对损伤情况按照表皮损伤、 疤痕、 虫害、 刺伤、 腐烂、 病斑、 裂痕、 炭疽病和正常进行分类, 准确率为96.6%; Munera等[10]用极端梯度提升(extreme gradient boost, XGBoost)的方法, 对枇杷的紫斑、 瘀伤、 疤痕和褐变等外部缺陷的分类准确率为95.9%; Lu等[11]利用结构反射照明成像技术(tructured illumination reflectance imaging, SIRI)实现了对酸黄瓜亚表面瘀伤的精准判别, 准确率可达97%; 李小昱等[12]利用果蝇优化算法(fly optimization algorithm, FOA)建立的支持向量分类机(support vector classification, SVC)模型对马铃薯轻微碰伤识别准确率达到100%; 欧阳爱国等[13]用LS-SVM算法结合单一波长图像灰度对桃子碰伤后时间按照12、 24、 36和48 h进行分类, 24 h以上分类准确率可达96.67%。 上述检测方法使用单一的光谱信息或者图像信息对水果损伤进行检测, 仅能反映出待测物体的部分特性, 忽略了水果的颜色特征[14], 且光谱反射率很容易受到外界杂散光的影响, 丢失一部分真实信息; 与颜色特征进行互补, 可以更加准确的判断出水果受损程度。

目前, 国内外学者对于水果碰伤程度的研究往往通过光谱检测或者利用机器学习、 结构光等方法对图像信息进行处理, 从而实现对碰伤水果的辨别, 利用高光谱图谱融合技术对水果损伤程度判别却少有研究。 针对上述问题, 提出了高光谱成像技术结合颜色特征, 利用化学计量学方法, 实现碰伤枇杷碰伤程度的高精度、 快速、 无损检测。 首先, 制备轻度、 中度、 重度碰伤的枇杷样品, 采集对应的高光谱图像, 提取光谱特征和颜色特征。 其次, 利用光谱特征、 RGB颜色特征、 HSI颜色特征、 混合颜色特征结合光谱特征分别建立随机森林(random forest, RF)、 偏最小二乘法判别分析(partial least squares discriminant analysis, PLS-DA)、 极限学习机(extreme learning machine, ELM)、 最小二乘支持向量机(least squares support vector machine, LS-SVM)模型, 利用分类准确率评估模型优劣, 选出最优枇杷碰伤程度分类模型。

1 实验部分
1.1 样品

实验样品枇杷购买于四川省攀枝花市某果园, 共计135个。 为减少其他无关因素对实验造成影响, 枇杷的大小均为长轴60 mm, 短轴40 mm左右。 试验前先对样品进行挑选, 去除表面损伤和畸形样品, 保证样品外观无缺陷, 无机械损伤等, 最后对枇杷表面进行清洁处理并编号。

传统人工分类依据GB/T 13867— 1992鲜枇杷果的标准进行分类, 操作员依据个人经验对碰伤枇杷做了大概划分, 由于操作员的主观性以及光线强度等环境影响, 对枇杷分类极易造成误判。 枇杷本身存在个体差异, 受到枇杷自身的硬度、 大小、 成熟度等影响, 在相同大小的力作用下, 枇杷损伤区域的面积以及碰伤深度也会存在差异, 这不符合单一变量原则, 因此本研究通过控制碰撞高度来调节作用力, 保持相同的力碰撞同一组内样品来获取碰伤枇杷。 力的大小通过模拟真实环境中的跌落力, 通过标准质量的枇杷的常规跌落高度推出力的大小, 进一步根据碰撞面积选择合适的金属球, 最终计算出碰撞高度。

实验中的表面碰伤样品, 通过自由落体碰撞装置(如图1所示)获取, 将直径30 mm, 质量100 g的金属球在距离枇杷表面0.4、 0.5和0.6 m处进行自由落体运动, 撞击枇杷赤道区域, 以此来模拟现实中的不同损伤程度枇杷。 开关闭合时, 电磁感应装置垂直向下投射红外光用于定位碰伤区域; 开关打开时, 电磁感应装置末端充斥着磁场, 发生电磁感应作用, 此时将碰撞金属球放置在此处可固定; 最后, 开关闭合, 磁场消失, 金属球进行自由落体运动, 对枇杷进行碰撞。 操作完成后将样品置于室温24 ℃环境中保存, 使样品温度与室温保持一致。 同一储存时间的不同碰伤等级枇杷, 如图2所示。 碰伤样品静置3 h后开始实验, 利用高光谱成像系统获取轻度、 中度、 重度的碰伤枇杷高光谱图像, 用于后续建立模型。 由于枇杷样品是逐个测量, 因此所有样品的测量时间略有差异。

图1 自由落体碰撞装置Fig.1 Free fall collision device

图2 不同碰伤等级枇杷样品
(a): 正常; (b): 轻度; (c): 中度; (b): 重度Fig.2 Loquat samples with different bruised degrees
(a): Sound; (b): Mild; (c): Medium; (d): Severe

1.2 高光谱成像系统

实验图像数据由盖亚(GaiaSorter)高光谱分选仪进行采集, 如图3所示, 该系统主要由计算机、 成像光谱仪、 光源、电控位移平台等组成。 光源系统由四盏20W的卤素灯(OSRAM, DECOSTAR51, MR16)组成; 成像系统由相机(Hamamatsu C8484-05G)和光谱仪(ImSpector, V10E, 芬兰)组成; 电控位移平台由载物台和步进电机组成; 全部装置安装在尺寸为790 mm× 1 024 mm× 1 800 mm暗箱内, 以避免外部环境杂散光的影响。

图3 高光谱成像系统示意图Fig.3 Schematic of hyperspectral imaging system

1.3 图像采集

高光谱系统在采集数据之前, 需预热30 min, 消除基线漂移的影响, 避免图像采集过程带来误差。 高光谱成像系统参数调整用SpecView软件完成, 摄像机曝光时间为6 ms, 位移平台前进速度1 cm· s-1, 确保样品图像精确采集; 位移平台回退时间为2.5 cm· s-1, 因图像已采集完毕, 可节约样品采集时间。 每次试验只采集一个枇杷样品, 通过步进电机驱动位移平台带动样品移动, 摄像机对实验样品进行连续扫描, 完成图像采集。

由于CCD相机中暗电流的干扰以及各波段下光源强度分布不均, 我们需要对采集的枇杷高光谱图像进行黑白标定。 在成像系统参数设定好, 采集枇杷样品光谱图像前, 将镜头对准聚四氟乙烯白板, 扫描获取全白的标定图像Iwhite(λ ); 在所有枇杷高光谱图像采集完成后, 盖上镜头盖扫描获取黑板图像Idark(λ )。 黑白标定的计算公式为

Rxy(λ)=Ixy(λ)-Idark(λ)Iwhite(λ)-Idark(λ)(1)

式(1)中, Rxy(λ )为校正后的图像数据; Ixy(λ )为原始图像数据; Idark(λ )为全黑图像数据; Iwhite(λ )为全白图像数据。

1.4 极限学习机

极限学习机是架构在单隐层前馈神经网络基础上的算法, 相较于传统单隐层前馈神经网络使用梯度下降法求解网络参数, 极限学习机的输入权值和偏置采用随机赋值的方法, 将最优求解问题转化为最小二乘法求解问题, 因此ELM有快速收敛、 不易陷入局部极值等优点。

∑j=1kg(ωj, bj, xi)βi=y̅i　i, j=1, 2, 3, …, n(2)

式(1)中: g(ω j, bj, xi)是显式激活函数, ω j, bj为连接隐含层第j个神经元的权向量与偏置向量, β i为连接隐含层第i个神经元的权值。

1.5 最小二乘支持向量机

最小二乘支持向量机是一种遵循结构风险最小化原则的核函数学习机器, 是支持向量机(SVM)的一种改进[15], 它将传统SVM中的不等式约束改为等式约束, 且将误差平方和作为损失函数, 将二次规划问题转为求解线性方程组问题, 大大减小了模型运算时间。 LS-SVM用于枇杷碰伤程度定性判别公式为

y(x)=∑i=1NαiK(x, xi)+b(3)

式(3)中, K(x, xi)是核函数, xi输入向量, α i是拉格朗日算子; b是偏差; N是枇杷样品数量。

1.6 特征提取与模型建立

1.6.1 不同碰伤程度的枇杷反射光谱

枇杷碰伤区域处于枇杷中心, 因此枇杷样品在高光谱镜头中心处采集效果最好。 为了消除枇杷表面形状不同造成反射率差异, 应当保持光谱提取区域位置一致。 利用ENVI4.5软件采集枇杷样品的光谱信息与图像信息, 由于单个像素点不具代表性, 因此利用矩形感兴区域选用100个像素点的平均光谱作为特征光谱进行处理。 利用多元散射校正(multivariate scatter correction, MSC)对光谱数据进行预处理, 消除颗粒分布不均匀及颗粒大小产生的散射影响。

枇杷平均反射光谱如图4所示, 几种等级的枇杷光谱波形变化趋势基本一致, 波峰波谷位于同一波长点, 只是反射率的数值有所差异, 在相同波长, 随着碰伤程度增加, 反射率下降。 造成这种情况的原因是枇杷发生碰撞之后, 原有的细胞壁和细胞膜遭到破坏, 细胞内部的水分流失到枇杷表侧, 随着碰伤程度增加, 释放的水分增加。 在图像上, 枇杷表面变黑, 枇杷碰伤时间越久, 碰伤部位颜色越黑; 在光谱上, 由于枇杷内侧水分的释放, 造成表面含水量增加, 反射率降低。 由于枇杷细胞水分的流失是一个缓慢变化的过程, 随着水分的流失, 枇杷的表侧颜色以及光谱也会出现缓慢的变化, 因此枇杷碰撞不同时间后光谱检测结果会略有差异, 但整体趋势是不变的。 本次实验采集枇杷碰伤3 h后的光谱, 是基于枇杷从果农果园中采集到入库储藏的运输时间在3 h左右, 而在入库储藏前对碰伤枇杷的高精度分拣可以减少碰伤枇杷腐烂感染正常枇杷带来的损失。

图4 不同碰伤等级枇杷样品平均光谱图Fig.4 Spectra of samples with different bruising levels

1.6.2 图像特征的提取与分析

基于高光谱摄像机采集的图像, 我们对其进行分析, 获取实验样品图像的RGB三通道数据, 计算对应通道的平均灰度值, 以R通道平均值, G通道平均值, B通道平均值作为变量进行光谱分析。 然而, 实际生活中, RGB颜色模型是基于R(Red: 红)、 G(Green: 绿)、 B(Blue: 蓝三基色不同程度叠加, 产生丰富而广泛的颜色, 却难以准确的描述人眼所观测的数据, 如图5(a)所示。 RGB向HSI模型的转换是由一个基于笛卡尔直角坐标系的单位立方体向基于圆柱极坐标的双锥体的转换, 将RGB中的亮度因素分离, 将色度分解为色调和饱和度, 并用角向量表示色调, 以人的视觉系统来描述色彩, 如图5(b)所示。 混合颜色特征即将R、 G、 B三通道的灰度值与H、 S、 I三通道的灰度值相结合, 同时提供六通道的灰度信息。 综上所述, 将从图片获取的RGB信息转为H、 S、 I三种变量与样品本身光谱信息相结合进行建模分析。

图5 颜色模型
(a): RGB颜色模型; (b): HSI颜色模型Fig.5 Color models
(a): RGB color model; (b): HSI color model

实验对象为枇杷, 在图像采集过程中会将传送带背景采进图中, 这对于后续的图像灰度值计算带来了误差, 因此后续需进行形态学操作[16], 将枇杷从整张图片中分割出来, 消除背景带来的误差。 由于形态学操作是针对灰度图像处理的, 因此需先将图像二值化, 再根据灰度直方图选择合适的阈值进行形态学操作, 消除背景的影响。

1.6.3 枇杷碰伤程度模型建立

高光谱成像系统采集的枇杷图像分辨率为960× 366 pixel, 图像中过多的采集了传送带背景, 由于其不是纯黑背景, 在卤素灯的作用下, 造成其自身带有灰度值。 实验采用的变量为RGB通道的均值及HSI模型的均值作为变量结合光谱信息进行建模分析, 因此利用阈值分割的方法将枇杷样品图像作为前景从图片中分离出来, 根据获取的边界值选用图像掩膜的方法保留前景灰度值进行后续计算[17], 作为颜色特征与光谱特征混合建模进行分析。 整体流程如图6所示。 利用提取出的光谱特征、 图像RGB特征、 图像HSI特征建立光谱特征模型、 光谱特征结合图像RGB特征模型、 光谱特征结合图像HSI特征模型、 光谱特征结合混合图像特征模型四种枇杷碰伤程度模型。

图6 枇杷图像信息与处理流程图Fig.6 Flowchart of loquat image information processing

2 结果与讨论

将自0.4、 0.5和0.6 m处进行跌落实验的枇杷样本分为轻度、 中度、 重度三组进行对照试验, 标记为1、 2、 3, 每组样品数为45个, 利用Kennard-Stone(K-S)算法将实验样品按照建模集样品数与预测集样品数2∶ 1进行划分, 由于K-S算法首先选择欧氏距离最远的两个样本进入训练集, 然后计算剩下的样品到训练集已知样品的欧氏距离, 将具有最大距离的样本放入训练集, 该方法可以保证训练集样本按照空间距离分布。 每一组别中, 建模集样品为30个, 预测集样品为15个, 全局模型为90个样品作为建模集, 45个样品作为预测集。

由于正常图像特征灰度值为几十, 相较于光谱特征中零点几的反射率而言数值过大, 因此需进行归一化处理后再与光谱信息结合建立模型。 结合上述图像特征, 利用RF、 PLS-DA、 ELM、 LS-SVM算法建立光谱特征模型、 光谱特征结合RGB颜色特征模型、 光谱特征结合HSI颜色特征模型、 光谱特征结合混合颜色特征模型共计四种定性分析模型, 其中LS-SVM算法采用径向基函数(radial basis function, RBF)与线性核函数(linear, lin kernel)两种核函数建模, 通过预测集准确率来反应模型优劣。

2.1 基于RF算法的枇杷碰伤程度分析

RF通过集成多个弱分类器[18], 在多个分类器输出的分类结果中票选出投票次数最多的类别作为分类结果, 精度和泛化能力较高。 基于RF算法建立的枇杷碰伤程度模型如表1所示, 其中基于光谱特征、 光谱特征结合RGB图像特征、光谱特征结合HSI图像特征、 光谱特征结合混合图像特征的RF模型预测集准确率分别为86.67%、 91.11%、 91.11%、 91.11%。 RF模型中, 基于光谱特征建立的模型准确率最低, 加入颜色特征后所建立的模型准确率都获得了提高, 但是该模型中光谱特征结合RGB颜色特征、 HSI颜色特征、 混合图像特征情况下建模集的准确率相同, 观察组内误判数可知准确率的提高主要是通过减小重度碰伤组的误判数来实现。

表1 基于RF算法的枇杷碰伤程度模型分类结果 Table 1 Classification results of loquat bruising level model based on RF
2.2 基于PLS-DA算法的枇杷碰伤程度分析

PLS-DA, 是一种统计学方法, 将高维数据降维后建立回归模型并对结果进行分析。 基于PLS-DA算法建立的枇杷碰伤程度模型如表2所示, 其中基于光谱特征、 光谱特征结合RGB图像特征、 光谱特征结合HSI图像特征、 光谱特征结合混合图像特征的PLS-DA模型建模集准确率分别为88.89%、 91.11%、 91.11%、 90%, 预测集准确率分别为86.67%、 86.67%、 88.89%、 86.67%。 PLS-DA模型中, 从训练集结果来看, 基于光谱特征建立的模型准确率最低, 加入颜色特征后所建立的模型准确率都获得了提高。 光谱特征、

表2 基于PLS-DA算法的枇杷碰伤程度模型分类结果 Table 2 Classification results of loquat bruising level model based on PLS-DA

光谱特征结合RGB颜色特征、 混合图像特征模型的预测集准确率相同, 这是由于预测集组内样本数较小造成的, 其RMSEC分别为0.323、 0.304、 0.321, 相较于单光谱特征模型, 结合颜色特征的模型RMSEC更小, 稳定性更好。

基于PLS-DA算法建立的四类不同特征枇杷碰伤程度模型如图7所示, 从(e)、 (f)、 (g)、 (h)中预测集结果来看, 结合RGB颜色特征的模型相较于光谱模型提高了中度、 重度碰伤组准确率; 结合HSI颜色特征的模型相较于光谱模型提高了轻度、 中度碰伤组的准确率; 最终混合模型相较于光谱模型提高了中度碰伤组的准确率。

图7 不同特征下的枇杷碰伤程度PLS-DA模型分类图
(a): 光谱模型建模集; (b): RGB模型建模集; (c): HSI模型建模集; (d): 混合模型建模集; (e): 光谱模型预测集; (f): RGB模型预测集; (g): HSI模型预测集; (h): 混合模型预测集Fig.7 Classification results of PLS-DA model of loquat bruising level under different characteristics
(a): Modeling set of spectral model; (b): Modeling set of RGB fusion model; (c): Modeling set of HSI fusion model; (d): Modeling set of mixed fusion model; (e): Prediction set of spectral model; (f): Prediction set of RGB fusion model; (g): Prediction set of HSI fusion model; (h): Prediction set of mixed fusion model

2.3 基于ELM算法的枇杷碰伤程度分析

基于ELM算法建立的枇杷碰伤程度模型与隐含层神经元个数关系如图8所示, 在隐含层神经元个数较小时, 模型泛化能力差, 这是由于欠拟合造成的。 当隐含层神经元个数超过50时, 模型发生过拟合, 此时训练集模型精度达到100%, 预测集精度随着神经元个数增加而减小, 因此建立模型使用40个隐含层神经元, 此时模型精度最高, 泛化能力最好。

图8 ELM模型隐含层神经元个数迭代图Fig.8 Iterative results of the number of neurons in the hidden layer of the ELM model

ELM模型结果如表3所示, 其中基于光谱特征、 光谱特征结合RGB图像特征、 光谱特征结合HSI图像特征、 光谱特征结合混合图像特征的ELM模型预测集准确率分别为91.11%、 95.56%、 91.11%、 95.56%。 ELM模型中, 基于光谱特征建立的模型准确率最低, 加入RGB颜色特征后所建立的模型准确率都获得了提高, 但是该模型中光谱特征结合HSI颜色特征模型与单光谱特征模型准确率相同, 观察重度碰伤组内误判数可知在结合HSI颜色特征后重度碰伤组准确率获得了提高, 由93.33%提高到96.67%。

表3 基于ELM算法的枇杷碰伤程度模型分类结果 Table 3 Classification results of loquat bruising level model based on ELM
2.4 基于LS-SVM算法的枇杷碰伤程度分析

基于LS-SVM算法建立的枇杷碰伤程度模型如表4所示, 其中根据核函数的不同, 利用RBF核函数和线性核函数分别建立了基于光谱特征、 光谱特征结合RGB颜色特征、 光谱特征结合HSI颜色特征、 光谱特征结合混合颜色特征的LS-SVM模型。 基于RBF核函数的LS-SVM模型准确率分别为95.56%、 97.78%、 97.78%、 100%, 基于线性核函数的LS-SVM模型准确率分别为96.67%、 97.78%、 97.78%、 97.78%。 LS-SVM模型中, 基于RBF核函数建立的光谱特征结合混合图像特征模型效果最好, 对于轻度、 中度、 重度碰伤组内识别率皆达到100%。 通过组内误判数发现, 分类误差主要是中度碰伤组造成的, 单光谱特征的中度碰伤准确率为86.67%, 在结合RGB颜色特征、 HSI颜色特征后, 模型准确率可达93.33%, 结合混合颜色特征后, 模型准确率达到100%。

表4 基于LS-SVM算法的枇杷碰伤程度模型分类结果 Table 4 Classification results of loquat bruising level model based on LS-SVM
2.5 模型分类效果对比

将上述表1、 表2、 表3、 表4中的RF、 PLS-DA、 ELM、 LS-SVM分类结果进行对比, 基于光谱特征、 光谱特征结合RGB颜色特征、 光谱特征结合HSI颜色特征、 光谱特征结合混合颜色特征模型中, 整体表现趋势为单一光谱特征模型准确率最低, 光谱特征结合RGB图像特征、 HSI图像特征两类模型准确率提高, 光谱特征结合混合图像特征的模型准确率最高, 分类结果如表5所示。 其中RF、 PLS-DA、 ELM、 LS-SVM算法在光谱特征结合混合颜色特征模型中, 整体准确率分别为91.11%、 86.67%、 95.56%、 100%, 其中基于RBF核函数的LS-SVM算法分类结果最好。

表5 基于RF、 PLS-DA、 ELM、 LS-SVM算法的模型分类结果 Table 5 Model classification results based on RF, PLS-DA, ELM, LS-SVM
3 结论

利用高光谱成像系统采集不同碰伤程度的枇杷样品的高光谱图像, 基于阈值分割和图像掩膜方法提取出枇杷样品的图像信息, 并从碰伤枇杷图像中提取出R、 G、 B通道的平均灰度值和H、 S、 I通道的平均灰度值作为枇杷碰伤程度模型的颜色特征, 感兴区内100个像素点的平均光谱作为光谱特征。 利用光谱特征和颜色特征结合化学计量学方法建立光谱特征、 光谱特征结合RGB颜色特征、 光谱特征结合HSI颜色特征、 光谱特征结合混合颜色特征的碰伤程度模型, 进行定性判别。 结果表明, 利用RF、 PLS-DA、 ELM、 LIN-LS-SVM、 RBF-LS-SVM算法建立的枇杷碰伤程度模型中, 皆为光谱特征结合混合颜色特征模型分类效果最好, 其准确率分别为91.11%、 86.67%、 95.56%、 100%其中RBF-LS-SVM模型精度最高, 达到了100%。 利用高光谱成像系统实现了对枇杷不同碰伤程度的定性分析, 该研究为后续利用高光谱成像技术结合颜色特征对水果进行定性判别提供理论基础。

参考文献
[1] Besada C, Sanchez G, Gil R, et al. Food Research International, 2017, 100(Part 1): 234. [本文引用:1]
[2] LIU Li-li, LIU Yu-yin, WANG Jie, et al(刘丽丽, 刘玉垠, 王杰, 等). Food Science(食品科学), 2020, 41(5): 306. [本文引用:1]
[3] Carlos B, Ignacio B, Esteban S, et al. Agricultural Water Management, 2018, 205: 1. [本文引用:1]
[4] WU Qiong, ZHOU Ran(吴琼, 周然). Science and Technology of Food Industry(食品工业科技), 2017, 38(11): 356. [本文引用:1]
[5] Wang Nannan, Sun Dawen, Yang Yichao, et al. Food Analytical Methods, 2016, 9(1): 178. [本文引用:1]
[6] Zhao Yingqi, Men Sen, Liu Jiaxin, et al. Advance Journal of Food Science and Technology, 2016, 12(7): 388. [本文引用:1]
[7] Indurani C, Shubham S P, Lankapalli R, et al. Food Analytical Methods, 2019, 12(11): 2438. [本文引用:1]
[8] LI Guo-jin, DONG Di-yong, CHEN Shuang (李国进, 董第永, 陈双). Journal of Agricultural Mechanization Research(农机化研究), 2015, (10): 13. [本文引用:1]
[9] Li Jiangbo, Chen Liping. Computers and Electronics in Agriculture, 2017, 142: 524. [本文引用:1]
[10] Munera S, Gomez-Sanchis J, Aleixos N, et al. Postharvest Biology and Technology, 2021, 171: 111356. [本文引用:1]
[11] Lu Yuzhen, Lu Renfu, Zhang Zhao. Postharvest Biology and Technology, 2021, 180: 111624. [本文引用:1]
[12] LI Xiao-yu, XU Sen-miao, FENG Yao-yi, et al(李小昱, 徐森淼, 冯耀泽, 等). Transactions of the Chinese Society for Agricultural Machinery(农业机械学报), 2016, 47(1): 221. [本文引用:1]
[13] OUYANG Ai-guo, LIU Hao-chen, CHENG Long, et al(欧阳爱国, 刘昊辰, 成龙, 等). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2021, 41(8): 2598. [本文引用:1]
[14] WANG Zhi-yu(王志宇). Journal of Agricultural Mechanization Research(农机化研究), 2022, 44(3): 38. [本文引用:1]
[15] Yusuf F, Olayiwola T, Afagwu C. Fluid Phase Equilibria, 2021, 531: 112898. [本文引用:1]
[16] Lou Shan, Jiang Xiangqian, Zeng Wenwen, et al. Journal of Zhejiang University-SCIENCE A (Applied Physics & Engineering), 2015, 16: 395. [本文引用:1]
[17] Liu Wangyu, Xie Weigui, Dang Yanping, et al. Journal of Natural Fibers, 2020, 17(11): 1605. [本文引用:1]
[18] Saleem M H, Potgieter J, Arif K M. Precision Agriculture, 2021, 22(6): 2053. [本文引用:1]