酥梨货架期的高光谱成像无损检测模型研究
李雄, 刘燕德*, 欧阳爱国, 孙旭东, 姜小刚, 胡军, 欧阳玉平
华东交通大学机电与车辆工程学院, 江西 南昌 330013
*通讯联系人 e-mail: jxliuyd@163.com

作者简介: 李雄, 1992年生, 华东交通大学机电与车辆工程学院助教 e-mail: 1598657020@qq.com

摘要

水果新鲜度是反映水果是否新鲜、 饱满的重要品质指标, 为了探讨水果不同货架期的预测和判别方法, 以酥梨为研究对象, 利用高光谱成像技术, 结合偏最小二乘判别法(PLS-DA)和偏最小二乘支持向量机(LS-SVM)算法对酥梨货架期进行判别。 由光源、 成像光谱仪、 电控位移平台和计算机等构成的高光谱成像装置采集样品光谱, 装置光源采用额定功率为200 W四个溴钨灯泡成梯形结构设计, 光谱范围为1 000~2 500 nm, 分别率为10 nm。 选取优质酥梨30个, 货架期设置为1, 5和10 d, 对30个样品完成3次光谱图像的采集, 并矫正原始图像。 实验结果表明: 基于图像的酥梨货架期定性分析时, 对不同货架期样品的原始图像进行PCA压缩, 得到三种不同货架期的权重系数数据, PC1图像提取特征波长点为1 280, 1 390, 1 800, 1 880和2 300 nm, 以特征图像的平均灰度值作为自变量且以货架期作为因变量建立定性判别模型, 建模集68个, 预测集22个。 最小二乘支持向量机以RBF为核函数时, 预测集中样品的误判个数为1, 误判率为4.5%。 而当采用lin核函数时, 样品的误判个数为0, 误判率为0。 PLS-DA定性分析时RMSEC为1.24, Rc为0.93。 RMSEP为1, Rp为0.96, 预测集误判率为0。 特征图像对酥梨货架期判别LS-SVM中的lin核函数所建立的模型结果较好, 优于RBF核函数的建模效果, 也优于PLS-DA判别模型。 ENVI软件提取实验样品光谱后建立LS-SVM和PLS-DA判别模型, LS-SVM利用RBF和lin核函数误判率分别为4.5%和0。 与RBF核函数相比, lin核函数所建立的模型预测酥梨货架期的效果更好。 PLS-DA方法主成分因子数为12, RMSEC和RMSEP分别为0.48和0.78, Rc Rp分别为0.99和0.97, 建模集与预测集的误判率均为零。 LS-SVM中的lin核函数所建立的模型结果较好, 依然优于PLS所建立的检测模型。 酥梨的光谱信息结合LS-SVM可以实现对酥梨货架期的检测和判别。 基于图像建立酥梨的货架期预测模型与光谱相比, 都实现了酥梨货架期的判别, 而特征图像法, 选择区域较少流失部分信息, 计算量小, 建模结果相对略差。 酥梨货架期的高光谱成像检测模型研究为消费者正确评价水果新鲜度提供了理论指导, 也为后期果水果货架期检测仪器的开发提供了技术支持。

关键词: 高光谱成像; 货架期; 特征图像; 最小二乘判别; 偏最小二乘支持向量机
中图分类号:S24 文献标志码:A
Study on Non-Destructive Testing Model of Hyperspectral Imaging for Shelf Life of Crisp Pear
LI Xiong, LIU Yan-de*, OUYANG Ai-guo, SUN Xu-dong, JIANG Xiao-gang, HU Jun, OUYANG Yu-ping
School of Mechatronics Engineering, East China Jiaotong University, Nanchang 330013, China
*Corresponding author
Abstract

Fruit freshness is an important quality index reflecting whether the fruit is fresh and full. In order to explore the prediction and discrimination methods of different shelf life of fruits, this paper takes the pear as the research object, and uses hyperspectral imaging technology combined with partial least squares discrimination (PLS). DA and partial least squares support vector machine (LS-SVM) algorithm to distinguish the shelf life of pears. The spectrum of the sample is collected by a high-spectrum imaging device consisting of a light source, an imaging spectrometer, an electronically controlled displacement platform, and a computer. The device light source is designed with a ladder power of 200 W four bromine tungsten bulbs, and the spectral range is 1 000~2 500 nm. 10 nm. The material was selected from 30 high-quality pears, and the shelf life was set to 1 day, 5 days and 10 days. Three spectral images were acquired for 30 samples and the original image was corrected. The experimental results show that the image-based analysis of the shelf life of the pears is carried out by PCA compression of the original images of different shelf life samples, and the weight coefficient data of three different shelf periods are obtained. The wavelength points of PC1 image extraction are 1 280, 1 390 and 1 800 nm. 1 880 and 2 300 nm, with the average gray value of the feature image as the independent variable and the shelf life as the dependent variable to establish a qualitative discriminant model, 68 modeling sets and 22 prediction sets. When the least squares support vector machine uses RBF as the kernel function, the number of misjudgments in the predicted concentrated samples is 1, and the false positive rate is 4.5%. When the lin kernel function is used, the number of misjudgments of the sample is 0, and the false positive rate is 0. The RMSEC for PLS-DA qualitative analysis was 1.24, which was 0.93. The RMSEP is 1, which is 0.96, and the prediction set false positive rate is zero. The characteristic image has better model for the lin kernel function in the LS-SVM of the shelf life of the pear, which is better than the modeling effect of the RBF kernel function and better than the PLS-DA discriminant model. The LS-SVM and PLS-DA discriminant models were established by ENVI software to extract the spectra of the experimental samples. The false positive rates of RB-SVM using RBF and lin kernel functions were 4.5% and 0, respectively. Compared with the RBF kernel function, the model established by the lin kernel function predicts the shelf life of the pears better. The PLS-DA method has a principal component factor of 12, RMSEC and RMSEP of 0.48 and 0.78, respectively, and 0.99 and 0.97, respectively. The false positive rate of the modeling set and the prediction set are both zero. The model established by the lin kernel function in LS-SVM is better than the detection model established by PLS. The spectral information of the pears combined with LS-SVM can realize the detection and discrimination of the shelf life of the pears. Compared with the spectrum, the shelf life prediction model based on the image was used to distinguish the shelf life of the pear, while the feature image method, the selected area was less lost part of the information, the calculation amount was small, and the modeling result was relatively poor. The research on the hyperspectral imaging detection model of the shelf life of the pear provides theoretical guidance for consumers to correctly evaluate the freshness of the fruit, and also provides technical support for the development of the fruit shelf detection instrument in the later stage.

Keyword: Hyperspectral imaging technique; Shelf life; Feature image; Least squares discriminant; Partial least squares support vector machine
引 言

水果新鲜度是反映水果是否新鲜、 饱满的重要品质指标, 随着人生活品质的提高和科技进步, 水果成为生活中必不可少的一部分, 交通的便利让人足不出户就能享受世界各地的水果, 人们对水果的新鲜度提出了新的要求。 一些长途运输且不易保鲜的水果, 需要提供一定的储存条件延长其保质期, 例如梨, 黄桃、 荔枝等水果在常温下放置几天或分类、 筛选、 加工运输到达市场的过程表面似乎没有变化, 但内部品质却已发生改变, 影响口感[1, 2, 3]。 实际生活中, 水果加工企业或者消费者在购买水果时仅仅通过眼睛和手感去判断水果的新鲜度, 该方法主观性强、 准确率低, 消费者和水果加工企业容易购买到大量的内部腐烂的不新鲜水果, 造成较大的经济损失, 如何准确、 快速、 无损地检测水果的新鲜度显得尤为重要。

目前, 高光谱和近红外光谱对水果品质检测较为成熟, 尤其是近红外漫透射或漫反射技术可以较好地检测水果的内部品质。 Manuela Zude等[4]利用近红外光谱技术检测苹果果实硬度、 可溶性固形物并预测货架期, 果实的分类正确率达93%, 从而准确预测水果的保质期。 Sinelli等[5]有效利用了近红外光谱技术对包装的意大利乳清干酪储存期间发生的变化实现了监测。 但光谱技术对水果新鲜度及货架期评价方面的报道极少, 高光谱成像技术具有“ 图谱合一” 的特点, 能够有效识别水果损伤、 结痂等外部品质, 从而对水果货架期做出预测[6, 7, 8]。 本研究以酥梨为研究对象, 利用高光谱成像技术对其进行货架期的判别, 为食品加工企业和消费者在购买水果时对水果新鲜度的判断提供参考依据。

1 实验部分
1.1 材料

实验所用的酥梨购买于南昌市某水果店, 样品选取新鲜、 表面无损伤、 果型大小均匀优质酥梨30个, 对30个酥梨样品完成3种不同货架期的光谱图像的采集。 如图1所示为酥梨的部分样品示意图, 图2为酥梨样品的RGB图像。

图1 酥梨样品Fig.1 The sample of pear

图2 样品RGB图像Fig.2 The RGB imaging of sample

1.2 高光谱成像系统

用于采集实验样品图像的高光谱成像装置如图3所示, 硬件主要包括光源、 成像光谱仪、 电控位移平台和计算机等。 其中光源采用四个溴钨灯泡成梯形结构设计, 其额定功率为200 W, 输入电压为12 V, 由稳压电源供电, 光谱范围为1 000~2 500 nm, 光谱分别率为10 nm, 相机像素为320× 256; 为了使样品在采集图像时候不受环境光的影响, 整个成像系统集成在一个密闭柜中。

图3 高光谱成像装置Fig.3 Hyperspectral imaging device

1.3 图像采集

图像采集之前为了消除基线漂移对数据采集的影响, 成像系统预热30 min。 图像采集中, 照射在样品表面的光经反射后携带着的光谱信息被相机镜头所捕获, 得到一维的影响以及光谱信息, 当所有的数据均被计算机软件记录后最终形成一个包含了影像信息和光谱信息的三维数据立方体。 所采集的图像模块既包含有特定像素下的光谱信息也具有特定波长下的图像信息, 数据模块如图4所示。

图4 酥梨高光谱数据模块Fig.4 Crisp pear hyperspectral data block

由于采集样品的高光谱图像会受到光源强度在各波段下分布不均匀以及CCD(charge coupled device)相机中暗电流的影响, 在对数据进行分析处理之前需要对所获得的高光谱图像进行黑白标定, 再利用软件中分析工具选项对所有采集的实验样品的原始高光谱图像进行矫正, 其矫正的公式如(1)所示。

Rλ=Iλ-HλBλ-Hλ(1)

式(1)中, Rλ 为标定后的数据, Hλ 为全黑数据, Bλ 为全白数据, Iλ 为原始数据。

1.4 数据处理

偏最小二乘法通过最小化误差的平方并找到一组数据的最佳匹配函数, 常用于对化学组分与光谱数据之间关系的回归分析。 支持向量机通过非线性内积核函数将线性不可分的低维空间数据映射到一个线性可分的高维特征空间, 在这个特征空间中进行回归拟合, 与SVM(support vector machine)相比, LS-SVM具有更快的求解速度和高精度等优势[9, 10]

2 结果与讨论
2.1 酥梨特征图像的获取

利用酥梨的图像和光谱分别对其货架期进行建模并对比哪种建模结果更好。 基于图像处理酥梨货架期预测方法为: 利用特征图像的平均灰度值建立与酥梨货架期的对应关系并建模。 但每一个样品的原始图像中包含了288幅图像, 要对30个样品中每一个样品的288幅图像进行图像处理, 不仅计算复杂且工作量大还有可能获得较差的建模效果。 因而需要利用相关的化学计量学方法对原始图像进行分析处理, 最终获得最能代表实验样品品质信息的若干幅光谱图像, 即特征图像。 研究中采用的化学计量学方法为主成分分析法(PCA), 主成分分析法是高光谱图像处理的一项常用技术, 具有增强光谱图像的信息含量、 隔离噪声和降低数据维数等优势。 原理为通过多个波段的线性变换使得原始数据映射到一个新的坐标系统, 以使数据的差异性达到最大。

利用PCA分析方法分别对第1天、 第5天和第10天货架期中实验样品的若干图像进行处理分析, 主成分分析后选择了不同货架期的前5个主成分图像, 即每一幅原始图像经压缩后得到5幅主成分图像, 该5个图像能够清晰的反映出酥梨样品的基本信息。 然后从5幅图像中选取质量最佳的图像, 通过提取PC图像中的权重系数数据可以得到各个波长点对该PC图像贡献率的大小, 进而可以得到最佳波长点即特征波长点, 特征波长点所对应的RGB图像即为特征图像。 对不同货架期中样品的原始图像进行PCA压缩后, 最终得到三种不同货架期的权重系数数据。 如图5所示分别为3个货架期下的原始高光谱图像, 从左到右依次为一个样品的第1天、 第5天、 第10天的高光谱原始图像, 其中在进行RGB图像运算时, R, G和B的取值分别为985, 1 205和1 469 nm。

图5 不同货架期下的原始高光谱图像Fig.5 The raw hyperspectral image of different shelf life

通过观察, 其中3幅PC图能更清晰和更准确地反映出酥梨的真实信息, 图6为实验样品在不同货架期下进行主成份压缩后各自所得的3幅PC图, 图中从上到下依次为某一个样品第1天、 第5天和第10天的样品PC图, 在3幅PC图像中, 第1幅PC图像最清晰, 可以准确的反映出样品的全部信息, 适合样本的分割和信息提取, PC2图像中样品中心与边缘颜色差异较大, 而第3幅PC图像则太模糊。 因此, 选取3个不同货架期的PC1图像来进行权重系数的提取, 图7所示为从样品不同货架期的PC1图像中提取的权重系数数据所绘制的3条权重系数曲线图, 三条权重曲线的变化规律基本一致, 通常认为权重系数曲线中的峰和谷所对应的波长点就是特征波长点, 选取了5个特征波长点如图中箭头标记处所示, 对应的特征波长分别为: 1 280, 1 390, 1 800, 1 880和2 300 nm。 在获取特征波长点之后, 根据特征波长点可得到特征图像。

图6 不同货架期下的PC图Fig.6 The PC imaging of different shelf life

图7 不同货架期下的权重系数图Fig.7 The weight coefficient of different shelf life

如图8所示为根据特征波长点所截取的某个实验样品三个货架期的特征图像, 从上而下依次为货架期第1天、 第5天和第10天。

图8 3种货架期下的特征图像Fig.8 The feature imaging of 3 shelf life

2.2 酥梨特征图像的处理

根据特征波长点获取每一个实验样品的特征图像后, 需要对其进行平均灰度值的计算, 利用matlab对图像进行读取, 然后根据样品边缘与除样品之外区域的差异选取合适的阈值, 阈值选取后对图像进行二值化处理, 使得样品区域的灰度值保持不变, 其他区域的灰度值变为零, 然后计算实验样品区域的所有像素点和像素值并求取总和, 最后利用总的灰度值与总的像素点进行比值处理得到实验样品的平均灰度值。 对所有的特征图像进行处理后, 以每一个实验样品的五幅特征图像的平均灰度值作为自变量且以货架期作为因变量, 通过unscrambler软件对其进行定性模型的建立。

2.3 基于图像和光谱的酥梨货架期定性分析模型

2.3.1 基于图像的酥梨货架期定性分析模型

利用最小二乘支持向量机(LS-SVM)和偏最小二乘法(PLS)分别对图像数据建立模型。 实验数据一共90个, 其中68个用于建模集, 剩余的22个用于模型的预测。 如表1所示为根据LS-SVM中不同的核函数对图像数据处理所得到的结果, 从表1可知当最小二乘支持向量机以RBF为核函数时, 预测集中样品的误判个数为1, 误判率为4.5%。 而当采用lin核函数时, 样品的误判个数为0, 误判率为0。

表1 基于图像处理的不同核函数下所建模型结果 Table 1 Model results based on different kernel functions of image processing

通过PLS-DA对实验样品定性分析的结果如图9所示, 从图9可知RMSEC为1.24, Rc为0.93。 RMSEP为1, Rp为0.96, 其中截距B为24.7。 图中的阈值T1T2分别为3和7.5。 当预测值小于3的时候判定其储藏期为1 d, 当预测值介于3和7.5之间则判定其储藏期为5 d, 预测值大于7.5时判定货架期为10 d, 以此作为判定预测集样品是否被误判的标准。 图中红色点代表预测集, 蓝色代表建模集, 可以看出红色的点全部预测正确, 误判率为0, 而建模集中有3个点发生误判。

图9 建模集货架期与预测集货架期关系图Fig.9 The relationship graph of modeling set shelf life and predicting set shelf life

2.3.2 基于光谱的酥梨货架期定性分析模型

为了对比光谱和图像对酥梨货架期预测的结果好坏, 在对图像进行处理和分析外同时从样品的原始图像中提取样品的光谱, 利用ENVI软件对实验样品的光谱进行提取, 在提取的过程中每个样品表面选择的像素点均为30个。

利用所有样品的光谱并结合LS-SVM和PLS-DA算法分别建立模型, 寻找最佳的建模结果。 表2所示为LS-SVM的建模结果, 利用RBF和lin核函数分别对22个预测集样品进行预测, 其误判的样品个数分别为1和0, 误判率分别为4.5%和0。 与RBF核函数相比, 利用lin核函数所建立的模型预测酥梨货架期的结果更好。

表2 基于光谱处理的不同核函数所建立的模型结果 Table 2 Model result based on different kernel function of spectral processing

图10为利用光谱数据结合PLS方法所建立酥梨货架期模型的主成分因子数决定图, 红色曲线代表建模集均方根误差随着主成分因子数增加而变化的曲线, 蓝色曲线代表预测集均方根误差随着主成分因子数增加而变化的曲线, 从图中可知随着主成分因子数的增加建模集和预测集的均方根误差呈现的趋势为先降低后保持大体不变, 建模集曲线虽然在主成分因子数为15的地方有所反弹但是随之又降低, 预测集曲线在主成分因子数为9之后基本保持水平且均方根误差保持基本不变, 结合两条均方根误差曲线的变化最终得到酥梨货架期主成分因子数为12。 图11为模型预测结果图, 实验样品一共90个, 其中68个用于建模集进行模型的建立, 剩余的22个用于预测集检测模型的预测结果, 从图中可知, RMSEC和RMSEP分别为0.48和0.78, RcRp分别为0.99和0.97, 其中截距B为10.92, 阈值T1T2分别为3和7.5, 判断一个样品是否被误判的标准与前文基于图像建立判别模型的标准相同, 从图中可以看出建模集与预测集均在阈值范围内, 因此建模集与预测集的误判率均为零。

图10 酥梨货架期主成分因子数决定图Fig.10 The number principal component factor decision diagram of pear shelf

图11 酥梨货架期预测值与真实值之间的关系Fig.11 The relationship of pear shelf life predicted value and true value

图12所示为模型的回归系数图, 全谱中的各个变量均在酥梨货架期判别中发挥了作用, 在不同的峰值处有对应的波长点, 而波长点分别对应1 030, 1 368, 1 863, 2 145和2 410 nm处波长, 此处提供信息较多, 对变量货架期预测建贡献较大。 将采集到的酥梨能量谱代入式(2)中, 经计算得到判别值 y^, 当 y^值小于阈值3时被判定为1 d即货架期为1 d, y^值介于阈值3和7.5之间时被判定为5 d, 而当 y^值大于7.5时则被判为10 d。

图12 酥梨货架期回归系数图Fig.12 The regression coefficient map of pear shelf

3 结 论

通过高光谱成像技术基于图像和光谱建立酥梨的货架期预测模型, 对比发现光谱并结合最小二乘支持向量机中的lin核函数所建立的模型结果最优, 其预测集相关系数和预测集均方根误差分别为0.98和0.65, 误判率为零。 基于图像所建立的模型与之相比略差, 原因可能是特征图像选择相对较少导致某些重要信息的流失, 同时在对图像处理的过程中阈值的选择是否合理也是导致建模结果较差的一个重要原因。 本实验利用特征图像的平均灰度值作为模型的自变量计算量小、 效率高, 实现了酥梨货架期的判别。 两种途径结合两种算法对酥梨的货架期进行了预测, 都取得了较好的实验效果, 该实验可为实际生产加工中对梨的品质鉴定提供参考和依据。

参考文献
[1] SONG Xue-jian, WANG Hong-jiang, ZHANG Dong-jie, et al(宋雪健, 王洪江, 张东杰, ). Nondestructive Testing(无损检测), 2017, 39(10): 71. [本文引用:1]
[2] SUN Hai-xin, YAN Mei-ling, LU Rong-rong(孙海新, 闫美伶, 陆容容). Food Technology(食品科技), 2015, (5): 334. [本文引用:1]
[3] WEN Shu-xian, LI Shao-wen, JIN Xiu, et al(温淑贤, 李绍稳, 金秀, ). Journal of Computer Science(计算机科学), 2017, 44(S1): 216. [本文引用:1]
[4] Manuela Zude, Bernd Herold, Jean-Michel Roger, et al. Journal of Food Engineering, 2005, 77(2): 254. [本文引用:1]
[5] Sinelli N, Barzaghi S, Giardina C, et al. Journal of Near Infrared Spectroscopy, 2006, 13(5): 293. [本文引用:1]
[6] SUN Jun, JIN Xia-ming, MAO Han-ping, et al(孙俊, 金夏明, 毛罕平, ). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报), 2014, 30(10): 167. [本文引用:1]
[7] HUANG Shuang-ping, QI Long, MA Xu, et al(黄双萍, 齐龙, 马旭, ). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报), 2015, 31(1): 212. [本文引用:1]
[8] LIU Ya, Mu Hetar·Migiti, CAO Peng-cheng, et al(刘亚, 木合塔尔·米吉提, 曹鹏程, ). Agricultural Technology and Equipment(农业科技与装备), 2016, (5): 50. [本文引用:1]
[9] LIU Xue, LI Ya-mei, LIU Jiao, et al(刘雪, 李亚妹, 刘娇, ). Transactions of the Chinese Society of Agricultural Machinery(农业机械学报), 2015, 46(10): 328. [本文引用:1]
[10] LIU Yan-de, CHENG Meng-jie, HAO Yong, et al(刘燕德, 程梦杰, 郝勇). Journal of East China Jiaotong University(华东交通大学学报), 2018, 35(4): 1. [本文引用:1]