引用本文
刘燕德, 王舜. 基于图像和光谱融合的脐橙货架期高光谱成像无损检测研究[J]. 光谱学与光谱分析, 2022,42(6): 1792-1797.
LIU Yan-de, WANG Shun. Research on Non-Destructive Testing of Navel Orange Shelf Life Imaging Based on Hyperspectral Image and Spectrum Fusion[J]. Spectroscopy and Spectral Analysis, 2022,42(6): 1792-1797.
Doi:10.3964/j.issn.1000-0593(2022)06-1792-06  
Permissions
Copyright©2022, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
基于图像和光谱融合的脐橙货架期高光谱成像无损检测研究
刘燕德, 王舜
华东交通大学机电与车辆工程学院, 江西 南昌 330013

作者简介: 刘燕德,女, 1967年生,华东交通大学机电与车辆工程学院教授 e-mail: jxliuyd@163.com

收稿日期: 2021-04-24 修回日期: 2021-06-07
基金: 国家自然科学基金项目(31760344),水果光电检测技术能力提升项目(S2016-90)资助
摘要

水果货架期是影响水果品质的重要因素之一, 快速无损检测货架期是消费者、 食品加工企业日益关心的问题, 为了探讨水果不同货架期的预测判别方法的可行性, 以不同货架期脐橙为实验样品, 运用高光谱成像技术并结合化学计量学方法对不同货架期脐橙进行了预测判别。 分别采集脐橙货架期第0天、 第7天、 14天后的脐橙样本高光谱图像, 并进行高光谱图像校正。 从光谱角度, 提取脐橙样本的平均光谱, 每条光谱有176个波长点; 从图像角度, 先提取脐橙样本的RGB和HSI颜色空间中R, G, B, H, S和I特征值, 得到6个分量的均值, 然后提取灰度共生矩阵的能量、 熵、 对比度、 逆差矩、 相关性的5个图像纹理信息, 一共11个图像特征值, 并将图像特征进行归一化处理; 结合光谱和图像信息, 即176个原始光谱和11个图像信息一共187个特征值。 利用光谱信息、 图像信息、 光谱和图像融合信息进行建模, 分别建立偏最小二乘支持向量机(LS-SVM)和偏最小二乘判别(PLS-DA)模型。 当原始176个光谱变量作为输入变量, 核函数为LIN-Kernel时, LS-SVM模型预测效果最佳, 预测集误判率为5.33%。 当11个图像特征变量作为输入变量, 核函数为LIN-Kernel时, LS-SVM模型预测效果最佳, 预测集误判率较高为20%。 当原始176个光谱变量和11个图像特征变量的融合特征作为输入变量, 核函数为LIN-Kernel时, LS-SVM模型预测效果最佳, 预测集误判率为1.33%。 实验结果表明, 以光谱和图像融合信息建立LS-SVM模型效果最优, 提高了对不同货架期脐橙识别的正确率, 可实现对不同货架期的脐橙准确有效分类识别, 误判率为1.33%。 利用高光谱成像技术对不同货架期脐橙进行快速判别, 对消费者购买新鲜水果和水果深加工企业具有一定程度的理论指导, 也为后期相关仪器研发奠定了基础。

关键词: 高光谱; 无损检测; 脐橙; 货架期
中图分类号:O657.3 文献标志码:A
Research on Non-Destructive Testing of Navel Orange Shelf Life Imaging Based on Hyperspectral Image and Spectrum Fusion
LIU Yan-de, WANG Shun
School of Mechatronics & Vehicle Engineering, East China Jiaotong University, Nanchang 330013, China
Abstract

Fruit shelf life is one of the important factors affecting fruit quality. Rapid non-destructive testing of fruit shelf life is an increasingly concerned issue for consumers and food processing enterprises. In order to explore the feasibility of prediction and discrimination methods for different shelf life of fruits, navel oranges with different shelf life were used as experimental samples, and hyperspectral imaging technology combined with chemometric methods were used to predict and discriminate navel oranges with different shelf life. The hyperspectral images of navel orange samples on day 0, day 7 and day 14 of the shelf life of navel orange were collected and corrected. From the spectral point of view, the average spectrum of navel orange samples was extracted, each spectrum had 176 wavelength points ; from the perspective of image, the R, G, B, H, S and I eigenvalues of navel orange samples in RGB and HSI color space were extracted, and the mean values of six components were obtained. Then, five image texture information of energy, entropy, contrast, inverse moment and correlation of gray level co-occurrence matrix were extracted, and a total of 11 image eigenvalues were extracted, and the image features were normalized. Combining spectral and image information, namely 176 original spectral and 11 image information, a total of 187 eigenvalues. Partial least squares support vector machine ( LS-SVM ) and partial least squares discriminant analysis ( PLS-DA ) models were established by using spectral information, image information, spectrum and image fusion information. When the original 176 spectral variables are used as input variables and the kernel function is LIN-Kernel, the LS-SVM model has the best prediction effect, and the misjudgment rate of prediction set is 5.33%. When 11 image feature variables are used as input variables and the kernel function is LIN-Kernel, the LS-SVM model has the best prediction effect, and the misjudgment rate of prediction set is 20%. When the fusion features of the original 176 spectral variables and 11 image feature variables are used as input variables and the kernel function is LIN-Kernel, the LS-SVM model has the best prediction effect, and the misjudgment rate of the prediction set is 1.33%. The experimental results show that the LS-SVM model based on spectral and image fusion information has the best effect, which improves the accuracy of navel orange recognition in different shelf life, and can realize accurate and effective classification and recognition of navel oranges in different shelf life. The misjudgment rate is 1.33%. The rapid identification of navel oranges in different shelf life by hyperspectral imaging technology has a certain degree of theoretical guidance for consumers to purchase fresh fruit and fruit deep processing enterprises, and lays a foundation for the development of related instruments in the future.

Keyword: Hyperspectral; Non-destructive testing; Navel orange; Shelf life
引言

水果富含维生素等营养物质, 吃水果可以增强免疫力。 随着收入的增加, 人们对高品质水果的需求越来越旺盛。 水果长期储存放置后会引起失水、 氧化等, 水果的内部品质也会发生改变, 会导致食用口感的变化[1]。 但是, 食品企业或消费者难以通过肉眼准确判断水果的货架期和新鲜程度, 因此快速准确预测水果所处的货架期十分重要。

高光谱成像技术结合了图像和光谱信息, 具有快速、 准确、 无损等优势。 目前, 高光谱技术对水果品质检测较为成熟, Wang等[2]利用高光谱成像技术的图像和光谱信息, 结合模式识别算法, 对不同保质期香蕉进行了预测正确率达到90%。 Baranowski等[3]使用高光谱技术对5种不同损伤时间的苹果进行识别分类, 采集了苹果碰伤后2, 5, 6, 9, 12和14 d的图像, 对高光谱数据进预处理, 分别利用SVM, LDA和BP神经网络等模式识别算法对苹果碰伤时间进行预测判别。 结果表明: LDA模型预测效果最佳, 识别的正确率为90%以上。 Francesca等[4]使用高光谱技术测定葡萄的最佳采收期, 采集了5个不同时期收获的葡萄光谱, 使用了不同的光谱预处理方法, 建立了SIMCA模型和PLS-DA模型。 PLS-DA模型正确率较高, 除了第五个采收期葡萄识别正确率为94%, 其余的所有分类正确率均为100%。 有研究使用高光谱技术分别采集了4和18 ℃下存储时间为0, 2和4 d各120个猕猴桃样本的图像, 提取光谱, 以载荷系数法(XL)与连续投影算法(SPA)挑选的波长为输入, 建立LS-SVM判别模型。 结果表明, 对于4 ℃下3种货架期, 预测集误判率均为10%以下, 18 ℃时, 预测误判率均为0%。 现有脐橙高光谱检测主要集中在病害、 腐烂识别[6, 7, 8, 9], 但利用高光谱技术对脐橙货架期预测鲜有报道。

以脐橙为实验对象, 使用高光谱成像技术采集不同货架期的脐橙的图像, 结合化学计量学方法, 对不同货架期脐橙进行快速无损诊断, 对水果的销售、 存储和深加工企业具有一定程度的指导意义。

1 实验部分
1.1 样品

实验样品是同一品种纽荷尔脐橙, 产地为江西赣南, 实验样品数为105个, 将赣南脐橙的样品放置于实验室环境室温20~25 ℃和相对湿度60%存储, 共分为三个时间点采集脐橙高光谱图像, 同时确保高光谱成像系统在第一次采集与第两次、 第三次采图像时候仪器和软件参数一致。 第一次采集赣南脐橙的高光谱图像后, 在室温环境存储6 d后, 即是货架期的第7天, 再对105个脐橙进行第二次高光谱图像采集, 继续储存赣南脐橙6 d, 即是货架期的第14天对105个脐橙样品进行第三次光谱图像采集。 图1是不同货架期脐橙的高光谱图像, 图1(a)是第0天货架期脐橙高光谱图像, 图1(b)是第7天货架期脐橙高光谱图像, 图1(c)是第14天货架期脐橙高光谱图像。

图1 不同货架期脐橙高光谱图像
(a): 第0天脐橙; (b): 第7天脐橙; (c): 第4天脐橙Fig.1 Hyperspectral image of navel orange sample
(a): Day 0 navel orange; (b): Day 7 navel orange; (c): Day 14 navel orange

1.2 高光谱系统

采用北京GaiaSorter高光谱分选仪, 主要由一台计算机, 一台成像光谱仪, 成像光谱仪由光谱仪(ImSpector, V10E, 芬兰)和CCD摄像机(Hamamatsu C8484-05G)组成, 2个20 W卤素灯, 输入电压为12 V, 一个步进电机位移平台等组成, 光谱仪的分辨率为10 nm, 分辨率为1 344×1 024像素。 整个成像系统放在封闭暗箱中, 防止环境光的影响, 卤素灯、 摄像机等部件放置在箱体的上方, 步进电机和运动平台放置在箱体的下方。

1.3 图像采集

在进行高光谱图像采集数据之前, 需要对高光谱成像系统预先加热, 预热的目的是为了消除极限漂移对于采集图像质量的影响。 高光谱相机成像波长范围为397~1 070 nm, 高光谱相机曝光的时间设置为20 ms, 位移平台的移动速度设置为10 mm· s-1, 位移平台移动一个来回后, 等移动平台停止移动时放置一个脐橙样本在上面。

1.4 反射率校正

由于CCD相机中会有暗电流, 为了得到清晰优质的图像, 进行全黑图像和全白图像的采集, 采集完成后利用软件计算黑白校正数据。 校正计算公式如式(1)

R=Iraw-IdarkIwhite-Idark(1)

式(1)中, R为校正计算校正后的图像, Iraw为原始图像, Iwhite为全白图像, Idark为全黑图像。

1.5 数据处理

偏最小二乘判别分析(PLS-DA)是一种基于PLS算法对样本进行定性分类的方法。 利用样本的分类赋值和样本的光谱矩阵建立模型, 实现对输入变量的定性判断, 见式(2)

Y=∑i=1Nβiλi+B(2)

式(2)中, Y是样本在模型中的预测值, N是建模光谱变量的数目, i是光谱第i个变量, β 是光谱反射值, λ是回归系数, B是模型的截距。

LS-SVM是优化的SVM, 采用最小二乘线性系统作为损失函数, 代替传统支持向量机采用的较复杂的二次规划方法, 简化计算, 提高了运算速度。

2 结果与讨论
2.1 脐橙样品光谱特征分析

脐橙存储随着时间的推移, 会引起失水、 氧化等, 脐橙的外部果皮也悄然发生着改变, 从视觉上看出货架期延长赣南脐橙果皮颜色会渐渐变暗、 没有光泽, 赣南脐橙果皮变化、 产生褶皱, 纹理越来越粗糙。 故大致可以从脐橙果皮颜色光泽、 和纹理粗糙程度判断不同货架期的赣南脐橙。 图2为不同货架期赣南样品光谱对比图。

图2 不同货架期脐橙代表性的光谱对比图Fig.2 Comparison chart of representative spectra of navel oranges with different shelf life

由图2可知: 三种不同货架期脐橙果代表性的平均光谱曲线, 在不同波长下的反射值有些差别, 从图可以得到, 397~480 nm波段的光谱反射值先开始下降后保持平稳的趋势, 这个波段的反射值比较低, 480~630 nm波段反射值表现为上升态势, 在730~850 nm波段反射值大体保持不变, 在850~980 nm波段反射值呈现下降趋势。 在670和980 nm附近有两个吸收峰, 670 nm附近可能为叶绿素[9]的吸收, 970 nm附近处为水的O—H二级吸收倍频[10]。

2.2 脐橙样品图像特征提取

2.2.1 颜色特征

常用的颜色特征包括RGB颜色特征, HSI颜色特征等。 提取不同货架期脐橙样品整个图像的RGB颜色特征和HSI颜色特征中R, G, B, H, S和I颜色分量的每个分量的平均值, 并进行建模, 共采用6个特征变量进行建模。

2.2.2 灰度共生矩阵

灰度共生矩阵(GLCM)的纹理分析方法是一种基于估计图像二阶组合的条件概率密度的方法。 实验选用灰度共生矩阵中常用且不相关的5个关键特征: 能量、 熵、 相关性、 对比度、 逆差矩[11, 12]。

随着脐橙货架期延长赣南脐橙果皮颜色渐渐变暗、 没有光泽, 赣南脐橙果皮变化、 产生褶皱, 纹理越来越粗糙, 因此选择图像的RGB、 HIS颜色空间和灰度共生矩阵的能量、 熵、 对比度、 逆差矩、 相关性, 作为赣南脐橙样品图像特征。 先分别提取整个赣南脐橙的图像RGB、 HSI颜色特征值各自的均值, 分别为R, G, B, H, S和I的均值; 然后分别提取整个赣南脐橙的图像灰度共生矩阵的能量、 熵、 对比度、 逆差矩、 相关性5个值。 最后将6个颜色分量的平均值和灰度共生矩阵的5个均值, 共11个特征值作为图像特征建模的输入变量。

2.3 脐橙货架期定性模型的建立

为了比较脐橙光谱特征、 图像特征和融合特征模型效果的优劣, 分别建立PLS-DA、 LS-SVM定性模型, 并进行模型比较。 实验脐橙样品总数为315个, 其中三个货架期脐橙建模集样本共240个, 每种货架期各80个; 三个货架期脐橙预测集样本共75个, 每种货架期分别是25个。 在建立模型前, 将第0天的脐橙样品赋值为1, 第7天脐橙样品赋值为2, 第14天的脐橙样品赋值为3, 取两者的中间值作为分类阈值。 若预测值小于阈值1.5 判定为第0天的脐橙, 若预测值介于阈值1.5与2.5之间判定为第7天的脐橙, 若预测值大于阈值2.5判定为第14天的脐橙。

2.3.1 基于光谱特征的脐橙货架期定性模型的建立与分析

采用ENVI4.5软件选取感兴趣区域提取平均光谱作为输入变量, 构建PLS-DA模型。 表1是利用PLS-DA算法基于光谱特征建立的定性判别模型及模型的预测结果。 PLS-DA模型预测集均方根误差(RMSEP)和预测集相关系数(Rp), 分别为0.29和0.94。 原始176个光谱建立的偏最小二乘判别模型(PLS-DA)对各种脐橙样品的定性分析结果, 在预测集中每个类别的脐橙均有25个, 由表1可看出第0天、 第7天、 第14天脐橙预测集的误判个数, 分别为3个、 0个、 3个, 总体的误判率为8%。

表1 基于光谱特征的PLS-DA模型结果 Table 1 PLS-DA model results based on spectral characteristics

表2是基于光谱特征来建立的脐橙货架期的LS-SVM算法模型, 使用两种不同核函数, 当核函数为RBF-Kernel, 对应的参数σ 2为6 359, γ 为59 078时预测集误判率最低, 误判率为5.33%; 当核函数为LIN-Kernel, 对应的参数γ 为1.4时预测集误判率最高, 误判率为9.3%。 综合比较, LS-SVM 模型, 当核函数为RBF-Kernel时预测集误判率最低。

表2 基于光谱特征的LS-SVM模型结果 Table 2 LS-SVM model results based on spectral characteristics

对比表1和表2, 光谱脐橙特征建立的PLS-DA、 LS-SVM的两种模型, RBF核函数LS-SVM进行建模时误判率较低。 由图3可知, 三种不同货架期脐橙的误判个数, 对第0天、 第7天、 第14天脐橙预测集的误判个数其中分别为2个、 1个、 1个, 有2个第0天的脐橙被误判为第7天的脐橙, 有1个第7天的脐橙被误判为第0天的脐橙, 有1个第14天的脐橙被误判为第7天的脐橙, 总体的误判率为5.33%。

图3 LS-SVM中RBF-Kernel的预测集分类结果Fig.3 The prediction set classification results of RBF-kernel in LS-SVM

2.3.2 基于图像特征的货架期定性模型的建立与分析

基于图像特征建立模型之前要将图像特征归一化处理, 归一化到0到1之间以避免数值大小的影响。 表3为基于图像特征PLS-DA模型结果, 其预测集均方根误差(RMSEP)和预测集相关系数(Rp), 分别为0.238和0.88。 11个图像特征建立的偏最小二乘判别模型(PLS-DA)对各种脐橙样品的定性分析结果, 由表3可看出, 在预测集中每个类别的脐橙均有25个, 第0天、 第7天、 第14天脐橙预测集的误判个数其中分别为1个, 9个, 6个, 误判个数也偏高, 总体的误判率为21.3%。

表3 基于图像特征的PLS-DA模型结果 Table 3 Results of PLS-DA model based on image features

表4为利用11个图像特征, 建立的LS-SVM模型之前需要将图像特征归一化处理, 当核函数为RBF-Kernel, 对应的参数σ 2为177, γ 为124时预测集误判率最高, 误判率为22.2%; 当核函数为LIN-Kernel, 对应的参数γ 为3 795时预测集误判率最低, 误判率为20%。 综合比较可得, LS-SVM模型, 当核函数为LIN-Kernel时预测集误判率最低。

表4 基于图像特征LS-SVM模型结果 Table 4 LS-SVM model results based on image features

对比表3和表4, 光谱脐橙特征建立的PLS-DA、 LS-SVM的两种模型, LIN核函数的LS-SVM进行建模时效果最好。 由图4可知, 三种不同货架期脐橙的误判个数, 对第0天、 第7天、 第14天脐橙预测集的误判个数其中分别为0个、 9个、 6个, 有9个第7天的脐橙被误判为第14天的脐橙, 有6个第14天的脐橙被误判为第7天的脐橙, 总体的误判率为20%。

图4 LS-SVM中LIN-Kernel的预测集分类结果Fig.4 The prediction set classification results of LIN-kernel in LS-SVM

2.3.3 基于特征融合的脐橙货架期定性模型的建立与分析

在建模之前, 176个光谱特征和11个图像特征归一化到0到1之间, 以避免数值大小的影响。 将176个光谱特征和11个图像特征融合到一起, 就共有187个特征。 表5基于融合特征建立的定性判别模型, 误判个数较少。 PLS-DA模型的预测集均方根误差(RMSEP)预测集相关系数(Rp), 分别为0.2和0.97。 特征融合建立的偏最小二乘判别模型(PLS-DA)对各种脐橙样品的定性分析结果, 由表5可看出第0天、 第7天、 第14天脐橙预测集的误判个数。 在预测集中每个类别的光谱均有25个, 其中第0天的脐橙误判个数为0, 第7天的脐橙误判个数为1, 第14天的脐橙误判个数为0, 总体的误判率为1.3%, 预测效果极好。

表5 基于融合特征的PLS-DA模型结果 Table 5 Results of PLS-DA model based on mixed features

表6为利用光谱和图像融合特征, 176个光谱特征和11个图像特征融合, 建立的LS-SVM模型, 当核函数为RBF-Kernel, 对应的参数σ 2为24 810, γ 为7 595时预测集误判率最高, 误判率为2.67%; 当核函数为LIN-Kernel, 对应的参数γ 为8.5时, 预测集误判率最低, 误判率为1.33%。 综合比较可得, LS-SVM模型, 当核函数为LIN-Kernel时预测集误判率最低, 判别效果最佳。

表6 基于融合特征LS-SVM模型结果 Table 6 LS-SVM model results based on mixed features

对比表5和表6, 脐橙图像11个特征建立的PLS-DA、 LS-SVM两种模型, 可知LIN核函数的LS-SVM进行建模结果最好。 由图5可知, 三种不同货架期脐橙的误判个数, 对第0天、 第7天、 第14天脐橙预测集的误判个数分别为0个、 1个、 0个, 有1个第7天的脐橙被误判为第14天的脐橙, 总体的误判率为1.33%。

图5 LS-SVM中LIN-Kernel的预测集分类结果Fig.5 The prediction set classification results of LIN-kernel in LS-SVM

2.4 定性判别模型的对比分析

对不同脐橙货架期样品进行光谱、 图像、 融合特征提取, 建立PLS-DA、 LS-SVM两种定性判别模型。 两种定性判别模型最佳预测结果如表7所示, 从表7可知, 以176个光谱变量作为输入变量且核函数为RBF-Kernel时的LS-SVM模型, 预测集误判率为5.3%。 以11个图像特征变量作为输入变量且核函数为LIN-Kernel时的LS-SVM模型, 预测集误判率较高预测误判率为20%。 以176个光谱变量和11个图像特征变量的融合特征作为输入变量且核函数为LIN-Kernel时的LS-SVM模型, 预测集误判率为5.3%。 综合比较, 运用融合特征结合LS-SVM判别模型, 更适于的定性判别。

表7 不同特征两种定性判别模型结果统计 Table 7 Result statistics of two qualitative discriminant models with different characteristics
3 结论

以货架期第0天赣南脐橙、 第7天赣南脐橙、 第14天赣南脐橙为实验样品, 利用高光谱系统采集不同货架期脐橙的高光谱图像, 提取样品的光谱信息、 图像信息、 光谱和图像融合信息, 运用PLS-DA, LS-SVM算法对脐橙货架期进行了分类识别研究。 以176个光谱变量特征、 11个图像特征和187个融合特征为输入变量时, 分别建立PLS-DA、 LS-SVM判别分析模型, 光谱和图像融合特征对脐橙货架期进行分类都取得了较低的误判率。 尤其是以核函数为LIN-Kernel时, 融合特征波长建立的LS-SVM模型, 预测集误判率最低为1.33%, 优化了模型, 提高模型识别的正确率, 对不同货架期的脐橙实现了准确高效的预测。 结果表明, 高光谱成像技术可用于脐橙货架期的快速识别检测。 本研究对水果的销售、 存储和深加工企业具有一定程度的指导意义。

参考文献
[1] SONG Xue-jian, WANG Hong-jiang, ZHANG Dong-jie, et, al(宋雪健, 王洪江, 张东杰, 等). Nondestructive Testing(无损检测), 2017, 39(10): 71. [本文引用:1]
[2] Wang N N, Yang Y C, Sun D W, et, al. Food Analytical Methods, 2015, 8(5): 1173. [本文引用:1]
[3] Baranowski P, Mazurek W, Pastuszka-Woźniak J. Postharvest Biology and Technology, 2013, 86: 249. [本文引用:1]
[4] Francesca Piazzolla, Maria Luisa Amodio, Giancarlo Colelli. Journal of Agricultural Engineering, 2013, 44: 2. [本文引用:1]
[5] Lorente D, Blasco J, Serrano A J, et al. Food Bioprocess Technol. , 2013, 12(6): 3613. [本文引用:1]
[6] Li J, Huang W Q, Tian X, et al. Comput. Electron. Agric. , 2016, 127: 582. [本文引用:1]
[7] Tian X, Fan S X, Huang W Q, et al. Postharvest Biol. Technol. , 2020, 116: 111071. [本文引用:1]
[8] Qin J W, Burks T F, Zhao X H, et al. J. Food Eng. , 2012, 108: 87. [本文引用:1]
[9] Zude-Sasse M, Truppel I, Herold B. Postharvest Biology and Technology, 2002, 25(2): 123. [本文引用:2]
[10] CHU Xiao-li(褚小立). Near Infrared Spectroscopy Analytical Technology Practical Faced(近红外光谱分析技术实用手册). Beijing: China Machine Press(北京: 机械工业出版社), 2016. [本文引用:1]
[11] Ma J, Pu H, Sun D W, et al. International Journal of Refrigeration, 2015, 50: 10. [本文引用:1]
[12] Shao Y, Zhou H, Jiang L, et al. Transactions of the American Society of Agricultural Engineers, 2017, 60(1): 207. [本文引用:1]