图谱数据融合的灵武长枣瘀伤等级判别
景怡萱1, 吴迪2, 刘贵珊2,*, 何建国2,*, 杨世虎2, 马萍2, 孙媛媛2
1.宁夏大学物理与电子电气工程学院, 宁夏 银川 750021
2.宁夏大学食品与葡萄酒学院, 宁夏 银川 750021
*通讯作者 e-mail: liugs@nxu.edu.cn; hejg@nxu.edu.cn

作者简介: 景怡萱, 1998年生, 宁夏大学物理与电子电气工程学院硕士研究生 e-mail: yixuanjing2021@163.com

摘要

利用近红外高光谱成像技术(NIR-HSI), 将采集的光谱信息融合图像纹理信息建立分类模型, 实现灵武长枣瘀伤等级的判别。 采用瘀伤装置获得瘀伤等级为Ⅰ、 Ⅱ、 Ⅲ、 Ⅳ、 Ⅴ级的200个长枣样品, 并按3:1的比例划分校正集和预测集。 采集不同瘀伤等级长枣的近红外高光谱图像, 使用ENVI软件提取感兴趣区域(region of interest, ROI)并计算平均光谱值。 为消除无用信息的干扰, 采用正交信号修正(OSC)、 基线校准(Baseline)、 多元散射校正(MSC)、 移动平均(MA)、 卷积平滑(S-G)和去趋势(De-trending)对原始光谱进行预处理并建立偏最小二乘判别分析(PLS-DA)模型; 基于最优预处理方法所得的全波段数据采用变量组合集群分析法(VCPA)、 无信息消除变量算法(UVE)、 竞争性自适应加权抽样算法(CARS)、 区间变量迭代空间收缩法(iVISSA)和连续投影算法(SPA)提取特征波长后建立PLS-DA模型; 将高光谱图像进行掩膜, 利用主成分分析(PCA)获取贡献率最高的主成分图像, 并在该图像上采用灰度共生矩阵(GLCM)提取纹理参数, 包括能量(ASM)、 熵(ENT)、 对比度(CON)和相关性(COR), 建立图谱融合的PLS-DA模型。 结果表明, 原始光谱数据建立的PLS-DA模型, 校正集和验证集准确率分别为89%和86%; 原始光谱经De-trending预处理后的PLS-DA模型效果最优, 校正集和预测集准确率均为90%, 较原始光谱模型分别提高了1%和4%; 基于SPA选择特征波长后建立的PLS-DA模型的校正集和预测集准确率均为90%; De-trending-SPA-COR-PLS-DA图谱融合模型效果最优, 模型校正集和预测集准确率均为92%。 因此, 利用近红外高光谱成像技术融合纹理信息可实现不同瘀伤等级灵武长枣的快速无损判别。

关键词: 灵武长枣; 高光谱; 图谱信息融合; 瘀伤等级判别
中图分类号:TS255 文献标志码:A
Fusion of Near-Infrared Hyperspectral Imaging (NIR-HSI) and Texture Feature for Discrimination of Lingwu Long Jujube With Different Bruise Grades
JING Yi-xuan1, WU Di2, LIU Gui-shan2,*, HE Jian-guo2,*, YANG Shi-hu2, MA Ping2, SUN Yuan-yuan2
1. School of Physics and Electronic-Electrical Engineering, Ningxia University, Yinchuan 750021, China
2. School of Food and Wine, Ningxia University, Yinchuan 750021, China
*Corresponding authors
Abstract

Near-infrared hyperspectral imaging technology (NIR-HSI) was used to collect spectral image texture information to realize the discrimination of different bruise grades of Lingwu jujubes. 200 long jujube samples with bruising gradesⅠ, Ⅱ, Ⅲ, Ⅳ and Ⅴ were obtained by the bruising device, and the calibration set and prediction set were divided according to the ratio of 3:1. Hyperspectral images of jujubes with different bruising grades were collected by NIR-HSI, the region of interest (ROI) was extracted using ENVI software and the average spectral value was calculated. Orthogonal signal correction (OSC), baseline, multiplicative scatter correction (MSC), moving average (MA), savitzky-golay (S-G) and de-trending were used to preprocess the original spectra and a partial least squares-discriminate analysis (PLS-DA) model was established; Variable combination population analysis (VCPA), uninformative variable elimination (UVE), competitive adaptive reweighted sampling (CARS) interval variable iterative space shrinkage approach (iVISSA) and successive projections algorithm (SPA) was used to extract the characteristic wavelengths based on the spectral data obtained by the optimal pretreatment method, and then the PLS-DA model was built. The hyperspectral image was subjected to masking and principal component analysis (PCA). Then the gray-level co-occurrence matrix (GLCM) was used to extract the texture parameters of the image with the highest principal component contribution rate, includingparameters of the angular second moment (ASM), entropy (ENT), contrast (CON), and correlation (COR), the PLS-DA models of data fusionwereestablished.The results showed that in the PLS-DA model of the original spectrum, the accuracies of the calibration set and prediction set were 89% and 86%; The PLS-DA model of the original spectrum based on de-trending preprocessing was the best, the accuracies of the calibration set and prediction set were both 90%, which were 1% and 4% higher than the original spectrum model, respectively. The De-trending-SPA-PLS-DA model based on the characteristic wavelength obtained the best results. The accuracies of the calibration set and prediction set were both 90%, which remained the same results as the optimal preprocessing model; The De-trending-SPA-COR fusion model obtained the best performance with 92% accuracy on both the calibration set and prediction set, which were 2% and 2% higher than the optimal spectral data model, respectively. Therefore, NIR-HSI,in combination with texture information, could realize rapid and non-destructive discrimination of Lingwu jujubes with different bruise grades.

Keyword: Lingwu long jujube; Hyperspectral imaging; Fusion of spectra and image information; Discrimination of bruise grades
引言

灵武长枣是宁夏“ 地理标志保护产品” , 因其个大色艳、 酥脆可口、 酸甜适中、 营养丰富等深受消费者喜爱[1]。 灵武长枣在采摘、 分级处理、 加工包装、 贮藏运输和销售等各个环节中会受到机械或人为碰撞造成不同程度的瘀伤, 表现为果肉破损、 褐变、 霉变、 产生酚类等次生代谢物[2], 导致长枣风味劣变、 货架期缩短, 严重影响了商品价值。 因此, 亟需寻找一种快速无损的检测方法实现灵武长枣瘀伤等级的判别, 提高其附加值。

近年来, 高光谱成像技术集图像和光谱信息于一体的无损快速检测的优势, 广泛应用于水果品质的研究[3, 4]。 Xiong[5]等利用高光谱技术对瘀伤荔枝进行检测, 图像纹理特征模型较光谱数据模型判别结果提升了1.25%, 表明图像特征在瘀伤检测方面具有极大潜力。 Khodabakhshian[6]等应用高光谱成像技术对梨的成熟度进行分类, 图谱融合模型较最优光谱数据模型的正确分类率提高了10.08%。 Fan[7]等融合光谱和纹理特征结合组合偏最小二乘法来预测苹果可溶性固形物含量, 结果表明, 与单独使用光谱数据相比, 结合光谱和纹理特征建立的组合偏最小二乘法模型在交叉验证集和预测集的相关系数均得到了提高。 以上研究表明, 图谱融合数据较单一光谱数据对水果品质定性和定量分析具有更加精准的性能, 但图谱数据融合对水果瘀伤等级分类的研究鲜有报道。 以灵武长枣为研究对象, 利用近红外高光谱技术结合图像纹理信息对不同瘀伤等级灵武长枣进行分类判别, 以期为其他水果瘀伤快速无损的光谱检测提供科学依据。

1 实验部分
1.1 样本采集

新鲜长枣采摘于宁夏灵武市某果园, 挑选八成熟、 红色着色面积为三分之二、 大小均一、 无病虫害和无机械损伤的200个长枣样本, 装入保鲜袋运回实验室, 贮藏在4 ℃的冰箱备用。

1.2 瘀伤实验

瘀伤装置主要由实验平台、 固定支架、 活动摆臂和一个半径为8 mm重22 g的实心铁半球组成[8]。 为确保每次撞击的均匀性, 摆臂初始角为57° , 定义三次撞击对长枣造成的瘀伤为Ⅰ 级瘀伤, 六次撞击造成的瘀伤为Ⅱ 级瘀伤, 依次类推, 获得Ⅰ 、 Ⅱ 、 Ⅲ 、 Ⅳ 、 Ⅴ 级瘀伤长枣样本200个(40个/级), 并按3:1的比例划分校正集样本150个和预测集样本50个。

1.3 仪器

近红外高光谱成像仪(near-infrared hyperspectral imaging, NIR-HSI)(光谱范围800~1 700 nm, 256波段), 主要组件包括光谱仪、 CCD相机、 聚焦镜头、 四个35 W卤素灯组成的照明装置、 步进电机驱动的移动台和一台配备图像采集软件的计算机构成[9]。 为消除相机暗电流和光照不均匀的影响, 参照Zhang等[10]方法对原始光谱图像进行校正。

1.4 光谱数据处理

光谱预处理可减少由外部因素、 随机噪声和基线变化等引起的误差[11], 从而提高预测模型的鲁棒性。 原始光谱采用正交信号修正(orthogonal signal correction, OSC)、 基线校准(Baseline)、 多元散射校正(multiplicative scatter correction, MSC)、 移动平均(moving average, MA)、 卷积平滑(savitzky-golay, S-G)和去趋势(De-trending)六种方法预处理后建立偏最小二乘判别分析(partial least squares-discriminate analysis, PLS-DA)模型, 根据模型的判别结果优选出最佳预处理方法。 特征波长提取可去除全波段间的冗余信息, 实现数据降维, 提高模型的运算速度。 基于最佳预处理方法获得的光谱数据采用变量组合集群分析法(variable combination population analysis, VCPA)、 无信息消除变量算法(uninformative variable elimination, UVE)、 竞争性自适应加权抽样算法(competitive adaptive reweighted sampling, CARS)、 区间变量迭代空间收缩法(interval variable iterative space shrinkage approach, iVISSA)和连续投影算法(successive projections algorithm, SPA)方法提取特征波长并建立PLS-DA模型, 对比分析模型的效果, 优选最佳特征波长提取方法。

1.5 图像处理及纹理信息提取

1.5.1 图像处理

为消除长枣样本图像中无用背景信息的影响, 先对样本图像进行掩膜处理, 再对样本的高光谱图像进行主成分分析(principal component analysis, PCA), 选取主成分贡献率最高的图像进行纹理信息的提取。

1.5.2 纹理信息的提取

灰度共生矩阵(gray-level co-occurrence matrix, GLCM)通常用来描述图像上灰度的反复变换所形成的纹理特征。 因此, 在图像中相隔一定距离的两个像素之间必然存在一定的灰度关系[12]。 采用ASM、 ENT、 CON和COR四个参数描述瘀伤长枣的图像纹理特征, 将图像转换成16个灰度级, 提取4个方向(0° , 45° , 90° , 135° )的纹理信息, 选取每类特征四个方向的平均值用于后续建模。

2 结果与讨论
2.1 光谱数据分析

2.1.1 原始光谱数据分析

图1所示为完整枣与瘀伤枣的平均光谱曲线, 在800~1 000 nm波段范围内, 完整枣与瘀伤枣的光谱曲线有明显重叠; 在1 000~1 700 nm波段范围内, 完整枣原始光谱曲线明显高于瘀伤枣光谱曲线, 但对于不同瘀伤等级长枣的光谱曲线无法区分。 完整枣与瘀伤枣的平均光谱曲线整体呈先高后低的趋势, 其中在980、 1 200和1 450 nm左右的光谱区域均存在吸收带, 近红外区域的吸收带通常反映不同化合物中分子键的振动[13]。 980 nm左右的吸收带由O— H基团的第二泛音引起, 1 450 nm左右的吸收带与O— H基团的第一泛音和蛋白质中N— H基团的第一泛音吸收有关, 1 200 nm左右的吸收带反映的是与碳水化合物相关的C— H基团的第二泛音[14]

图1 原始光谱的平均光谱曲线Fig.1 Average spectral reflection curves of the original spectra

2.1.2 原始光谱和预处理光谱的建模分析

表1所示, 采用原始光谱数据和6种预处理方法得到的光谱数据建立PLS-DA模型, 其中, 利用原始光谱数据建立模型的校正集和预测集准确率分别为89%和86%; 基于De-trending预处理后建立的模型效果最佳, 校正集准确率为90%, 预测集准确率为90%, 较原始光谱数据模型的准确率分别提高了1%和4%。 与其他预处理方法相比, De-trending能更好的避免噪声等外部因素的干扰, 提高光谱数据的判别性能。

表1 原始光谱和预处理光谱的建模结果 Table 1 Modeling results based on raw spectra and preprocessing spectra

2.1.3 特征波长提取及建模分析

表2所示, 基于De-trending预处理后的光谱数据采用VCPA、 UVE、 CARS、 iVISSA和SPA方法提取的特征波长数依次为16、 19、 11、 97、 62, 分别占总波长数的6.25%、 7.42%、 4.30%、 37.89%、 24.22%; 采用SPA提取特征波长后建立的模型效果最优, 模型校正集和预测集准确率均为90%, 表明该算法虽未能提高模型的鲁棒性, 但在不影响模型性能的同时, 显著减少了光谱数据的维度。

表2 特征波长的建模结果 Table 2 Modeling results basedon characteristic wavelengths
2.2 图谱信息融合的建模分析

如图2所示为高光谱图像进行PCA分析后获取的总贡献率为98.67%的前4个主成分图像, 其主成分贡献率依次为94.45%、 2.40%、 1.04%、 0.50%, 选择主成分贡献率最高的PC1图像进行纹理信息的提取, 采用De-trending-SPA得到的光谱特征数据与图像纹理信息进行融合并建立PLS-DA模型。

图2 瘀伤长枣样本的前四个主成分图像Fig.2 Images of bruised long jujube using the first four principal components

采用四种数据融合方式进行图谱融合模型的建立, 具体为特征波长数据与一个纹理参数(COR)、 两个纹理参数(ASM和COR)、 三个纹理参数(ASM、 ENT和COR)和四个纹理参数(ASM、 ENT、 CON和COR)融合; 结果如表3所示, 其中De-trending-SPA-COR模型效果最优, 校正集和预测集准确率均为92%, 较De-trending-SPA模型均提高了2%, 表明纹理参数COR可能反映了不同等级瘀伤枣的有效信息, 如不同瘀伤等级枣表面的瘀伤大小、 凹陷程度和褐变程度等。 Sun[15]等基于可见近红外高光谱成像技术对瘀伤西红柿进行检测, 在其建立的完整和不同瘀伤程度的西红柿PLS-DA分类模型中, 校正集准确率为91.86%, 预测集准确率为89.26%, 而本工作图谱融合模型的校正集和预测集准确率较其分别提升了0.14%和2.74%; Yuan[16]基于Vis-NIR高光谱技术对不同瘀伤等级长枣判别模型的校正集准煞率为77.14%, 预测集准确率为89.52%, 而本工作图谱融合模型较其模型的校正集和预测集准确率分别提高了14.86%和2.84%。 以上结果表明, 瘀伤灵武长枣的图谱融合模型较单一的光谱信息模型表现出更优的判别效果。

表3 图谱融合建模结果 Table 3 Modeling results of spectral image and fusion
3 结论

利用NIR-HSI结合图像纹理信息对不同瘀伤等级的灵武长枣进行分类判别, 主要结论如下: (1)利用De-trending预处理后模型效果最优, 校正集和预测集的准确率均为90%, 较原始光谱模型分别提高了1%和4%; (2)特征波长建立的模型中, 利用SPA提取19个特征波长后模型效果最佳, 校正集和预测集准确率均为90%, 与 De-trending预处理模型结果一致; (3)图谱融合模型中, 基于De-trending-SPA-COR模型效果最优, 校正集和预测集准确率均为92%, 较最优的De-trending-SPA光谱数据模型结果均提高了2%。 综上所述, 高光谱信息结合图像纹理信息可改善灵武长枣瘀伤等级判别的精度, 为其他水果瘀伤等级的判别提供新的思路。

参考文献
[1] LI Yan, LIU Gui-shan, LI Yue, et al(李燕, 刘贵珊, 李月, ). Food and Fermentation Industry(食品与发酵工业), 2022, 48(4): 145. [本文引用:1]
[2] GAO Ying-wang, GENG Jin-feng, RAO Xiu-qin, et al(高迎旺, 耿金凤, 饶秀琴, ). Food Science(食品科学), 2017, 38(15): 277. [本文引用:1]
[3] Lu Y Z, Saeys W, Kim M, et al. Postharvest Biology and Technology, 2020, 170: 111318. [本文引用:1]
[4] Chand rasekaran I, Panigrahi S S, Ravikanth L, et al. Food Analytical Methods, 2019, 12(11): 2438. [本文引用:1]
[5] Xiong J T, Lin R, Bu R B, et al. Sensors, 2018, 18(3): 700. [本文引用:1]
[6] Khodabakhshian R, Emadi B. International Journal of Food Properties, 2017, 20(sup3): S3149. [本文引用:1]
[7] Fan S X, Zhang B H, Li J B, et al. Postharvest Biology and Technology, 2016, 121: 51. [本文引用:1]
[8] Yuan R R, Guo M, Li C Y, et al. Postharvest Biology and Technology, 2022, 185: 111810. [本文引用:1]
[9] Fan N Y, Ma X, Liu G S, et al. Journal of Food Composition and Analysis, 2021, 103: 104110. [本文引用:1]
[10] Zhang J J, Ma Y H, Liu G S, et al. Food Control, 2022, 135: 108815. [本文引用:1]
[11] Cheng Lijuan, Liu Guishan, He Jianguo, et al. Food Chemistry, 2021, 342: 128351. [本文引用:1]
[12] Yang G T, He Y C, Li X, et al. ACS Omega, 2022, 7(5): 3889. [本文引用:1]
[13] Yang L, Gao H Q, Meng L W, et al. Food Chemistry, 2021, 334: 127614. [本文引用:1]
[14] Kim G, Lee H, Baek I, et al. Sensors and Actuators B: Chemical, 2022, 352(1): 130997. [本文引用:1]
[15] Sun Y, Pessane I, Pan L Q, et al. LWT-Food Science and Technology, 2021, 141: 110863. [本文引用:1]
[16] YUAN Rui-rui, LIU Gui-shan, HE Jian-guo, et al(袁瑞瑞, 刘贵珊, 何建国, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2021, 41(4): 1182. [本文引用:1]