作者简介: 宋亚芳, 1999年生,大连工业大学信息科学与工程学院硕士研究生 e-mail: syf678lxpfk@163.com
由于传统检测牛肉品质方法存在破坏样本的缺点, 导致无法对同一样本进行多次检测, 且操作复杂、 检测结果滞后, 难以满足现代食品安全检测无损快速响应的需求。 为解决传统检测方法存在操作复杂、 破坏性大、 检测滞后性等问题, 偏振高光谱成像技术因具有精度高、 响应快、 无损化等优点已被广泛应用于牛肉品质检测。 这项技术可以捕捉光的偏振和光谱信息, 不仅具有高光谱成像技术的优点, 能够无损地深入分析牛肉的内在品质, 同时, 偏振成像技术可抑制周围光环境因素对牛肉的光谱影响, 快速得出更精确的结果, 有效避免了传统方法的不足。 利用波长范围在900~1 700 nm的近红外偏振高光谱成像技术, 首次结合高光谱偏振数据和卷积神经网络构建了牛肉品质多参数预测模型。 首先, 采集无偏振和0°、 45°、 90°、 135°偏振角下牛肉样品的高光谱数据, 提取感兴趣区域; 采集样品的色泽参数( L*、 a*、 b*)和质构参数(硬度、 粘性、 粘聚性); 其次, 利用连续影射法在无偏振和不同偏振模式下提取样品的特征波长; 最后, 分别采用多元线性回归法和卷积神经网络法构建牛肉品质多参数预测模型。 结果表明, 多个参数在偏振模式下的预测精度明显优于无偏振的情况, 且90°偏振角下CNN模型的整体预测效果最优。 参数 L*、 a*、 b*、 硬度、 粘性和粘聚性的决定系数为0.882、 0.905、 0.953、 0.692、 0.671、 0.911, 交叉验证均方根误差为0.820、 0.562、 0.644、 3 889.713、 89.746、 0.027, 相比于无偏振时上述6个参数的预测精度至少提高了13.1%, 验证了结合近红外偏振高光谱成像技术的卷积神经网络预测模型在肉类无损检测中的可行性, 为进一步满足现代食品安全检测的需求提供了新的技术思路和方法。
Because the traditional method of beef quality detection has the disadvantage of destroying samples, it is impossible to carry out multiple tests on the same sample, and the operation is complicated and the test results are lagging, which is difficult to meet the needs of modern food safety detection for non-destructive and rapid response. To solve the problems of complex operation, great destructiveness, and lag of traditional detection methods, polarization hyperspectral imaging detection technology has been widely used in beef quality detection with its advantages of high precision, fast response, and non-destructiveness. This technology can capture the polarization and spectral information of light, not only has the advantages of hyperspectral imaging technology, non-destructive in-depth analysis of the internal quality of beef, at the same time, the technology introduces polarization imaging technology, can inhibit the influence of the surrounding light environment factors on the spectrum of beef, quickly obtain more accurate results, effectively avoiding the shortcomings of traditional methods. This paper used the wavelength range of 900~1 700 nm to compose a near-infrared polarization highlights like technology, combined with high polarization spectral data and a convolutional neural network, to build a more robust quality parameter prediction model for the first time. First, the hyperspectral data of beef samples were collected without polarization and at 0°, 45°, 90°, and 135° polarization angles, respectively, and the regions of interest were extracted. The samples' color parameters ( L*, a*, b*) and texture parameters (hardness, adhesiveness, and cohesiveness) were collected. Secondly, the successive projections algorithmwas used to extract the samples' corresponding spectral characteristic wavelengths with unpolarization and different polarization models. Finally, multiple linear regression and convolutional neural network methods were used to construct the multi-parameter prediction model for beef quality. The results show that the prediction accuracy of multiple parameters in polarization mode is better than that without polarization, and the overall prediction effect of the CNN model at 90° polarization Angle is the best. The determination coefficients of parameters L*, a*, b*, hardness, adhesiveness, and cohesiveness were 0.882, 0.905, 0.949, 0.692, 0.671 and 0.911, and the root-mean-square errors of prediction were 0.820, 0.562, 0.461, 3 889.713, 89.746, and 0.027. Compared with unpolarization, the prediction accuracy of the above 6 parameters is at least 13.1% higher, which verifies the feasibility of the convolutional neural network prediction model combined with near-infrared polarization hyperspectral imaging technology in meat nondestructive testing, and provides a new technical idea and method for further meeting the needs of modern food safety testing.
随着社会经济的迅速发展, 人们的生活质量逐步提高, 对肉类品质安全的关注度也在逐渐增长[1]。 色泽和质构是评价牛肉品质的重要指标, 但目前消费者仅能根据肉眼观察和触摸手感来鉴别肉类品质好坏[2], 而若依靠市场监管部门利用色度仪和质构仪等传统方法测量牛肉, 虽然精度相对较高, 但存在滞后性, 且对牛肉组织的破坏性极大[3]。 为此, 无损检测技术在牛肉品质、 营养品质等分析方面得到重视[4], 高光谱成像检测技术由于具有精度高、 响应快、 无损化等优点已被广泛应用于牛肉品质检测[5]。 自2009年起, 吴建虎[6]、 Gamal ElMasry[7]等将新鲜牛肉的光谱数据和颜色、 pH值和嫩度构建最小二乘法回归预测模型, 提取特征波长并预测新鲜度, 证明了高光谱成像技术可以有效地对牛肉品质进行无损快速检测。 2017年, 杨东[8]等利用粒子群优化算法对熟牛肉中挥发性盐基氮实现了分布可视化, 进一步证明了高光谱成像技术对肉类品质成分检测的可行性。 之后, 禹文杰[9]、 乔芦[10]、 方瑶[11]等众多学者对不同品种不同部位的牛肉开展了色泽、 pH、 水分、 嫩度、 质构及内部化学成分, 如挥发性盐基氮、 脱氧肌红蛋白、 氧合肌红蛋白和高铁肌红蛋白含量等多参数牛肉品质预测研究。 随着多维光学检测技术的发展, 应运而生的偏振光谱成像技术实现了同时获取目标的二维空间、 强度、 光谱和偏振信息[12], 不仅兼顾高光谱成像“ 高分辨、 快速响应” 的特点, 还具有偏振成像“ 弱光强化、 强光弱化” 的优点, 抑制检测环境因素对目标成像的影响, 进而保证检测精确度。 2018年, 梁梦醒等继利用光谱成像技术研究猪肉品质检测之后, 结合偏振光谱数据与牛肉嫩度的参数值进行了预测建模, 讨论了0° 、 30° 、 60° 、 90° 偏振状态下肉类pH值和嫩度对新鲜度的检测影响, 决定系数为0.66和0.71, 证明了偏振高光谱成像技术对肉类品质检测可行性。 于洋[13]等基于高光谱成像技术对羊肉嫩度检测时, 又结合偏振成像技术建立了反向传播神经网络和支持向量机模型, 为肉类检测提供了新的技术方案。 大多数研究集中于嫩度、 水分和pH值[14]等参数, 少有包含对肉类的色泽和质构等多参数同时进行全面检测。 随着卷积神经网络的快速发展[15], 能够自动提取输入数据的局部特征, 使得在识别图像的边缘、 纹理等模式时具有很高的准确性。 由于参数在数据上共享的特点, 模型参数量大大减少, 降低过拟合风险, 并提高计算效率。 为此, 基于卷积神经网络(convolutional neural networks, CNN)预测模型, 利用偏振高光谱成像技术对牛肉色泽和质构等多参数同时进行品质检测研究。 首先, 利用偏振高光谱成像系统获取牛肉图像, 提取感兴趣区域的光谱数据, 利用色度仪和质构仪测定牛肉色泽和质构参数。 其次, 利用连续影射法(successive projections algorithm, SPA)提取样品的光谱特征波长, 基于卷积神经网络和多元线性回归(multiple linear regression, MLR)建立近红外偏振高光谱成像技术的牛肉品质检测模型。 最后, 结合图像和参数变化进行了可视化, 实现偏振高光谱成像技术对牛肉品质快速准确无损化检测研究。
从大连市比优特超市购买来自于牛眼和牛肩两个不同部位的新鲜牛肉样品, 以3 cm× 4 cm× 1 cm大小沿牛肉纹理分块切割处理, 一半装袋密封(sealing bag, SB), 一半自然风干(air-drying, AD)。 无挤压平放在实验台上, 无阳光照射室温存放(20 ℃), 按照不同的储藏天数和处理方式进行编号。 为保证实验的客观性, 以不等的数量随机抽取不同储藏天数的92个样品。 利用Ultra Scan Pro测色仪测量色泽参数L* 、 a* 、 b* , TA-XT-PLUS质构仪测量硬度(hardness, H)、 粘性(adhesiveness, A)和粘聚性(cohesiveness, C)。 每个样品上选取不同点五次测量取平均值, 记为测量值。
偏振高光谱数据采集设备如图1所示。 该设备包括光谱仪、 偏振调控模块、 卤素灯和步进电机。 光谱仪的采集波段为930~1 700 nm, 步进电机的前进速度是0.8 cm· s-1, 曝光时间为10 ms。 本研究采用波长范围为930~1 700 nm的GaiaSorter“ 盖亚” 高光谱分选仪, 原因在于该设备能够覆盖样品在950~1 300 nm的主要吸收波段, 并且其内置的近红外相机具有噪声坏点修复功能, 光谱数据无需再通过其他软件和算法进行去噪处理, 可提高数据处理的效率和准确性。 偏振调控模块采用德国科迪CODIXX公司生产的600~2 000 nm近红外波段的IR 1300 BC5偏振片, 具备抑制检测环境因素对目标成像影响的功能, 且响应波段广泛, 具有高透过率高对比度性能, 使得设备能够捕获更全面准确的光谱信息。
偏振高光谱数据采集步骤为: 首先, 在同一环境参数下, 对采集设备进行黑白校准[16]; 其次, 将偏振片分别旋转至0° 、 45° 、 90° 、 135° 下依次采集偏振高光谱数据, 取下偏振片, 采集无偏振高光谱数据作为对照; 最后, 选取感兴趣区域(ROI)获取偏振高光谱数据, 以TXT文件形式导出保存。
采用如图2所示的CNN网络模型对所采集偏振高光谱数据进行建模, 由两个卷积层(convolution layer)、 两个批量归一化处理层(batchnorm layer)、 丢弃层(dropout layer)和全连接层(fully-connected layer)组成。 同时为了能够更好的提取数据的非线性特征, 在结构中加入了激活函数ReLU, 用于提高模型的泛化能力。 利用batchnorm layer对数据进行批量归一化, 使网络更快地收敛到最优解; 加入dropout layer让模型更好地适应不同输入数据, 减少对初始化过拟合的风险, 各层相互连接使模型性能达到更优。
以均方误差作为损失函数, 自适应动量估计作为优化器, 学习率和提前停止阈值设置为0.005和200次; 以7∶ 3的比例划分为校正集和预测集。 训练评价指标为: 校正集及预测集的真实值与预测值之间的预测决定系数分别为
式(1)和式(2)中: nC、 nP分别为校正集和预测集的样本数量; yi为第i个样本的实际测量值;
每个样品设三个平行。 实验数据采用ANOVA进行Duncan's式多重差异分析。 数据分析与结果绘图分别采用SPSS 18.0和Origin 9软件。 利用测色仪和质构仪测得牛肉的色泽和质构参数指标, 在AD和SB两种处理方式下, 记录0、 1、 2、 3 d样品色泽和质构的测量值, 如表1所示。
![]() | 表1 牛肉在不同处理条件下色泽和质构参数实际测量值 Table 1 Actual measured values of color and texture parameters of beef under different treatment conditions |
随着储藏天数的不同, AD和SB两种处理方式下牛肉的色泽和质构参数趋势明显不同, 变化范围较大, 这也证明了所获得数据的有效性, 符合建立近红外光谱预测模型的基本条件。
使用ENVI5.3软件, 选取2 cm× 3 cm固定矩形面积作为ROI, 其中心与图像的中心点重合, 得到不同偏振角下的平均偏振高光谱数据, 从中提取350个波长的偏振高光谱数据, 以波长为横轴, 反射率为纵轴, 可得光谱曲线如图3所示。
![]() | 图3 牛肉在无偏振和各偏振角下的原始光谱曲线Fig.3 The original spectra of beef using un-polarization light and polarized light at different angles |
不同处理方式和不同偏振角下的光谱曲线整体趋势相近, 在1 100 nm处峰值增加, 1 200 nm处的峰谷降低, 吸收开始急剧降低。 光谱在近红外区域中出现的这些变化与C— H、 N— H、 O— H和S— H官能团的组合有关, 这些官能团是牛肉主要成分如水、 脂肪和蛋白质等常见的基团[17]。 图3中所示在970和1 100 nm处出现的局部吸收最大值是由样品中的水分含量变化所导致, 1 270 nm处的吸收峰则是由于脂肪含量变化。 除了观察到的吸收带之外, 在1 300 nm以下还可以看到其他吸收带, 通常在1 500 nm左右发现, 其中差异归因于蛋白质信息, 但光谱图显示内部水分的信息更明显。 对于样品中的呼吸色素, 样品中不同形式的肌红蛋白, 如氧合肌红蛋白、 脱氧肌红蛋白和高铁肌红蛋白在1 100~1 700 nm 的NIR区域中没有明显的吸收带, NIR光谱和肌红蛋白含量之间的相关性非常低[18]。 上述结果表明, 牛肉内部水分和脂肪等因素的变化会导致其色泽和质构参数的改变, 进一步对牛肉新鲜度产生直接影响, 故基于偏振高光谱信息构建CNN和MLR预测模型来预测实际新鲜度的变化是可行的。
由于全波段光谱数据量过大且包含大量冗杂数据, 利用SPA法分别对无偏振高光谱数据和偏振高光谱数据进行最优波段的筛选, 从350个波长中提取出5个特征波长, 以减少利用全波段光谱数据建模时存在的大量噪声, 提高模型的运行速度。 具体特征波长的提取如图4所示。
![]() | 图4 SPA在无偏振和各偏振角光谱中提取的特征波长Fig.4 Feature wavelengths extracted by SPA in spectra unpolarized and polarized at different anagles |
考虑到不同光谱曲线的反射率差异会导致各自最优特征波长的不同, 为确保在同一模型中比较不同条件下光谱曲线数据预测结果的公平性, 在SPA算法中设置统一参数, 对无偏振光谱以及不同偏振角的光谱分别提取特征波长, 并将其输入模型进行训练。 如图4所示提取的特征波长不同, 但范围基本上覆盖了牛肉在950~1 300 nm的主要吸收波段。 利用MLR模型以及图2所示CNN预测模型分别对无偏振和各偏振角对应的特征波长数据进行建模, 多参数预测结果如表2和表3所示。
![]() | 表2 MLR预测模型用特征波长的多参数预测结果 Table 2 Multi-parameter prediction results of MLR prediction model with characteristic wavelengths |
![]() | 表3 CNN预测模型用特征波长的多参数预测结果 Table 3 Multi-parameter prediction results of CNN prediction model with characteristic wavelengths |
分析表2, MLR模型下的多参数硬度(H)、 粘性(A)和粘聚性(C)在偏振下的预测结果比无偏振的好, 参数粘聚性(C)在135° 偏振角下的预测决定系数达到了0.883, 比无偏振预测结果高出33.7%。 而总体分析, 多参数在90° 偏振角下的预测结果最好。 但由于MLR模型的预测决定系数都比较低, 为进一步提高准确率, 采用图2中的CNN模型, 结果如表3所示。
由表3结果显示, CNN模型的各参数预测结果在不同模式下均比MLR模型有大幅度提升。 参数L* 、 硬度(H)和粘性(A)的预测决定系数至少提高了50%, 甚至参数a* 、 b* 和粘聚性(C)的预测决定系数达到了0.9以上, 相比于MLR模型, CNN模型更适用于肉类品质多参数预测。 同时, 对比表3中无偏振条件下的预测结果, 多参数L* 、 a* 、 硬度(H)、 粘性(A)和粘聚性(C)在偏振下的预测结果均更优, 预测决定系数至少提高了13.1%, 参数C的预测结果甚至提高25.4%; 在偏振条件下, 对比单个参数的预测精度可发现: 色泽参数a* 在90° 偏振角下的预测决定系数为0.93, 粘聚性参数C在90° 偏振角下的预测决定系数为0.911, 比其他偏振角的预测结果至少提高了5.2%。 对比无偏振和不同偏振角下的多参数预测结果, 90° 偏振角模型, 简写为SPA-CNN-90° , 其整体预测能力更优, 预测精度更佳。
各参数在SPA-CNN-90° 模型下, 样品的预测值与实测值的相关性如图5所示。 多参数L* 、 a* 、 b* 、 硬度(H)、 粘性(A)和粘聚性(C)的决定系数分别为0.882、 0.905、 0.953、 0.692、 0.671、 0.911, 均方根误差RMSEP分别为0.820、 0.562、 0.644、 3 889.713、 89.746、 0.027, 说明预测值与实测值比较接近, 模型预测能力良好, 可靠性高。
计算图像中每个像素的偏振高光谱与CNN预测模型获得的回归系数之间的点积, 将CNN预测模型转移到偏振高光谱成像的所有像素, 得到样品品质参数的分布图, 展示参数随样品成分变化而发生的变化。 随着储藏天数的增加, 由于AD和SB不同处理, 牛肉内部不同化学成分之间发生变化, 导致牛肉颜色整体趋势上是逐渐变暗, 色泽值变小。 为了增加对比度, 将实际拍摄白色背景处理成图中的黑色, 与显示色度变化正好相反, 如图6所示, 牛肉颜色总体是变白趋势, 对应实际是变暗。 其中, 对比两种不同处理条件, AD条件下水分丢失的速度更快, 总体颜色变化更快更深, 样品在第二天的变化与整体变化趋势相反, 与表1中测量值变化相吻合。 颜色差异可以通过使用这些样品的分布图进行区分。 事实上, 新鲜红肉的颜色在肉类营销中至关重要, 不仅是消费者看到的第一个品质属性, 也是新鲜度和卫生性的指标。 制作这种彩色分布图将更有助于实时准确的预测肉类颜色和其他属性, 为消费者可靠地预测肉质好坏。
选取L* 、 a* 、 b* 、 硬度、 粘性和粘聚性作为综合评价牛肉品质的参数, 利用高光谱成像技术, 引入偏振调控模块, 建立基于卷积神经网络的牛肉品质预测模型。 将数据划分为校正集和预测集, 利用SPA法提取特征波长, 结合色泽和质构特性分别输入CNN和MLR模型, 建立预测模型。 对比之下, SPA-CNN-90° 模型预测的决定系数最高, 分别为0.882、 0.905、 0.953、 0.692、 0.671、 0.911, RMSEP分别为0.820、 0.562、 0.644、 3 889.713、 89.746、 0.027, 适用于牛肉品质在线快速检测。 不同偏振角牛肉品质预测的实验, 验证了近红外偏振高光谱成像技术与CNN模型结合在牛肉品质无损检测的可行性, 为食品安全检测提供了新的技术和方法。
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|