作者简介: 许德芳, 1976年生,吕梁学院数学与人工智能系副教授 e-mail: xudefang0012@163.com
玉露香梨因其果肉酥脆、 汁多香甜而深受消费者喜爱, 但在运输过程中易发生机械损伤, 若未及时检测, 将导致果实内部腐烂, 进而影响整批果实新鲜度并造成经济损失。 鉴于传统肉眼检测方法难以快速、 精准识别早期损伤, 提出一种基于表面增强拉曼光谱(SERS)结合深度学习模型的检测方法, 探明玉露香梨在机械损伤早期发生阶段中的拉曼光学特性变化规律, 通过深度学习算法挖掘早期损伤阶段的光谱特征, 进行玉露香梨早期机械损伤检测。 具体研究内容(1)构筑高灵敏SERS银溶胶纳米基底结合拉曼光谱仪获取不同损伤阶段的玉露香梨表面SERS光谱数据; (2)采用S-G平滑和迭代自适应加权惩罚最小二乘法进行原始光谱的预处理, 消除荧光噪声和基线漂移; (3)利用数据增强技术扩展训练数据, 快速傅里叶变换提取特征并构建一维卷积神经网络(1D-CNN)模型进行玉露香梨机械损伤的早期检测。 结果表明, 模型在准确率、 精度、 召回率和F1分数等多个指标均达到100%, 同时梨果损伤部位蛋白质的拉曼特征峰由1 607 cm-1向1 589 cm-1发生了偏移。 研究表明SERS结合深度学习在玉露香梨机械损伤早期检测中较强的判别能力, 为果品损伤早期检测提供了一种新的研究思路, 同时, 为开发高灵敏性的水果品质检测传感器提供数据支撑。
Yuluxiang pear is loved by consumers because of its crisp flesh and sweet juice, but it is prone to mechanical damage during transportation. Once it does not occur in time, it will lead to internal decay of the fruit, which will affect the whole batch of fruits and cause economic losses. It is difficult to detect early damage quickly and accurately depending on the human eye. Modern optical technology has been widely used in fruit tree quality inspection because of its non-contact and rapid advantages. Raman spectroscopy has emerged in fruit and vegetable quality detection due to its fast molecular fingerprint characteristics and non-sensitivity to water. To solve the problem of Yuluxiang pear being vulnerable to mechanical damage during picking and transportation, this study proposes a method based on surface-enhanced Raman scattering (SERS) technology combined with a deep learning method. The change law of Raman optical characteristics of Yuluxiang pear in the early stage of mechanical damage was explored, and the coupling relationship between the early damage stage and the spectrum was mined through the deep learning algorithm to detect the early mechanical damage of Yuluxiang pear. Specific research contents: (1) The SERS spectrum data of Yuluxiang pear surface at different damage stages were obtained by constructing a highly sensitive SERS silver sol nano substrate combined with Raman spectrometer; (2) The S-G smoothing algorithm and the iterative adaptive weighted penalized least square method are used to preprocess the original spectrum to eliminate the fluorescence noise and baseline drift. (3) Data enhancement technology was used to expand the training data, a fast Fourier transform was used to extract features, and a one-dimensional Convolutional neural network (1D-CNN) model was constructed to detect the mechanical damage of Yuluxiang pear. The results showed that the model achieved ideal accuracy, precision, recall, and F1 score, especially when the injury was only 4 hours old. At the same time, the Raman characteristic peak of the protein in the injured part of pome fruit shifted from 1 607 to 1 589 cm-1. The study shows that SERS combined with deep learning has a strong discrimination ability in detecting mechanical damage of Yuluxiang pear early. This study provides a new research idea for the early detection of fruit damage and data support for developing high-sensitivity fruit quality detection sensors.
玉露香梨是山西省农科院果树研究所以库尔勒香梨为母本、 雪花梨为父本杂交育成的优质中熟梨新品种。 山西地处黄土高原, 早晚温差大, 玉露香梨在这片沃土中栽培成功, 具有果肉酥脆、 汁多香甜等特点, 深受广大消费者青睐[1], 并入选中国农业品牌目录。 然而由于其多汁、 酥脆等特点, 并且在采摘、 运输过程中极易遭受机械损伤, 早期的轻微损伤肉眼极难发现, 随着时间的推移, 损伤部位会受到微生物、 病原菌的侵染, 导致果肉腐烂, 也会造成整批果实的腐烂, 极大降低果实品质和经济价值[2]。 因此, 对玉露香梨果实物理损伤早期检测, 有助于消除早期感染, 在保证果品质量、 提高市场收入等方面具有重要意义。
传统的果实损伤检测方法常采用人工检测, 该方法费时费力, 效率低下。 核磁成像、 热成像技术通过感知形态、 温度的变化来间接检测水果损伤, 但其在检测过程中操作繁琐, 信噪比、 对比度较低, 具有一定的局限性[3]。 拉曼光谱具有分子指纹特性以及对水分子不敏感等优点[4], 广泛应用于食品安全、 果蔬品质检测等方面。 拉曼光谱技术能够精准识别被测样品的分子结构变化, 实现内部品质精确分析。 Liao[5]等将拉曼光谱与级联森林算法相结合测定苹果表面损伤, 观察到发生瘀伤的苹果中纤维素峰强度增加, 识别率达到92.8%, 为果实损伤检测提供了参考; Cai[6]等利用共聚焦显微拉曼技术检测腐败真菌侵染柑橘果皮组织的全过程, 研究表明在柑橘变质的过程中类胡罗卜素含量显著降低, 结合机器学习对新鲜柑橘与不同变质阶段柑橘进行识别, 验证集相关系数可达100%; 董鑫鑫[7]等采用便携式拉曼光谱仪结合回归系数法与偏最小二乘回归, 构建猪瘦肉新鲜度检测模型对猪肉组织中的挥发性盐基氮等进行检测, 验证集和预测集的相关系数均在90%以上, 为食品品质无损检测提供了新方法。 上述研究表明, 拉曼光谱的应用显著提升了果实损伤及食品品质检测的效率和准确性, 通过与化学计量方法和机器学习算法结合, 进一步增强了其检测的精度和适用性。
表面增强拉曼光谱(surface-enhanced Raman scattering, SERS)在常规拉曼光谱技术的基础上使用增强型物质作基底, 待测物拉曼信号得到极大增强, 具有高灵敏性[8]。 目前。 SERS技术在果品损伤检测方面的应用相对较少, 但由于SERS技术能够捕捉到组织损伤所发生的微小分子变化, 仍然在果蔬损伤检测方面具有极大的研究潜力。 Jiang[9]等以银纳米粒子为增强基底, 碘离子为洗涤剂, 钙离子为聚集体形成增强热点, 检测受到丁香假单胞菌感染的猕猴桃叶片中类胡罗卜素的变化, 结合主成分分析与支持向量机对染病早、 中、 晚期样本进行识别, 最终识别率达到98%; Guo[10]等采用经典种子介导法生成金纳米棒增强基底对受到五种不同的腐败真菌侵染的苹果果实进行判别, 结合主成分分析和线性判别分析构建模型, 模型判别率达到98.31%。 以上研究表明, SERS技术能够在果实损伤早期对其进行高精度的损伤分类, 为果品损伤早期检测提供了一种有效手段。
本研究基于SERS技术结合深度学习方法检测玉露香梨果实的早期损伤, 采用S-G卷积平滑与迭代自适应加权惩罚最小二乘基线校正算法对采集到的新鲜梨果与受到损伤之后不同阶段的梨果拉曼光谱进行预处理, 对损伤前后的谱峰进行分析并构建基于数据增强结合1D-CNN算法的玉露香梨早期损伤检测模型, 为果品损伤早期检测提供技术思路。
采用Lee-Meisel法制备SERS银纳米溶胶基底: 首先将36 mg硝酸银溶液加入装有200 mL超纯水的烧瓶中, 转速设置为200 r· min-1, 在2 min内逐步滴入1%浓度的柠檬酸三钠溶液6 mL与硝酸银溶液充分混合, 加热并保持沸腾25 min。 溶液从透明无色过渡至浅棕色, 最后变为灰绿色。 接着, 将溶液冷却至室温, 放入离心机中离心2 min, 吸去上清液后, 加入适量的超纯水, 反复操作几次后, 避光保存[10]。 Fang[11]等采用该方法所制备的增强基底能够更加清晰的检测出苹果树皮组织的拉曼信号; Li[12]等应用该方法检测苹果砧木根系的拉曼信号比常规拉曼检测所获取的信号平均增强2.46倍。 上述研究表明该增强剂在植物信号增强方面有显著提升。
拉曼光谱仪采用Thermo ScientificTM DXRTM 3xi拉曼光谱仪(DXR 3xi, 赛默飞世尔科技, 美国), 选用785 nm固体激光器, 光谱测量范围为300~3 400 cm-1, 功率设置为23.7 mW, 配备孔径数为10× /0.25NA的奥林巴斯显微镜。 软件端由赛默飞世尔光谱仪器公司提供的控制软件OMNICxi v1.6进行操作。
玉露香梨样本均源自山西省晋中市太谷区白城村, 选择外观和重量一致, 净重约为380 g左右的梨200个进行测试。 参考Munera[13]等让小球垂直掉落砸向柿子果实赤道带造成果实隐形损伤的方法, 采用相似的步骤以诱发玉露香梨果实的机械损伤。 具体实验方法如下: 将清洗之后的玉露香梨固定在水平桌面上, 将直径30 mm, 质量为100 g的小钢球在距离梨果30 cm的正上方处以自由落体的方式砸向梨果赤道部位, 球梨碰撞后保证梨果表皮未发生破损, 但内部组织已经造成一定的破坏。 不同损伤时段的玉露香梨果实如图1所示, 在机械损伤发生早期肉眼难以判别, 直至12 h后才隐约有坑洞出现。
为了准确探明玉露香梨发生物理机械损伤后, 表面组织随时间变化而发生的拉曼光谱响应特性, 选择碰撞过后0、 4、 8、 12、 24 h共5类损伤梨果作为试验样本, 每类样本40个。 将损伤部位切片放在载玻片上并滴加银纳米溶胶基底, 之后将载玻片放置在工作台上, 调整激光探头与样品的位置和距离, 在软件界面选取点进行拉曼光谱采集, 整个数据采集过程中环境温度和湿度保持一致。 为保证光谱的准确性, 每个样本重复测量3次取平均, 共得到原始200条SERS曲线。
当拉曼光谱仪进行信号采集时, 实验环境和设备本身都会引入噪声干扰, 另外由于果实自身存在的荧光干扰也会造成拉曼光谱信号驳杂。 因此, 选择高效的预处理方法能够提高光谱信噪比。 S-G平滑算法能够增强光谱的平滑性, 降低噪声的影响。 该算法将光谱划分为多个窗口, 并在每个窗口内应用最小二乘法进行多项式拟合[14]。 本研究采用S-G平滑算法应用于光谱平滑和去噪, 窗口点数为17, 多项式阶数为5。 迭代自适应加权惩罚最小二乘法(adaptive iterativere-weighted penalized least squares, Air-PLS)是基于偏最小二乘(penalized least squares, PLS)算法的改进, 能够去除光谱中无用的荧光背景信号, 同时完成基线校正[15]。
为了正确训练神经网络, 需要比实际可用的数据集更大的数据。 数据增强是一种广泛用于解决数据短缺的技术, 通过从有限的原始数据中转换或学习, 以产生更多可用的训练数据, 能够在一定程度上缓解过拟合, 增强模型的泛化能力[13]。 本研究通过添加随机偏移、 乘性扩增和斜率效应来增强原始光谱数据集。 偏移量是光谱标准偏差的0.10倍; 乘性扩增是光谱标准差的1± 0.10倍, 斜率在0.95和1.05之间随机调整[16]。 对每条光谱曲线进行10倍增强后进行后续建模分析。
快速傅里叶变换能够将时域信号转换为频域信号[17]。 采用快速傅里叶变换将去噪、 基线校正和数据增强之后的拉曼光谱信号从波数域转换到频域, 提供频域部分的特征信息。 对于拉曼信号i(n), 当采样点数为N时, 快速傅里叶变换公式为
式(1)中, I(k)为经过快速傅里叶变换之后的频域信号[18]。 由于快速傅里叶变换具有对称性质, 选用N/2个采样点数对拉曼光谱信号进行快速傅里叶变换并进行幅值谱的提取, 幅值谱的计算公式为
$|X(K)|=\sqrt{\operatorname{Re}^{2}[X(k)]+\operatorname{Im}^{2}[X(k)]}$ (2)
式(2)中, Re[X(k) ]、 Im[X(k)]分别代表X(K)的实部与虚部, 最后将提取的幅值谱作为特征输入到1D-CNN模型中进行训练。
CNN是一种高效的深度学习算法, 可以从高维和复杂的数据中自动学习特征, 已在各种光谱数据分析中得到了广泛的应用, CNN模型由一个或多个卷积层和池化层组成, 卷积层用于提取输入数据最重要的特征, 池化层能够降低数据的维数, 同时保留光谱的特征, 之后全连接层将提取的特征向量映射至样本的标签空间[19, 20]。 通常在模型中还会加入批量归一化层(batch normalization, BN)以处理训练过程中的中间层数据分布不均匀导致的训练效率低, 训练过拟合等问题。
本研究主要涉及的是一维光谱数据, 因此采用一维CNN模型对拉曼光谱数据进行处理。 整体结构由卷积层、 池化层、 BN层、 全连接层和输出层组成。 模型中使用的激活函数是ReLU激活函数。 图2为1D-CNN模型整体结构示意图。
首先模型以预处理过后的FFT幅频谱特征, 共839个波段作为输入, 分别构建由32个大小为3× 1的卷积核和64个大小为3× 1的卷积核组成的卷积层; 在每个卷积层之后添加大小为2× 1的最大池化层进行数据降维; 在每个最大池化层之后添加BN层, 在全连接层之后添加BN层与Dropout层以防止模型过拟合。
玉露香梨含有丰富的糖类, 此外还有蛋白质、 粗纤维、 脂肪等其他成分[22]。 图3(a)为玉露香梨果实受到机械损伤5个不同时段的平均原始拉曼光谱, 图3(b)为经过去噪和基线校正过后的平均拉曼光谱。 可以看出, 经过预处理之后能够较好的保留原始光谱的特征信息。 选取400~2 000 cm-1波数观察梨果在受到机械损伤的不同时间段损伤部位发生的生理变化, 其中差异较大的几个波段分别为467、 534、 637、 1 138、 1 589以及1 607 cm-1, 其中534 cm-1处的差异归因于果胶, 637 cm-1处的差异由果糖引起, 1 138 cm-1处是由于果糖中糖苷键C— O— C的不对称和对称拉伸振动引起, 1 589、 1 607 cm-1处差异的产生是由梨果中的蛋白质差异引起的, 随着时间的推移, 梨果损伤部位蛋白质的拉曼特征峰由1 607 cm-1向1 589 cm-1发生了偏移[23, 24, 25]。
基于图3(b)受到机械损伤之后不同时段拉曼光谱存在明显差异, 本研究对467和637 cm-1两个不同的特征波段进行显著性差异分析, 观察受到机械损伤的梨果不同时段的拉曼光谱差异, 图4(a)为受到机械损伤的梨果不同时段的拉曼光谱在467 cm-1的谱峰强度对比统计, 可以看出梨果在受到机械损伤之后的0~12 h内拉曼强度增加缓慢, 而在12~24 h阶段谱峰增加明显, 这可能是由于果肉细胞组织结构在受到机械损伤后遭到破坏, 果胶酶与果胶底物分布不均匀致使原果胶大量水解为可溶性果胶所导致[26]。 图4(b)为机械损伤的梨果不同时段的拉曼光谱在637 cm-1的谱峰强度对比统计, 梨果在0~8 h损伤阶段拉曼强度增长缓慢, 在8~24 h阶段谱峰增加明显, 这可能是由于机械损伤发生后, 果肉中纤维素酶含量快速降低, 同时果实伤口及邻近部位细胞的细胞壁发生栓化, 加快愈伤组织的形成, 导致纤维素含量快速上升, 纤维素峰强度逐渐升高所致[27]。
上述方法通过534和637 cm-1两个特征波段能够显著观察出梨果受到机械损伤之后不同时段的差异。 然而, 通过视觉观察区分不同时段受到机械损伤的果实差异易出现误判。 拉曼光谱技术与深度学习算法相结合能够很大程度上提高检测效率。
在建模之前对所有光谱进行数据增强处理; 按照3∶ 1的比例划分训练集与预测集并将受到机械损伤0 h的光谱记为标签1, 将受到机械损伤4 h的光谱记为标签2, 依此类推, 共设置5个标签进行分类模型的建立; 数据集经过扩充之后共2 200条光谱曲线。 模型训练优化器采用adam优化器, 初始学习率设置为0.001, 采用稀疏分类交叉熵作为损失函数对模型进行训练。
图5和图6为1D-CNN模型预测集混淆矩阵图、 准确率与损失函数的训练情况, 模型的准确率为100%, 精度、 召回率和F1分数均达到100%, 模型经过200次迭代训练后, 准确率与损失函数均趋于稳定, 表明数据增强、 快速傅里叶变换提取特征与1D-CNN相结合能够快速、 准确的对不同时段受到机械损伤的梨果进行分类。
![]() | 图6 模型准确率与损失函数变化情况 (a): 模型准确率变化情况; (b): 模型损失函数变化情况Fig.6 Variation of model accuracy and loss function (a): Variation of model accuracy; (b): Variation of loss function |
以上结果表明, 通过SERS结合深度学习算法检测梨果受到机械损伤后的不同时段内部品质变化是可行的, 与现有光谱技术检测果实机械损伤的研究结果相类似, Bunsiri[28]等采用紫外吸收光谱、 薄层色谱和高效液相色谱法检测山竹果实表皮机械损伤后的物质含量变化, 结果表明发生机械损伤后山竹果皮变硬, 木质素增多, 总酚类物质减少。 Li[29]等将高光谱技术和理化指标相结合的方法检测黄桃果实不同冲击损伤, 研究发现, 黄桃中可溶性固形物含量随着损伤时间的增加而升高。 因此, 光谱技术与化学分析方法和深度学习算法的相互融合在食品安全和质量检测中具有重要意义。
基于表面增强拉曼光谱技术结合深度学习算法构建了玉露香梨早期损伤检测模型。 (1)拉曼光谱在采集的过程中容易产生噪声, 通过对光谱数据进行S-G卷积平滑、 Air-PLS预处理方法以消除噪声和基线校正, 为了提高模型的鲁棒性和泛化能力, 采用数据增强扩充数据集、 快速傅里叶变换提取特征用于模型训练。 (2)构建1D-CNN模型对玉露香梨果实在0、 4、 8、 12和24 h时段的机械损伤进行分类, 模型在准确率、 精度、 召回率和F1分数等多个指标上均表现出色, 能够有效地检测并区分玉露香梨在不同损伤时段的内部品质变化。 该方法经过光谱采集参数调整以及优化深度学习算法之后也可用于其他果品和食品的质量检测。 在未来的研究中可以考虑检测不同果蔬的机械类损伤以及不同的机械损伤类型, 对受到机械损伤后的果蔬内部品质变化采取定量分析, 以期获得更精确的损伤变化情况。 同时也要开发更加便携、 原位的方法进行检测, 以达到检测实时性、 高效性的目的。
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|
[22] |
|
[23] |
|
[24] |
|
[25] |
|
[26] |
|
[27] |
|
[28] |
|
[29] |
|