引用本文
章海亮, 周孝文, 刘雪梅, 罗微, 詹白勺, 潘璠. 基于卷积神经网络和高光谱成像技术的多宝鱼新鲜度鉴别[J]. 光谱学与光谱分析, 2024,44(2): 367-371.
ZHANG Hai-liang, ZHOU Xiao-wen, LIU Xue-mei, LUO Wei, ZHAN Bai-shao, PAN Fan. Freshness Identification of Turbot Based on Convolutional Neural Network and Hyperspectral Imaging Technology[J]. Spectroscopy and Spectral Analysis, 2024,44(2): 367-371.
Doi:10.3964/j.issn.1000-0593(2024)02-0367-05  
Permissions
Copyright©2024, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
基于卷积神经网络和高光谱成像技术的多宝鱼新鲜度鉴别
章海亮1, 周孝文1, 刘雪梅2,*, 罗微2, 詹白勺2, 潘璠3
1.华东交通大学电气与自动化工程学院, 江西 南昌 330013
2.华东交通大学土木建筑学院, 江西 南昌 330013
3.华东交通大学对外联络处, 江西 南昌 330013
*通讯作者 e-mail: 475483235@qq.com

作者简介: 章海亮, 1977年生, 华东交通大学电气与自动化工程学院教授 e-mail: hailiang.zhang@163.com

收稿日期: 2022-09-03 修回日期: 2022-11-19 接受日期: 2022-11-19
基金: 国家自然科学基金项目(32260622), 江西省03专项及5G项目(20212ABC03A17)资助
摘要

鱼类产品新鲜度鉴别一直是重要的研究课题, 相较于目前常规鱼类品质检测方法存在的成本高、 检测时间长等问题, 高光谱成像技术(HSI)因其无损、 快速等优势得到了学者的广泛研究。 卷积神经网络是深度学习中应用较为广泛的模型, 表达能力强, 模型效率高。 因此, 使用卷积神经网络(CNN)结合高光谱成像技术建立多宝鱼新鲜度鉴别模型。 采集160个多宝鱼样本感兴趣区域(ROI)光谱, 并根据样本不同冻融次数和冷冻时间分为5类新鲜度。 以VGG11网络为基础, 针对光谱数据特点对网络结构进行调整, 减少全连接层数量, 降低模型的复杂度, 分别对比不同卷积核个数、 激活函数对分类性能造成的影响, 确定最佳CNN网络结构。 由于高光谱数据量大同时存在的冗余信息较多, 分别采用无信息变量消除算法(UVE)和随机青蛙算法(RF)对高光谱数据进行波长筛选, 将波长筛选后的高光谱数据分别输入卷积神经网络(CNN)、 最小二乘支持向量机(LS-SVM)、 K最近邻算法(KNN)建立模型。 采用无信息变量消除(UVE)提取的165个特征波长建立的UVE-CNN模型鉴别效果最佳, 分类模型在测试集上的精度达到了100%。 结果表明, 利用卷积神经网络与高光谱成像技术相结合可实现对多宝鱼新鲜度的有效鉴别, 该研究为多宝鱼新鲜度无损、 准确鉴别提供新思路。

关键词: 卷积神经网络; 多宝鱼; 高光谱; 深度学习
中图分类号:O433.5 文献标志码:A
Freshness Identification of Turbot Based on Convolutional Neural Network and Hyperspectral Imaging Technology
ZHANG Hai-liang1, ZHOU Xiao-wen1, LIU Xue-mei2,*, LUO Wei2, ZHAN Bai-shao2, PAN Fan3
1. School of Electrical and Automation Engineering, East China Jiaotong University, Nanchang 330013, China
2. School of Civil Architecture, East China Jiaotong University, Nanchang 330013, China
3. Department of External Liaison, East China Jiaotong University, Nanchang 330013, China
*Corresponding author
Abstract

Identifying fish product freshness has always been an important research topic. Compared with the problems of high cost and long detection time of the current conventional fish quality detection methods, hyperspectral imaging technology (HSI) has been obtained due to its non-destructive and rapid advantages. Convolutional neural network is a widely used model in deep learning, with strong expressive ability and high model efficiency. Therefore, a freshness discrimination model of turbot was established using a convolutional neural network (CNN) combined with hyperspectral imaging technology. First, 160 regions of interest (ROI) spectra of turbot samples were collected and divided into 5 categories of freshness according to the samples' different freeze-thaw times and freezing times. Based on the VGG11 network, adjust the network structure according to the features of spectral data, reduce the number of fully connected layers, reduce model complexity, and compare the effects of different convolution kernels and activation functions on classification performance to determine the best network framework. Due to hyperspectral data and the large amount of redundant information, Uninformative variable elimination algorithm (UVE) and Random frog algorithm (RF) were used to screen the wavelength of hyperspectral data. The hyperspectral data after wavelength screening were respectively input into a convolutional neural network (CNN), least squares support vector machine (LS-SVM) and K-nearest neighbor algorithm (KNN) to establish the model. Finally, the UVE-CNN model based on the 165 feature wavelengths extracted by Uninformative variable elimination (UVE) has the best discrimination effect, and the accuracy of the classification model on the test set reaches 100%. The results showed that the combination of convolutional neural networks and hyperspectral imaging technology could be used to identify the freshness of turbot effectively. This study provides a new idea for non-destructive and accurate identification of turbot freshness.

Keyword: Convolutionalneural network; Turbot; Hyperspectral; Deep learning
引言

多宝鱼, 学名大菱鲆(Scophthalmus maximus), 为硬骨鱼纲鲽形目鲆科菱鲆属海洋底栖冷水性鱼类。 因其肉质营养丰富、 独特口感, 深受消费者的青睐。 由于多宝鱼是一种极易腐烂的食物, 商家为了延长产品保存时间而普遍采取冷冻方式进行储藏。 冷冻方式是一种成本较低和操作简单的保存方法, 但多宝鱼在冷冻期间营养物质会逐渐流失, 对品质造成影响, 因此多宝鱼新鲜度判别十分重要。

目前鱼类品质检测方法有微生物检测、 化学检测、 电子鼻等方法, 虽然检测结果精准, 但存在检测过程时间长且会对样本造成破坏等问题, 不利于大规模应用。 高光谱成像技术(hyperspectral imaging, HSI)是一种无损、 快速的新型分析技术, 在鱼类品质检测邻域有一定的研究[1, 2, 3]。 近年来, 深度学习技术发展迅速, 已广泛应用在计算机视觉[4]、 语音识别[5]、 无人驾驶[6]等领域。 卷积神经网络作为深度学习的经典模型, 具有强大的特征提取和学习能力, 目前有学者将卷积神经网络与高光谱成像技术相结合检测大米、 柑橘、 棉种等农产品, 但结合两者对鱼类新鲜度检测的研究鲜有报道。

本研究提出了利用卷积神经网络进行基于高光谱成像的多宝鱼新鲜度鉴别方法, 应用于多宝鱼高光谱样本数据集, 验证所提方法的有效性, 为多宝鱼新鲜度鉴别提供新方法。

1 实验部分
1.1 样本

实验所用多宝鱼样本购于杭州某水产交易中心, 在交易中心现场进行样本前处理, 具体步骤如下: 将每条鲜活多宝鱼从养殖水池中依次捞出, 先用冰水休克, 然后棒击头部致死, 最后去除鱼的头尾和内脏并在冰水中清洗干净。 每条鱼按照背部和腹部进行分割处理, 背部和腹部各2等分, 每条鱼分为4个样本, 整个前期处理时间约为3 h。 用塑料袋放置各样本, 将塑料袋置于装有碎冰的干净泡沫保温箱中, 运输专车迅速将样本输送至实验室。 由于鱼在冷冻情况下保存时间长, 为了保证时间跨度, 分别将鱼的冷藏时间设为30和120 d, 并进行1~2次解冻实验。 160个样本分为5类, 随机划分训练集和测试集(7∶ 3)。 具体划分详见表1所示。

表1 样本划分 Table 1 Sample classification
1.2 高光谱图像采集与标定

使用的高光谱成像系统主要由高光谱摄像机(N10E, Specim, Finland), 卤素灯光源2个, 镜头, 样本传送装置及移动平台控制器, 计算机组成。 为了保证采集的高光谱图像的数据质量, 需要对样本传送装置的速度、 样本与镜头距离等参数进行调节, 经过多次调试, 本研究中样本传送装置速度为3.2 mm· s-1, 相机曝光时间设为0.08 s, 样本与镜头距离设为45 cm。 采集数据时用纸巾擦干鱼样品表面多余水分, 将样本放置在传送装置上, 垂直于镜头移动, 获取高光谱成像数据。 为了降低采集过程中暗电流和光照不均匀等影响因素造成的影响, 需要对高光谱相机在分析之前进行黑白校正。

1.3 光谱数据提取

选取鱼腹部中央附近约80× 80像素的矩形区域作为感兴趣区域(ROI), 得到光谱波长范围为381~1 023 nm, 共计512个波段, 由于在429 nm波长前的光谱存在噪声, 数据失真较为严重。 采用429~1 023 nm波长范围光谱为原始波长范围用于后续建模分析。 采用ENVI软件求取每个样本图像的平均光谱。

1.4 卷积神经网络

VGGNet[7]是牛津大学计算机视觉组和DeepMind公司共同研发的一种深度卷积神经网络, 在2014年ILSVRC大赛上获得了优异的成绩, 选择VGG11作为参考网络结构。 VGG11网络包括8个卷积层, 3个全连接层, 5个池化层, 特点为使用多层小卷积核替代一层较大卷积核进行特征提取, 在减少参数的同时也引入更多非线性因素, 提升网络分类精度, 该网络结构中卷积层和池化层参数基本一致, 结构简洁, 使用广泛, 但原网络是针对图片等二维数据设计的, 本次实验获取的光谱数据为一维数据, 因此将模型中卷积核尺寸由3× 3改为1× 3, 池化层中窗口尺寸由2× 2改为1× 2以适应一维数据输入, 原模型的全连接层参数过多, 模型训练难度大, 因此仅保留最后一层全连接层用于分类。

1.5 模型评价指标

采用预测集准确率为模型性能评价指标。 分类准确率PT表示为

PT=NCN×100%(1)

式(1)中, NC为预测正确样本数量, N为全部样本。

1.6 卷积核数量设置

卷积核作用为提取样本特征, 是卷积神经网络的核心组成部分, 为确定最佳卷积核数量, 对比6种不同卷积核数量网络结构模型的分类性能, 网络卷积数量实验详细设置见表2, 模型训练曲线如图1所示。

表2 卷积核数量实验 Table 2 Convolutional kernel number experiment

图1 模型训练曲线Fig.1 Model training curve

结合表2和图1可知, 卷积核数量与模型参数量成正比, 卷积核数量越多, 模型也就更加复杂, 例如VGG-1至VGG-3的网络模型, 卷积核数量过多, 模型难以训练, 导致分类准确率低, 但当模型过于简单如VGG-6的网络结构, 使得模型不能够学习到足够样本特征, 也会影响到模型的分类性能, 在这6个网络模型中, VGG-5的网络结构能够较好地达到平衡, 其准确率达到了100%。

1.7 激活函数对比

激活函数为神经网络引入非线性因素, 可提高神经网络对模型的表达能力, 为选出最佳激活函数, 选用了较为常用的3种不同激活函数(Tanh, Sigmoid和Relu)进行比较。

Sigmoid[8]常被用作神经网络的激活函数, 将变量映射到[0, 1]之间。 表达式为

f(x)=sigmoid(x)=11+e-x(2)

式(2)中, x为当前隐藏层输入。

Relu[9]为分段线性函数, 将所有负值变为0, 而正值不变, 表达式为

f(x)=relu(x)=max(0, x)(3)

式(3)中, x为当前隐藏层输入。

Tanh[10]为双曲正切函数, 将输入值转为-1至1之间, 表达式为

f(x)=tanh(x)=1-e-2x1+e2x(4)

式(4)中, x为当前隐藏层输入。

其中Sigmoid激活函数准确率最低(25%), Relu激活函数次之(72.92%), Tanh激活函数准确率最高(100%)。 因此选择Tanh作为网络模型的激活函数。

1.8 网络结构设置

结合上述实验分析结果, 建立CNN网络模型结构如图2所示, 模型包含8个卷积层进行光谱特征提取, 其中卷积核大小为1× 3, 个数分别为4, 8, 16, 16, 32, 32, 32, 32, 共计5个池化层对特征进行降维, 窗口大小为1× 2, 最后1个全连接层负责分类。

图2 CNN网络模型结构Fig.2 CNN network model structure

2 结果与讨论
2.1 样本光谱

图3中每一条光谱为样本感兴趣区平均光谱, 在整个波长范围内, 最大反射率不高于0.25, 近红外区域的反射率要高于可见光区域的反射率, 在960 nm附近, 近红外光谱存在较大的吸收度, 这是由于鱼样本的C— H功能键在此区域存在吸收峰。

图3 多宝鱼光谱数据Fig.3 Spectral data of Turbot

2.2 光谱特征筛选与建模分析

原始光谱数据变量较多, 为了减少建模所用变量个数, 简化模型, 选用了RF和UVE两种方法对光谱波长进行筛选。

(1) RF方法

随机青蛙算法(random frog, RF)在每次建模运行时都会评估参与建模的变量被选频率, 将被选频率高的变量组合并替代原始光谱用于进一步的建模分析[11]。 选择被选概率值大于0.1的变量为特征波长, 实验结果如图4所示, 本研究采用随机青蛙算法获得的特征波长数量为46个。

图4 RF变量被选频率Fig.4 Frequency of variable selections by RF

(2) UVE方法

无信息变量消除(uninformative variable elimination, UVE)方法是建立在PLS回归系数基础上的波长筛选方法, 用回归系数来衡量波段重要性[12]。 将阈值设置为0.99, 建立PLS模型选择变量, 图5是UVE波长筛选后的结果, 其中左侧曲线为鱼光谱变量矩阵, 右侧为添加与鱼光谱变量数相同的随机噪声矩阵, 两条平行虚线的值为+7.554和-7.554, 代表阈值筛选的上下限, 两线之间为剔除的无用变量, 两线之外的变量作为建模变量, 通过UVE波段变量筛选后, 共有165个波长变量被选择。

图5 UVE变量筛选结果Fig.5 UVE variable selection result diagram

为了对比CNN模型性能, 选用了目前常用的LS-SVM[13]和KNN[14]模型作为对比, 将原始数据、 RF、 UVE算法与各模型相结合, 结果如表3所示。 在使用原始光谱数据时CNN即可实现高精渡(100%)分类, 而LS-SVM与KNN精度较低分别为95.83%和60.4%。 经过波长筛选步骤后, 使用UVE提取的165个光谱变量建立的CNN分类模型准确率达到最高的100%, 建立的LS-SVM模型与对应使用原始数据模型准确率不变, 而建立的KNN模型准确率有所下降, 使用RF提取的46个光谱变量建立的三个模型准确率都有不同程度的下降。 不难看出识别效果最优的是UVE-CNN模型, 分类精度高且参与建模波长少。

表3 不同算法总体分类精度 Table 3 Overall classification accuracy of different algorithms
3 结论

提出了一种基于高光谱成像技术的卷积神经网络分类模型, 对5类不同新鲜度多宝鱼进行了检测。 分析结果表明所提出的CNN模型可直接提取原始光谱特征信息, 实现鱼类新鲜度高精度(100%)分类, 体现了卷积神经网络强大的学习能力。 分别使用UVE和RF方法筛选特征波长后建模, 其中识别效果最优的是UVE-CNN模型, 在保证精度的同时减少了参与建模的波长数量。 在后续研究中, 将尝试增加新鲜度类别和样本数量, 建立更为高效的深度学习模型, 为鱼类新鲜度检测提供技术支持。

参考文献
[1] Jun-Hu C, Da-Wen S, Guixiong L, et al. Food Chemistry, 2019, 270: 181. [本文引用:1]
[2] Kathryn E A, Svein K S, Torstein S, et al. LWT, 2020, 133: 110093. [本文引用:1]
[3] Jia-Huan Q, Da-Wen S, Jun-Hu C, et al. LWT—Food Science and Technology, 2017, 75: 529. [本文引用:1]
[4] SHAO Ming-wei, DONG Jun-yu (邵明伟, 董军宇). Scientia Silvae Sinicae(林业科学), 2020, 56(12): 123. [本文引用:1]
[5] ZHANG Wei, LIU Chen, FEI Hong-bo, et al(张威, 刘晨, 费鸿博, 等). Chinese Journal of Engineering(工程科学学报), 2021, 43(3): 433. [本文引用:1]
[6] LÜ Pin, LI Kai, XU Jia, et al(吕品, 李凯, 许嘉, 等). Chinese Journal of Computers(计算机学报), 2021, 44(10): 1984. [本文引用:1]
[7] Karen S, Andrew Z. In: CoRR abs/1409. 1556(2014). URL: http://arxiv.org/abs/1409.1556. [本文引用:1]
[8] SONG Xiao-ru, WU Xue, GAO Song, et al(宋晓茹, 吴雪, 高嵩, 等). Science Technology and Engineering(科学技术与工程), 2019, 19(5): 193. [本文引用:1]
[9] GUO Meng-jie, YANG Meng-zhuo, MA Jing-jiu(郭梦洁, 杨梦卓, 马京九). Modern Information Technology(现代信息科技), 2019, 3(14): 18. [本文引用:1]
[10] JIANG Zheng-feng, LIAO Qun-li (蒋正锋, 廖群丽). Modern Computer(现代计算机), 2021, 27(31): 13. [本文引用:1]
[11] Paulino J G N, Esperanza G G, Jaume P B, et al. Biosystems Engineering, 2020, 195: 198. [本文引用:1]
[12] YU Hui-chun, FU Xiao-ya, YIN Yong, et al(于慧春, 付晓雅, 殷勇, 等). Journal of Nuclear Agricultural Sciences(核农学报), 2020, 34(3): 582. [本文引用:1]
[13] LIU Yan-de, XIAO Huai-chun, SUN Xu-dong, et al(刘燕德, 肖怀春, 孙旭东, 等). Transactions of the Chinese Society for Agricultural Machinery(农业机械学报), 2016, 47(11): 231. [本文引用:1]
[14] XIE Jia, QIN Lei-lei, HAN Shu-jun, et al(谢嘉, 秦磊磊, 韩淑君, 等). Feed Research(饲料研究), 2022, 45(15): 114. [本文引用:1]