近红外光谱图像处理的霉变稻谷检测方法
温冯睿1, 关海鸥1,*, 马晓丹1, 左锋2,3,*, 钱丽丽2,3,4
1.黑龙江八一农垦大学信息与电气工程学院, 黑龙江 大庆 163000
2.黑龙江八一农垦大学食品学院, 黑龙江 大庆 163000
3.国家杂粮工程技术研究中心, 黑龙江 大庆 163000
4.黑龙江省农产品加工与质量安全重点实验室, 黑龙江 大庆 163000
*通讯作者 e-mail: gho123@163.com; zuofeng-518@126.com

作者简介: 温冯睿, 1997年生, 黑龙江八一农垦大学信息与电气工程学院硕士研究生 e-mail: wfr_369@163.com

摘要

稻谷在储藏和运输过程中, 在适宜的温湿度环境下极易发生霉变, 导致大量的粮食浪费和巨大的经济损失, 进而影响粮食安全。 为解决传统的稻谷霉变检测存在的繁琐且耗时较长等不足, 提出了基于近红外光谱图像处理和神经网络的稻谷霉变程度检测方法。 首先, 通过农业多光谱相机(Sequoia)和固定光源等设备, 构建了霉变稻谷近红外图像数据采集平台, 获取了黑龙江地区牡响、 早香、 彩稻三个品种不同的霉变状态(健康稻谷、 轻度霉变、 中度霉变)的近红外光谱成像数据。 对于近红外光谱图像的160×160像素有效区域, 应用数字图像处理技术结合光谱图像分析方法, 分析了NIR图像多种纹理特征和光谱反射值频率特性, 优选不同稻谷品种霉变状态的光谱特征, 计算了近红外图像的纹理特征(均值、 标准差、 平滑度、 三阶距、 一致性、 信息熵、 平均梯度、 分形维数)以及间隔步长0.1时NIR光谱图像在0.2~0.8区间反射值频率, 共计14维度的光谱图像特性指标。 最后, 以提取NIR图像的特征向量为依据, 利用前馈神经网络的自适应推理机制, 建立了稻谷霉变程度与其近红外图像特征之间的非线性映射模型, 该神经网络结构为14-60-3型, 进一步将网络输出编码向量解析至稻谷霉变等级, 实现了稻谷霉变程度的快速检测方法。 结果表明: 本文提出检测模型在学习次数为28 455次时达到预设的目标精度0.06, 所提取的稻谷NIR图像特征与模型输出的相关系数为0.85。 仿真测试中该检测模型所计算出的网络输出值和期望输出值的误差平均值为0.521 39, 方差为0.137 82, 误差的标准差为0.371 23, 对于不同稻谷的霉变程度检测的准确率为93.33%。 该研究为实现稻谷霉变程度无损检测提供了新方法, 为稻谷仓储时霉变早期自动快速检测提供了技术支持。

关键词: 稻谷霉变; NIR光谱图像; 提取特征; 神经网络; 检测模型
中图分类号:S24 文献标志码:A
Moldy Rice Detection Method Based on Near Infrared Spectroscopy Image Processing Technology
WEN Feng-rui1, GUAN Hai-ou1,*, MA Xiao-dan1, ZUO Feng2,3,*, QIAN Li-li2,3,4
1. College of Information and Electrical Engineering, Heilongjiang Bayi Agricultural University, Daqing 163000, China
2. College of Food Science, Heilongjiang Bayi Agricultural University, Daqing 163000, China
3. National Coarse Cereals Engineering Research Center, Daqing 163000, China
4. Key Laboratory of Agro-Products Processing and Quality Safety of Heilongjiang Province, Daqing 163000, China
*Corresponding authors
Abstract

During the storage and transportation of rice, mildew easily occurs in a suitable temperature and humidity environment will cause a lot of food waste and huge economic losses, which in turn affects food security. This paper proposed a method for detecting the mildew degree of rice-based on near-infrared spectroscopy image processing technology and neural network. First of all, through the agricultural multi-spectral cameras (Sequoia) and fixed light sources and other equipment, this research has constructed a near-infrared image data acquisition platform for moldy rice. The imaging data of the different mold states (three states: healthy rice, mild mold, and moderate mold) of three varieties of Muxiang, Zaoxiang, and Caidao in Heilongjiang area were acquired. Secondly, taking data samples of rice with different degrees of mildew as the research object, for the 160×160 pixel effective area of the infrared spectrum (NIR) image, applying digital image processing technology combined with spectral image analysis methods to study the various texture characteristics and spectral reflectance frequency characteristics of near infrared spectroscopy (NIR) images, optimizing the spectral characteristics of the mildew state of different rice varieties. The texture features (mean, standard deviation, smoothness, third-order distance, consistency, information entropy, average gradient, fractal dimension) of the near-infrared image are extracted, and the reflection value frequency of the NIR spectrum in the 0.2~0.8 interval when the interval step is 0.1, based on a total of 14-dimensional spectral image characteristic index. At last, based on the feature vector of the NIR image, using the feedforward neural network adaptive inference mechanism, a nonlinear mapping model between the degree of rice mildew and its near-infrared image characteristics was established. The network structure of the model is 14-60-3, and the network output code vector is analyze to the rice mildew grade, realizing the rapid detection method of rice mildew degree. The results show that this paper proposes that the detection model reaches the preset target accuracy of 0.06 when the number of learning times is 28 455, and the correlation coefficient between the extracted rice NIR image features and the model output is 0.85. In the simulation test, the average error between the network output value calculated by the detection model and the expected output value is 0.521 39, the variance is 0.137 82, and the standard deviation of the error is 0.371 23. The accuracy of detecting the degree of mildew of different rice is 93.33%. The research results are a new method for realizing the non-destructive detection of the degree of rice mildew and can provide technical support early and automatic and rapid detection of early mildew during rice storage.

Keyword: Rice mildew; NIR spectral images; Feature extraction; Neural networks; Detection model
引言

稻谷在储运过程中适宜的温湿度等环境下极易发生霉变, 导致产生多种对人体和牲畜有害的真菌霉素, 严重威胁人与动物的健康, 降低稻谷食用价值, 也会造成大量的粮食浪费, 带来巨大的经济损失, 进而影响粮食安全, 因此对于霉变稻谷的检测和霉变程度的鉴别具有重要的意义。 传统稻谷霉变研究是通过化学处理后利用电子显微镜等仪器, 观测稻谷中真菌孢子, 用来检测稻谷霉变情况。 唐芳等[1]提出了一种使用扫描电镜观察方法, 通过真菌孢子的数量来判断稻谷霉变程度, 该方法存在的不足是耗费时间长, 检测过程繁琐。 为检测粮食的不同霉变程度, 严松等[2]对小麦产生的挥发性气体进行主成分分析, 检测了小麦的霉变程度; 库晶等[3]设计了一种电子鼻技术的稻谷霉变在线检测系统; 但目前电子鼻对于稻谷霉变的研究多局限在实验室环境中, 且在实际应用中, 设备的灵敏度, 布线等因素都会影响检测的结果。 在电子鼻技术基础上, 赵天霞等[4]利用PCA算法区分了未霉变、 轻度霉变、 以及重度霉变的稻谷。 随着数字图像处理技术快速发展, 基于机器视觉的智能信息处理技术, 被广泛地应用于粮食霉变的检测研究。 潘磊庆等[5]应用机器视觉获取五种真菌引起稻谷霉变后图像, 采用SVM和PLS-DA方法成功划分了无霉变组、 轻度霉变组、 以及重度霉变组, 机器视觉技术存在的不足是无法获取稻谷内部品质的信息。 光谱在稻谷霉变检测中具有可获得内部信息的优势, 因此, 光谱分析技术已逐渐在稻谷霉变中得到了成功应用, 如赖燕华等[6]在特定的范围内获得烟叶样本近红外光谱(near infra-red, NIR)数据, 识别了未霉变、 临近霉变、 以及已霉变的样品; Lu等[7]通过光谱特征结合主成分分析对不同生长阶段的真菌导致的霉变稻谷, 采用连续投影算法选择最佳波长并建立对应分类模型; 章林忠等[8]利用近红外高光谱图像, 建立了板栗果实的快速无损检测和品质鉴定方法, 实现了霉变、 虫害和正常果实的定性分析。 蒋大鹏等[9]应用近红外光谱无损快速鉴别霉变的松子; 沈飞等[10]采取霉变稻谷的近红外光谱数据, 利用PCA-DA-PLSR建模方法, 无损检测了稻谷受有害霉菌污染程度。 但相关北方寒地稻谷仓储和南运过程中多种复杂的环境因素和稻谷收获时属性条件, 基于近红外光谱图像技术的稻谷霉变程度检测方法鲜有报道。 本工作以东北寒地稻谷为研究对象, 获取牡响、 早香、 彩稻三个品种不同霉变状态的近红外光谱的成像数据, 分析NIR图像多种纹理和频域特性, 优选不同稻谷品种霉变状态的光谱特征, 利用BP神经网络(back propagation, BP)的自适应推理机制, 建立稻谷霉变程度与其近红外图像特征之间映射模型, 实现稻谷霉变程度无损检测的新方法, 能够为稻谷仓储时霉变早期自动快速检测提供技术支持。

1 实验部分

以东北寒地稻谷为研究对象, 分别为: 牡响、 早香、 彩稻三种稻谷, 且均为没有脱离稻壳的籽实。 考虑到北粮南运中遇到的复杂情况, 如稻谷在集装箱中被雨水打湿, 在运输途中仓内温度过高等因素, 将四种健康稻谷各2 kg均匀平铺在培养盘中, 倒入无菌水搅拌均匀, 覆膜后放入35~40 ℃的人工气候箱中, 模拟稻谷发生复杂霉变过程。 采用五通道多光谱相机(Sequoia), 在近红外波长为790 nm且带宽为40 nm的参数条件下, 采集稻谷霉变全过程的近红外图像数据。 为减少外界环境对采集图像数据的干扰, 实验在标准拍摄箱内进行, 配备标准的全波段光源, 设定实验间隔为24 h, 固定多光谱相机在距离样本上方40 cm处垂直拍摄。

稻谷受真菌感染产生霉变后表面存在霉菌, 其表面颜色逐渐变深甚至呈现黑色。 依据文献[11]结合黑龙江稻谷储运的实际情况, 定义稻谷中霉菌量≤ 105 CFU· g-1为健康稻谷; 霉菌量在105~106 CFU· g-1定义为轻度霉变稻谷; 霉菌量≥ 106 CFU· g-1定义为中度霉变稻谷。 选取霉变稻谷的近红外图像中大小160× 160的中心区域为有效图像(见图1), 分析霉变稻谷在790 nm波长的近红外光谱图像特性。

图1 不同霉变程度的稻谷近红外图像
(a): 健康稻谷; (b): 轻度霉变; (c): 中度霉变
Fig.1 Near-infrared images of rice with different degrees of mildew
(a): Healthy; (b): Mild mildew; (c) Moderate mildew

2 结果与讨论
2.1 提取稻谷近红外图像特征

2.1.1 提取纹理特征

稻谷发生霉变时所产生曲霉属和青霉属为主的霉菌群, 随机分布在籽粒表面, 其近红外光谱反射值存在差异性分布。 研究稻谷不同霉变程度所成图像差异性, 计算霉变稻谷NIR图像的纹理特征, 分析稻谷霉变时NIR图像特性, 可为稻谷储运时霉变程度的快速检测提供数据指标。 依据文献[12]设计稻谷NIR图像纹理特征计算方法, 具体计算公式如表1所示。

表1 计算稻谷NIR图像纹理特征表 Table 1 Calculated texture features of rice NIR image

为客观描述霉变稻谷NIR图像的清晰度, 应用平均梯度G表征NIR图像的多层次细节, G越大表明图像的层次越多且清晰, 反之, 图像越模糊, 平均梯度G计算公式为

G=1(m-1)(n-1)i=1m-1j=1n-1×(F(i, j)-F(i+1, j))2+(F(i, j)-F(i, j+1))22(1)

式(1)中, mn分别为NIR图像的行数和列数, F(i, j)为近红外图像的反射值。

霉变稻谷的NIR图像存在多变的周期性重复细节, 分形维数可以衡量图像内反射值的强弱, 并且表示其规则程度, 因此分形维数作为NIR图像非常重要的纹理特征, 计算分形维数FD公式为

FD=limε0[logN(ε)/log(1/ε)](2)

式(2)中, N(ε )为覆盖整幅图像需要的盒子总数目, ε 为原图像划分若干子图像的边长。

依据上述霉变稻谷特征计算方法, 选取健康、 轻度霉变、 中度霉变稻谷各200幅图像数据, 共计600组近红外光谱成像样本, 计算不同霉变状态下稻谷NIR图像的8个纹理特征, 三种霉变稻谷图像的纹理特征分布, 如图2所示。

图2 稻谷三种霉变状态的纹理特征分布
(a): 健康稻谷; (b): 轻度霉变; (c): 中度霉变
Fig.2 Distribution of texture characteristics of three mildew states of rice
(a): Healthy; (b): Mild mildew; (c): Moderate mildew

图2中为600个样本的特征数据进行归一化处理后的盒图, 可以直观反映每种状态稻谷各特征值中最大值、 最小值、 中位数、 以及50%的数据集中区域。 其中, 健康稻谷特征数据中50%样本的均值集中在0.39~0.68之间, 轻度霉变稻谷在0.62~0.84区间, 中度霉变稻谷在0.54~0.81之间, 霉变稻谷相较于健康稻谷均值的中位数有所上升, 反映了霉变稻谷NIR图像的亮度降低程度。 相对平滑度值, 中度霉变稻谷的矩形框较健康稻谷有所上移, 反映出稻谷在霉变过程中NIR图像越来越粗糙。 中度霉变稻谷三阶距值的中位数小于轻度霉变稻谷, 表明稻谷NIR图像逐渐变暗。 对比三种状态稻谷的分形维数, 表征出NIR图像的规则程度呈现相近且稳定。

2.1.2 近红外图像数据的反射值频率分析

由于稻谷在不同霉变状态时, 其霉菌群随机分布在籽粒表面, 引起霉变稻谷的近红外光谱图像反射值大小的频率变化。 直方图可以统计光谱图像中具有相同密度的反射值的数量, 以简单的方式描述图像中包含的统计学信息, 这种定量研究方式有利于克服定性分析带来的主观偏倚。 研究中应用直方图技术进一步分析稻谷不同霉变程度的反射值频率特性, 根据文献[13]提取近红外图像有效区域近红外光谱反射值的频率特征, 计算稻谷NIR图像直方图中每个区间反射值频率, 如图3所示。

图3 不同霉变程度稻谷反射值分布对比Fig.3 Comparison of rice reflectance distribution with different mildew degrees

图3中横轴表示的是稻谷NIR图像的反射值, 纵轴表示反射值在该区间内的个数, 稻谷NIR图像均有25 600个反射值, 且主要集中在0.2~0.8之间。 对全部样本反射值频率分布的统计可知, 健康稻谷图像直方图的峰值出现在0.6附近, 在0.2~0.3反射值区间为少数零散分布, 而轻度和中度霉变的稻谷图像, 在该反射值区间有相对较多的分布。 在0.7~0.8健康稻谷图像的反射值区间分布较多, 而霉变稻谷的分布相对减少甚至没有。 由于在发生霉变后稻谷表面发灰发暗, 导致对应NIR图像的反射值直方图整体向左偏移, 即向反射值较小的方向偏移。 所以在分析稻谷NIR图像反射值直方图的基础上, 提取0.2~0.8步长为0.1的六个连续区间反射值频率, 作为霉变稻谷NIR图像的频率特征, 计算公式为

ν(i, i+0.1)=p(i, i+0.1)i=0.20.7p(i, i+0.1), i=0.2, 0.3, , 0.7(3)

式(3)中, v(i, i+0.1)为落在稻谷NIR图像反射值直方图中某个区间的反射值频率, p(i, i+0.1)为该区间反射值个数, i=0.20.7p(i, i+0.1)为整个图像的反射值个数。

2.2 建立稻谷霉变识别BP神经网络模型

前馈BP神经网络具有非线性函数的自适应推理机制, 可以很好地解决稻谷霉变程度与其近红外图像特征之间映射关系。 将提取不同稻谷品种霉变状态的光谱特征作为输入向量, 利用训练好的网络模型计算输出值并映射至霉变程度的解空间, 完成稻谷霉变自动无损检测方法。 具体步骤为: (1)采集不同霉变状态的稻谷的NIR图像; (2)计算NIR图像14维数字特征; (3)将数字向量输入训练好的BP神经网络, 计算模型前向输出值; (4)解析稻谷霉变程度编码向量, 输出稻谷霉变程度检测结果。

2.2.1 神经网络的结构与训练网络结构参数

在牡响、 早香、 彩稻三个品种的不同霉变状态中, 选择健康、 轻度霉变、 中度霉变的稻谷图像数据各180组, 共计540组特征向量作为训练样本。 计算均值、 标准差、 平滑度、 三阶距、 一致性、 信息熵、 平均梯度、 分形维数、 以及在0.2~0.8区间内反射值频率6个统计特征, 共计14维度的特征指标, 确定了神经网络输入层节点数为14; 稻谷霉变程度为3个等级, 采用3位二进制编码, 即输出层节点数为3; 依据隐含层神经元数量确定规则[14], 结合本研究实际试验情况, 最终确定网络隐含层神经元节点数为60, 所以稻谷霉变程度检测的神经网络结构为14-60-3型。 该神经网络采用梯度下降学习算法[15], 设定目标精度为0.06, 学习速度为0.8, 最大学习次数为30 000。 在实际训练时迭代次数为28 455次时, 达到目标精度的误差要求。

2.2.2 模型仿真应用与评价

利用全部样本中剩余的健康、 霉变初期、 中度霉变稻谷图像的特征向量各20组, 共计60组特征数据作为测试样本。 仿真应用中检测模型输出值所对应稻谷霉变状态(二进制编码)的解码规则为: 当网络输出层节点的计算值 Ymax(y1, y2, y3)=y1, y1=1, 其余节点为0, 对应中度霉变稻谷样本编码为100; 当网络输出层节点的计算值 Ymax(y1, y2, y3)=y2, y2=1, 其余节点为0, 对应轻度霉变稻谷样本编码为010; 当网络输出层节点的计算值 Ymax(y1, y2, y3)=y3, y3=1, 其余节点为0, 对应健康变稻谷样本编码为001。 至此可以应用2.2.1节已训练好的霉变稻谷检测模型进行测试, 其输出的仿真结果, 如图4所示。

图4 稻谷霉变检测模型输出Fig.4 Output of rice mildew detection model

图4中稻谷三种不同霉变程度的识别结果相对集中, 测试集中健康、 轻度霉变、 中度霉变稻谷的预测错误的样本数分为2个、 2个和0个, 对应稻谷霉变程度的识别准确率分别为90%, 90%和100%, 基于BP神经网络识别模型总体识别准确率达到93.33%。 该网络模型计算输出值和实际期望值的误差平均值为0.521 39, 方差为0.137 82, 误差的标准差为0.371 23。 选取霉变稻谷NIR图像的特征为基础, 建立径向基神经网络结构为14-281-3型的检测模型, 仿真试验得到的准确率仅为63.66%, 其均方根误差为0.186 27, 而BP神经网络均方根误差为0.046 26, 所以基于BP神经网络的稻谷霉变检测模型具有明显的性能优势, 能够满足稻谷储运过程中霉变程度检测实际需求。

3 结论

针对稻谷储运过程发生霉变时, 传统稻谷霉变检测过程繁琐且耗时较长的不足, 提出了基于近红外光谱图像处理技术和神经网络的稻谷霉变程度检测模型, 实现稻谷霉变程度无损检测的新方法, 能够为仓储稻谷霉变程度的自动快速检测提供技术支持和参考。

(1)应用数字图像处理技术结合光谱图像分析方法, 提取了近红外图像的纹理特征(均值、 标准差、 平滑度、 三阶距、 一致性、 信息熵、 平均梯度、 分形维数)以及反射值6个区间的频率(0.2~0.3, 0.3~0.4, 0.4~0.5, 0.5~0.6, 0.6~0.7, 0.7~0.8), 共计14个特征值, 为稻谷霉变检测提供有效可靠的特征参数。

(2)以提取的NIR图像的特征向量为依据, 利用BP神经网络自适应推理机制, 建立稻谷霉变程度与其近红外图像特征之间非线性映射模型, 该网络输入与输出之间的相关系数R为0.85, 霉变稻谷检测的准确率为93.33%, 解决了稻谷霉变程度与NIR光谱成像特征值之间的数学建模问题。

参考文献
[1] TANG Fang, OUYANG Yi, QI Zhi-hui(唐芳, 欧阳毅, 祁智慧). Journal of The Chinese Cereals and Oils Association(中国粮油学报), 2018, 33(4): 122. [本文引用:1]
[2] YAN Song, LIN Hao(严松, 林颢). Food Science(食品科学), 2019, 40(2): 275. [本文引用:1]
[3] KU Jing, HUANG Han-ying, JIN Xing, et al(库晶, 黄汉英, 金星, ). Journal of The Chinese Cereals and Oils Association(中国粮油学报), 2019, 34(2): 118. [本文引用:1]
[4] ZHAO Tian-xia, SHEN Fei, ZHOU Ri-chun, et al(赵天霞, 沈飞, 周日春, ). Journal of The Chinese Cereals and Oils Association(中国粮油学报), 2019, 34(6): 135. [本文引用:1]
[5] PAN Lei-qing, WANG Zhen-jie, SUN Ke, et al(潘磊庆, 王振杰, 孙柯, ). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报), 2017, 33(3): 272. [本文引用:1]
[6] LAI Yan-hua, LIN Yun, TAO Hong, et al(赖燕华, 林云, 陶红, ). Acta Tabacaria Sinica(中国烟草学报), 2020, 26(2): 36. [本文引用:1]
[7] Lu Y, Wang W, Huang M, et al. Infrared Physics and Technology, 2020, 105: 103206. [本文引用:1]
[8] ZHANG Lin-zhong, DING Ling-ling, CAI Xue-zhen, et al(章林忠, 丁玲玲, 蔡雪珍, ). Journal of Anhui Agricultural University(安徽农业大学学报), 2019, 46(1): 160. [本文引用:1]
[9] JIANG Da-peng, ZHANG Dong-yan, LI Dan-dan, et al(蒋大鹏, 张冬妍, 李丹丹, ). Journal of Northeast Forestry University(东北林业大学学报), 2019, 47(5): 83. [本文引用:1]
[10] SHEN Fei, WEI Ying-qi, ZHANG Bin, et al(沈飞, 魏颖琪, 张斌, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2018, 38(12): 3748. [本文引用:1]
[11] ZHOU Jian-xin, JU Xing-rong, SUN Xiao-dong, et al(周建新, 鞠兴荣, 孙肖东, ). Journal of the Chinese Cereals and Oils Association(中国粮油学报), 2008, 23(5): 133. [本文引用:1]
[12] MA Xiao-dan, GUAN Hai-ou, QI Guang-yun, et al(马晓丹, 关海鸥, 祁广云, ). Transactions of the Chinese Society for Agricultural Machinery(农业机械学报), 2017, 48(1): 163. [本文引用:1]
[13] LI Ling-yu, GUO Ya-jun, YI Ping-tao(李玲玉, 郭亚军, 易平涛). Journal of Systems & Management(系统管理学报), 2016, 25(6): 1040. [本文引用:1]
[14] Liu Meng, Guan Haiou, Ma Xiaodan, et al. Computers and Electronics in Agriculture, 2020, 177: 105678. [本文引用:1]
[15] GUAN Hai-ou, XU Shao-hua, TAN Feng, et al(关海鸥, 许少华, 谭峰, ). Journal of China Agricultural University(中国农业大学学报), 2011, 16(3): 145. [本文引用:1]