作者简介: 马晓丹, 女, 1980年生, 黑龙江八一农垦大学信息与电气工程学院教授 e-mail: bynd_mxd@163.com
为解决农作物冠层热红外图像边缘灰度级分布不均且噪声较大, 而传统图像分割方法难以实现其目标区域有效识别的难题, 以苗期红小豆冠层热红外图像为研究对象, 将模糊神经网络和仿射变换有机结合, 提出了基于热红外图像处理技术的农作物冠层识别模型。 首先利用五层线性归一化模糊神经网络的自适应特性, 选取高斯隶属度函数, 自动计算冠层可见光图像识别的推理规则, 有效地分割了可见光图像中的冠层区域。 通过分析3种分割指标和熵, 定量评价可见光图像冠层分割质量。 网络迭代38次时, 误差精度为0.000 952, 该算法平均有效识别率为96.13%, 获取可见光冠层图像的像元信息熵值范围为2.454 4~5.198 7, 与标准算法所得冠层图像的像元信息熵仅相差0.245 9。 然后以取得可见光图像的冠层有效区域为参考图像, 采用仿射变换算法, 调整优选平移、 旋转、 缩放等图像变换因子, 配准原始热红外图像, 提出了基于仿射变换的冠层热红外图像识别方法。 对于初始温度范围值在16.35~19.92 ℃的农作物热红外图像, 计算选取旋转幅度为1.0和缩放因子为0.9时, 作为异源图像的最优配准参数, 获取目标图像的最大温差为3.17 ℃, 相对于原图像的平均温度值由18.711 ℃下降至17.790 ℃, 进而实现了基于热红外图像处理技术的农作物冠层识别。 最后以熵的互信息作为监督指标, 对农作物冠层热红外图像识别方法进行评价。 提出的冠层热红外图像识别方法, 所获取的目标图像与初始热红外图像的平均互信息为4.368 7, 标准目标图像和初始热红外图像的平均互信息为3.981 8, 二者仅相差0.486 9。 同时, 两种冠层热红外图像的平均温度差值为0.25 ℃, 高效消除了原始热红外图像的背景噪声。 结果表明本研究方法的有效性和实用性, 能够为应用热红外图像反映农作物生理生态信息特征指标参数提供技术借鉴。
In order to solve the problem that the gray level distribution of crop canopy thermal infrared image isuneven and has large noise, the traditional image segmentation method is difficult to realize the effective recognition of its target region. In this study, by the thermal infrared images of adzuki bean canopy’s in the seedling stage was taken as the research object, Combining fuzzy neural network and affine transformation, a crop canopy recognition model based on thermal infrared image processing technology was proposed. First, the adaptive characteristics of the five-layer linear normalized fuzzy neural network were used to select the Gaussian membership function to automatically calculate the inference rules for canopy visible light image recognition, effectively segmenting the canopy area in the visible light image. By analyzing three segmentation indexes and entropy, the canopy segmentation quality of visible light images was quantitatively evaluated. When the network iterates 38 times, the error precision was 0.000 952, and the visible light image of the crop canopy was obtained. The average effective partition rate of the algorithm was 96.13%, and the entropy value of the image source average information was 2.454 4~5.198, which was only 0.245 9 different from the entropy of the canopy image obtained by the standard algorithm. Then, using the effective area of the canopy to obtain the visible light image as a reference image, the affine transformation algorithm was used to adjust the image transformation factors such as optimal translation, rotation, and scaling. To register the raw thermal infrared image. And a canopy thermal infrared image recognition method based on affine transformation was proposed. For a crop thermal infrared image with an initial temperature range of 16.35~19.92, when the rotation amplitude was 1.0 and the zoom factor was 0.9, the maximum temperature difference of the target image obtained as the optimal registration parameter of the heterogeneous image was 3.17 ℃. Relative The average temperature of the original image decreased from 18.711 ℃ to 17.790 ℃, and the crop canopy recognition based on thermal infrared image processing technology was realized. Finally, mutual information was used as a monitoring index to evaluate the thermal infrared image recognition method of crop canopy. In the canopy thermal infrared image recognition method proposed in this study, the average mutual information between the acquired target image and the initial thermal infrared image was 4.368 7, while the average mutual information between the standard target image and the initial thermal infrared image was 3.981 8, and the difference between the two was only 0.486 9. At the same time, the average temperature difference between the two canopy thermal infrared images was 0.25 ℃, which effectively eliminates the background noise of the original thermal infrared images. The research results show that the effectiveness and practicability of this research method could provide a technical reference for the application of thermal infrared images to reflect the characteristic parameters of crop physiological and ecological information.
随着信息技术快速发展, 热红外成像技术日益成熟, 已受到农业科学工作者的广泛关注[1]。 农作物冠层热红外图像能够反映作物生殖生长信息[2], 是获取植株生理生态指标的重要途径之一。 目前冠层热红外图像识别技术[3]已成为精细农业领域的热点和难点之一, 国内外学者在热红外图像处理技术上取得了诸多研究成果。 早在1963年, 农作物冠层热红外图像就用来研究并监测植物病害的发展[4]。 但由于热红外图像易受噪声干扰, 目标与背景之间灰度差别较小, 目前红外图像的交互式图割方法的效率有待于进一步提高。 由于分辨率较低的图像边缘部分和模糊部分的分割效果较差, 因此如何精准识别出农作物冠层热红外图像成为其提取农作物冠层温度信息的重要条件。 王保昌等[5]基于峰谷法提出了用于红外目标分类、 识别的边距离分布特征概念。 由于点状温度演化为面状冠层时具有一定的误差, 导致仅以热成像图像信息特征为分割依据难以达到理想精度, 所以基于水平集的热红外图像分割方法[6]得到了快速发展。 Osher等[7]建立了一种自适应调整边缘指示器函数, 增强演化曲线边界的匀称性, 但仍未解决灰度分布不均的热红外图像的边缘识别问题。 为此Ma等[8]提出了全变差最小的梯度转移融合(GTF)方法, Zhang等[9]建立了一种新的广义梯度向量流snakes模型, 在平滑噪声的同时, 提高了图像弱边缘的保护能力。 Harris算子可提取彩色和热红外图像的对应角点, 估计分割模型参数, 用于识别目标图像, 但当外点较多时, 识别率较低。 Coiras等[10]通过仿射变换计算参考图像与目标图像, 构建特征三角形的变换参数, 提取了热红外图像的目标区域。 通过求解待配准图像与参考图像的映射关系, 计算像素点所在位置的梯度模之和的最大值, 确定变换模型参数, 但对于红外图像中经常出现的伪边缘噪声比较敏感。 张智韬等[11]采用二值化Ostu算法和Canny边缘检测算法对热红外图像进行掩膜处理, 实现对土壤背景的剔除, 但分割质量受冠层叶片的温度差别影响较大。 上述研究为解决由热红外图像噪声干扰较多, 目标区域与环境背景之间灰度差别小, 导致目标图像难以识别问题提供了理论及方法指导。
为精确识别农作物冠层热红外图像, 本研究以苗期红小豆冠层热红外图像为研究对象, 首先通过五层线性归一化的模糊神经网络, 自适应地确定推理规则, 提取冠层彩色图像有效区域, 并将其作为参考图像。 然后采用仿射变换算法, 确定参考图像与对应热红外图像的配准参数, 建立基于仿射变换的农作物冠层热红外图像识别算法, 并使用互信息熵作为监督指标, 客观评价该识别方法的有效性。 该成果能够为农作物生殖生长信息的监测以及农作物生理生态指标的获取提供技术参考。
实验选用红小豆宝清红和136号品种作为培育对象, 在实验环境中, 采用单盆播种方式栽培红小豆。 样本采集设备为具有热红外和可见光双传感器通道的便携式红外热像仪。 以垂直于冠层的方式获取其彩色图像和热红外图像, 镜头距离地面距离为110 cm, 手动调节焦距和光圈, 设置自动白平衡。 拍摄时, 使红小豆冠层位于图像的中心区域, 设置双源图像分别率均为640× 480像素。 获取的彩色图像和热红外图像如图1所示。
![]() | 图1 红小豆双源图像 (a): 热红外图像; (b): 可见光图像Fig.1 Double-source images (a): Thermal infrared image; (b): Visible image |
农作物热红外冠层图像边缘模糊不均, 难以通过边缘特征获取热红外目标图像。 本研究充分利用同步获取的可见光图像, 考虑到热红外图像像素的灰度接近程度和空间相关性, 通过参考模板匹配标定法, 提取农作物冠层的热红外图像区域, 因此冠层可见光参考图像成为必要基础。 依据文献[12]模糊神经网络构建方法, 将可见光图像像素点的图像的R, G和B三个颜色分量作为模糊神经网络的输入, 因此输入层节点数为3; 通过高斯隶属度函数将输入分量划分为2个子空间, 所以模糊化层节点数为6; 计算可得模糊规则为8条, 第三层和第四层的节点个数均为8; 第五层的输出结果为图像像素的归属是否为冠层, 即输出层节点数为1, 最终确定模糊神经网络的拓扑结构为3-6-8-8-1型。
本研究中选取苗期红小豆冠层双源图像为实验对象。 首先选取可见光图像内50个不同区域(冠层或背景), 共16085个像素作为训练样本集。 设定学习训练参数为: 学习精度0.001, 学习速度0.8, 惯性系数0.5, 最大学习次数10 000。 通过梯度下降学习算法[12], 对1.1节网络模型的可调参数进行训练, 当迭代38次时, 网络误差为0.000 952, 满足误差精度要求。
其次利用以上训练好的神经网络, 判定待处理图像的像素归属, 获取红小豆冠层可见光图像(见图3), 作为冠层热红外图像识别的参考图像, 用于配准对应热红外图像。 同时计算有效分割率、 欠分割率、 过分割率[13], 评价冠层可见光图像的分割效果。
图2(a)为获取的原始可见光图像, 图2(b)为分割后的冠层可见光图像, 其有效分割率为96.96%。 通过对27组冠层图像进行分割实验, 平均有效分割率达到97.58%, 其中有效分割率最高为98.95%。
![]() | 图2 可见光图像分割图 (a): 可见光样本图像; (b): 分割后冠层可见光图像Fig.2 Visible image segmentation (a): Visible image of sample; (b): Visible image of canopy after segmentation |
为验证模型有效性, 应用图像的熵评价冠层可见光图像分割效果[14]。 若p(xi)为灰度值为xi的像素数与图像总像素数之比, 则图像熵值H(X)为
原始可见光图像和分割后图像, 计算冠层图像区域的平均熵值分别为3.894 4和3.648 5, 二者仅相差0.145 9。 该方法不仅减少了因图像噪声干扰带来的分割误差, 并且有效降低了初始轮廓线位置影响, 保留了农作物冠层可见光图像信息。
1.3.1 仿射变换配准图像过程
本研究以参考图像为基础, 利用仿射变换后图像与原图像特征点和线段映射关系不变的特性, 实现冠层可见光参考图像和热红外图像的配准过程, 识别出农作物冠层热红外目标图像, 具体包括四个环节: (1)提取双源图像特征点对和边缘特征对, (2)参考图像与待配准图像的特征匹配, (3)计算冠层参考图像的变换模型参数, (4)识别热红外图像的目标区域。 参考图像与热红外图像配准中, 关键是确定参考图像仿射变换参数, 其计算过程如下:
将非奇异矩阵A的转置矩阵AT进行正交分解为AT=QP, 两边进行转置操作后可得
式(2)中, Q为正交矩阵, P为上三角矩阵。
设X为参考图像中任意一点坐标, 对应热红外原始图像的映射点B为
式(3)中, ω 为尺度因子、 μ 为切边因子、 ρ 为尺度比例因子、 θ 为旋转因子、 t为水平和垂直方向的平移因子。
由于参考图像和热红外图像的对应点或线段位置关系不能作为唯一可靠的空间对齐准则, 为使图像经过仿射变换后, 能够保持稳定的定量约束, 可建立待配准图像与参考图像之间的参数约束。 参考图像和待配准图像之间存在位置偏移, 其经过式(3)变换后对应的方向矢量为
参考图像与热红外图像相关联的方向矢量间存在定量的约束关系, 并且两者之间矢量的角度偏移α 只与μ , ρ , θ 等参数因子有关, 并将其作为射变换模型参数估计值。
1.3.2 冠层热红外图像识别实例
(1)提取双源图像特征
针对苗期红小豆冠层双源图像(可见光参考图像和热红外图像), 采用点对特征和边缘特征相结合的图像特征提取方式, 优先选取图像中典型特征边缘、 特征点、 以及目标区域中心(图3), 作为进一步图像匹配的特征量。
图3中线段a和b是热红外图像边缘区域的特征边缘, 线段a'和b'是可见光参考图像边缘区域的特征边缘, 二者均为辨识度较高的边缘特征; 同时参考图像中像素点(x', y'), 与原热红外图像的像素点(x, y)是具有空间一致性的特征点对, 以此作为图像匹配的依据, 能够高效识别目标区域。
(2)匹配参考图像特征
将参考图像和待配准图像的目标配准区归于统一坐标系, 以可见光参考图像为模板, 分别在参考图像和热红外图像中标定特征点和特征线段, 求出对应特征矢量之间的变换参数值, 建立参考图像和待配准图像的配准模型。 初步配准热红外图像的目标区域, 其效果如图4所示。
![]() | 图4 热红外图像与参考图像初始配准效果 (a): 热红外原图像; (b): 初始配准效果Fig.4 Initial registration effect of thermal infrared image and reference image (a): Original thermal infrared image; (b): Initial registration effect |
图4(a)单源红小豆热红外图像平均温度值为18.806 1 ℃, 其背景温度集中在19.50~19.92 ℃之间, 而边缘温度主要在18.5~19.0 ℃范围内, 冠层区域温度值均在18.5 ℃以下, 冠层部分区域达到最低温度16.50 ℃, 图像中背景温度普遍高于红小豆冠层温度。 图4(b)将红小豆冠层可见光参考图像和热红外图像移至统一坐标区域, 提取了热红外图像内初始目标, 虽然未经调整的目标图像, 但也去除了部分背景干扰, 使最高温度值降至19.698 ℃, 目标图像的平均温度值为18.014 ℃, 仍然高于绝大部分冠层温度。 由于红小豆冠层的有效区域被错误识别, 此时目标图像未能保留完整的冠层温度信息, 需调整参考图像的变换参数, 来准确识别热红外图像中冠层区域。
(3)计算变换模型参数
仿射变换模型是根据可见光参考图像与热红外图像目标区域之间几何畸变, 计算出两幅图像之间最佳几何变换的模型参数。 配准过程中依据参考图像逐次调整线性几何变换参数, 将参考图像像素坐标映射到待配准图像, 按照式(3)计算两幅图像之间最佳变换参数, 实现图像的精确配准, 其过程如图5所示。
![]() | 图5 图像精确配准过程 (a): 角度配准; (b): 水平配准; (c): 垂直配准; (d)比例配准Fig.5 Image exact matching process (a): Angle registration; (b): Horizontal registration; (c): Vertical registration; (d): Proportional registration |
图5(a)用于调整旋转因子θ 值为-1, 使图像的特征线段处于平行状态。 图5(b)和(c)分别为调整平仪因子tx和ty后的图像, 将水平方向调整15个像素单位, 垂直方向-45个像素单位, 以实现特征点对的坐标匹配。 图5(d)表示继续调整尺度比例因子ρ 的图像, 此时参考图像缩小0.9倍, 完成了特征线段的长度匹配, 最终精确配准了参考图像与热红外图像的目标区域。 按照以上顺序依次调整模型参数直至获取最佳配准参数为止。 红小豆冠层热红外图像的识别实例, 经过调整仿射变换参数过程, 目标区域图像的温度和熵的变化, 如表1所示。
![]() | 表1 温度和熵值变化 Table 1 Changes of temperature and entropy |
由表1可以看出, 当仅调整旋转因子θ , 热红外目标图像的温度范围变为16.35~19.71 ℃, 相对初始图像的平均温度有所上升; 随后调整平移因子t后温度值范围减至16.35~19.63 ℃, 图像平均温度也降至17.986 6 ℃; 再经尺度比例因子ρ 调整后, 最终目标图像的温度范围为16.35~19.52 ℃, 平均温度继续下降至17.839 3 ℃。 识别热红外目标图像过程, 其温度范围及平均值虽有一定波动, 但通过逐步调整仿射变换参数, 可有效识别图像的目标区域。
(4)识别热红外图像冠层结果
将参考图像进行坐标变换与线性插值, 突显了可见光参考图像的边缘特征, 按上述(1)至(3)节步骤, 获取红小豆冠层的参考图像与热红外图像之间的仿射变换参数, 将参考图像映射到热红外图像所在坐标系的对应位置, 实现冠层热红外图像目标区域的有效识别, 其结果如图6所示。
图6(a)中原始热红外图像的最高温度值为19.85 ℃, 最低温度值为16.62 ℃, 平均温度值为18.711 ℃。 其中, 背景温度集中在19.50~19.92 ℃之间, 而图像边缘温度主要在18.5~19.0 ℃范围内, 冠层图像区域温度值均在18.5 ℃以下, 冠层部分区域的温度达到了16.50 ℃。 图6(b)中能量空间分布主要集中在背景噪声内, 冠层区域的能量较低, 且叶面密度较高区域能量更低。 图6(c)中识别出的热红外冠层图像的最高温度为19.75 ℃, 最低温度仍为16.62 ℃, 去除背景后冠层的平均温度值下降至17.79 ℃。 图6(d)能量主要分布在冠层区域, 高能量较少地分布在背景与冠层的边缘, 较为完整的保留了冠层温度分布特征。
在苗期红小豆5个典型生长时期, 每个时期均获取1组冠层双源图像, 共计5组实验样本, 对本文提出的农作物冠层热红外图像识别方法作评价与分析。
按照1.2节中有效分割率、 欠分割率、 过分割率、 图像熵值, 对本文算法的图像分割效果, 进行有效性评价分析, 见表2所示。
![]() | 表2 参考图像指标评价 Table 2 Reference image evaluation index |
由表2可以看出, 在5组图像分割结果中有效分割范围为0.949 9~0.989 5, 平均有效分割为0.967 8; 过分割范围为0.061 1~0.076 3, 欠分割范围为0.003 4~0.021 5, 其中平均错误分割低至0.079 3。 标准图像的熵值范围和本文算法分割后图像的熵值范围分别为3.173 0~5.438 9和2.976 6~5.198 7, 二者之间平均熵值仅相差0.368 4。 由此可知, 有效分割结果保留了苗期红小豆冠层可见光图像的特征信息。
将互信息作为冠层热红外图像识别的评价指标, 其公式为
式(8)中, X是识别热红外图像的像素点, Y为原热红外图像的像素点。
计算识别冠层的热红外目标图像与标准图像的互信息, 如果互信息值越大, 表明差异越小, 识别质量越高, 其结果如图7所示。
图7中识别的目标图像和标准图像的互信息值的范围分别为3.797 3~5.279 4和3.201 7~4.663 5, 互信息的平均值分别为4.368 7和3.981 8。 第1组和第5组识别效果与标准图像相似度较高, 其中第4组数据相差较大为0.963 7。 实验样本中目标图像与原始图像之间互信息值, 均达到了识别冠层热红外图像的精度要求, 有效获取了原热红外图像的冠层区域, 保留了红小豆典型生长阶段, 植株冠层原始温度信息。
将模糊神经网络和仿射变换相结合, 提出了农作物冠层热红外图像识别方法, 解决了苗期红小豆冠层热红外图像中冠层区域的识别难题。
(1)首先应用模糊神经网络, 获取了红小豆冠层可见光参考图像, 实验样本平均错误率为4.5%, 平均有效分割率达96.13%, 平均熵值为3.648 5, 其中最高精度达到98.95%, 与标准分割的精度5.218 1仅相差0.14, 满足了识别冠层热红外图像时对参考图像的精度要求。
(2)然后以可见光参考图像为基础, 采用仿射变换配准原始热红外图像, 建立了冠层热红外图像识别方法。 该方法对平均温度值为18.71 ℃的原热红外图像, 识别其目标图像时, 最高温度值由19.85 ℃降至19.52 ℃, 有效分离了温度集中在19.50~19.92 ℃之间和18.5~19.0 ℃范围内的背景区域和边缘区域, 高效地区分了平均温度在18.5 ℃以下的冠层与背景, 提取目标图像的平均温度值下降至17.79 ℃。
(3)最后应用互信息评价了农作物冠层热红外图像识别方法的有效性, 目标图像与原始图像之间互信息的平均值为4.368 7, 其相似性最强互信息为3.944 5, 有效获取了原热红外图像的冠层区域, 保留了植株冠层原始温度信息。 该成果能够为利用热红外图像反映农作物生理生态信息特征指标, 自动检测作物的长势墒情, 科学调控农业生产过程提供了技术参考。
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|