基于作物谱图特征的植株分割与叶绿素分布检测
龙耀威1, 李民赞1, 高德华1, 张智勇1, 孙红1,*, QinZhang2
1. 中国农业大学现代精细农业系统集成研究教育部重点实验室, 北京 100083
2. Center for Precision & Automated Agricultural System, Washington State University, Pullman WA 99350, USA
*通讯联系人 e-mail: sunhong@cau.edu.cn

作者简介: 龙耀威, 1996年生, 中国农业大学信息与电气工程学院硕士研究生 e-mail: long_yw@126.cn

摘要

为了快速感知并分析田间作物生长状况, 采用先进的半导体镀膜工艺光谱成像传感器, 研究了玉米植株冠层叶绿素含量分布式检测方法。 试验采用IMEC 5×5成像传感器, 拍摄47株苗期玉米植株冠层, 获取673~951 nm范围内的25个波长的光谱图像。 实验中, 利用SPAD-520叶绿素仪非破坏性地测量叶绿素含量, 每株玉米冠层叶片设置2~3个采样点, 每点测量3次取平均, 共计242个样本数据。 对光谱图像数据, 经4灰度级标准板提取并校准反射率。 为了实现玉米植株与花盆、 土壤背景的有效分离, 在分析不同对象光谱反射率与图像像素特征的基础上, 提出了一种基于谱图特征组合的植株分割方法, 即基于植被指数的图像初步分割与区域标记计算的冠层精细分割的植株提取算法。 首先, 计算各像素点归一化植被指数(NDVI), 并开展基于NDVI的植株冠层分割方法分割结果优于基于最大类间方差法的全局阈值自适应分割算法。 其次, 采用边缘保持中值滤波算法剔除初步分割后图像中存在的噪声点后, 基于区域标记算法进行精细分割, 获得掩膜并最终得到仅保留玉米植株冠层的光谱图像。 分别采用相关分析法(CA)和随机蛙跳(RF)算法选取反射光谱特征波长, 并构建750~951 nm近红外(NIR)和673~750 nm红色(R)选中波长集合, 遍历NIR和R集合组合计算比值植被指数(RVI), 差值植被指数(DVI), 归一化植被指数(NDVI)和SPAD转换指数( TSPAD)。 然后, 再次采用CA和RF算法筛选植被指数, 利用SPXY算法将样本按照7:3比例划分为建模集和验证集, 并建立了叶绿素含量指标检测CA+RF-PLSR模型。 结果表明, 其建模集$R^{2}_{C}$为0.573 9, RMSEC为3.84%, 验证集$R^{2}_{V}$为0.420 2, RMSEC为2.3%。 利用建模结果对多光谱图像进行处理, 绘制玉米叶片SPAD值伪彩色分布图, 实现叶绿素含量分布可视化。 研究表明采用镀膜型光谱成像数据, 分析对象光谱与图像特征, 探讨玉米冠层叶绿素含量分布检测的可行性, 可为直观监测作物生长动态提供支持。

关键词: 镀膜型传感器; 光谱成像; 图像分割; 叶绿素含量; 玉米植株
中图分类号:O433.4 文献标志码:A
Chlorophyll Content Detection Based on Image Segmentation by Plant Spectroscopy
LONG Yao-wei1, LI Min-zan1, GAO De-hua1, ZHANG Zhi-yong1, SUN Hong1,*, Qin Zhang2
1. Key Laboratory of Modern Precision Agriculture System Integration Research, Ministry of Education, China Agricultural University, Beijing 100083, China
2. Center for Precision & Automated Agricultural System, Washington State University, Pullman WA 99350, USA
*Corresponding author
Abstract

In order to quickly analyze the growth of the crop in the field, the spectral imaging sensor was used to detect the chlorophyll content of the maize canopy. The imagesof 47 maize plants were photographed using an IMEC 5×5 imaging unit multispectral camera. The camera was designed based on the coating principle to obtain spectral images of 25 wavelengths in the range of 673~951 nm. At the same time, the chlorophyll content was measured by SPAD-520 device. There were 2~3 sampling points in each leaf, and they were measured 3 times at each point so that 242 sample data were collected. A linear inversion formula was established based on the relationship between the gray value of multi-spectral images and the gray plate standard reflectance. The gray plate standard was made up of 4 gray level standard plates. In order to separate the plant from flowerpots and soil background, a combination method was studied. Although the canopy was segmented using OTSU method, it was not useful. After analyzing the spectral reflectance characteristics of different objects, a plant extraction algorithm was proposed based on normalization difference vegetation index (NDVI) image and region marker calculation. Firstly, the initial segmentation was conducted based on NDVI calculation on each pixel. Secondly, the noise points were eliminated by the edge-preserved median filtering algorithm. Thirdly, the region algorithm was used to obtain a mask and finally segment the multi-spectral images of theplant canopy. The characteristic wavelengths were selected based on CA (Correlation Analysis, CA) and RF (random Frog, RF) algorithm, which was used to construct the Near-Infrared (NIR) and Red (R) data set. The vegetationindices were calculated by the traversing NIR and R sets including the Ratio Vegetation Index (RVI), the Normalized Difference Vegetation Index (NDVI), the Difference Vegetation Index (DVI), and the SPAD Transfer Index ( TSPAD). According to the proportion of 7:3, the total samples were divided into calibration and validation setby SPXY (Sample set partitioning based on joint X-Y distance, SPXY) algorithm. After screening the vegetation indices by CA and RF algorithm again, the model of chlorophyll content was established by CA+RF-PLSR (Partial least squares regression, PLSR). The results showed thatthe calibration accuracy of CA+RF-PLSR model was 0.573 9, the RMSEC was 3.84%, and the validation accuracy was 0.420 2, the RMSEV was 2.3%. The chlorophyll contentdistribution of crop was analyzed visually using the pseudo color image. The study could provide technical and application support for chlorophyll distribution of field maize plants and visual monitoring of corn growth dynamics.

Keyword: Coating sensor; Spectral imagery; Image segmentation; Chlorophyll content; Maize plant
引言

利用不同的平台搭载可见光-近红外光谱成像设备[1, 2], 分析作物冠层或叶片叶绿素[3]、 水分[4]、 氮素[5]等含量, 已经成为快速无损检测田间作物长势的重要手段和途径[6, 7]。 镀膜型光谱成像传感器与棱镜分光和光栅线扫成像传感器不同, 其应用半导体薄膜工艺原理, 是在探测器像元上镀膜实现光信号窄带选择透过的一种新型多光谱成像方式。 它具有面阵直接成像速度快、 体积小、 成本低的优点, 在农作物现场检测中有较好的应用前景而备受关注[8]

在可见光-近红外区域, 棱镜分光成像空间分辨率通常高于1 024× 768像素, 作物数据以R(red), G(green), B(blue)和NIR共4波段图像的处理为基础。 有报道在NIR图像分割的基础上, 开展了基于区域标记的玉米图像精准分割研究, 并基于归一化植被指数(normalized vegetation index, NDVI)建立了大田玉米叶绿素指标诊断模型。 光栅线扫成像方式获取数据光谱分辨率可达1 nm, 因而在可见光-近红外光谱区作物含氢基团(O— H, N— H, C— H)振动合频和各级倍频的吸收特性[9]检测中常利用相关性、 主成分分析和仿生学优化等算法筛选特征波长和植被指数, 达到解析光谱变量、 剔除冗余数据、 压缩计算数据、 提高诊断模型精度与鲁棒性等目的[10, 11, 12]。 然而, 镀膜型成像方式、 波段数、 图像空间及光谱分辨率与上述两种传感器不同。 以美国XIMEA公司的IMEC4× 4或5× 5马赛克式镀膜传感器为代表, 分别在470~630和673~951 nm范围内探测16或25个波段带宽大于10 nm的光学信号, 各波段图像仅为409× 217像素, 如何在提取马赛克成像矩阵数据的基础上, 充分利用其有限的空间图像和光谱维数据开展作物营养检测尚待深入研究。

本研究应用镀膜型光谱成像传感器, 在马赛克分布阵列光学数据提取、 光谱与图像标定与校准的基础之上, 进一步深入开展田间玉米作物叶绿素分布检测。 分别对空间图像和光谱维数据进行分析和处理, 进行了玉米植株冠层图像分割和叶绿素含量指标光谱特征变量筛选方法研究, 建立冠层叶绿素含量指标诊断模型, 并绘制作物冠层叶绿素含量分布图, 以期为田间玉米叶绿素分布与生长动态可视化观测提供技术支持。

1 实验部分
1.1 玉米植株光谱图像采集和叶绿素指标测定

试验于2018年12月5日在北京市农林科学院温室大棚内进行。 采集系统如图1所示, 设置相机高度为2 m。 针对GET-B104品种苗期玉米采集了47株植株, 其生长高度为30~70 cm。 光谱图像基于IMEC-5× 5-CMOS多光谱成像单元拍摄视场角为50° , 灰度分辨率最高为10位, 可以采集673~951 nm范围内的25个波长图像, 带宽约为10 nm。 从马赛克阵列中提取的各波段图像为409× 217像素。 为实现图像的采集控制与处理, 相机与搭载Linux操作系统的Jetson TX2开发板相连接。

图1 采集系统示意图Fig.1 Schematic diagram of imaging acquisition system

为避免破坏采样后成分改变导致的测量误差, 利用日本Konica Minolta公司SPAD-502型叶绿素仪, 测量叶片在红色(650 nm)和近红外区(940 nm)的光学信号计算叶绿素含量指标SPAD值。 试验中分别对每株玉米冠层的叶中和叶尖叶片设置2~3个采样点, 每点测量3次取平均值, 共242个数据。

1.2 多光谱图像处理

对玉米冠层多光谱图像处理, 流程如图2所示。 为了避免利用唯一标准白板标定引起的缩小响应范围的影响, 采用多灰度级标准板进行校正; 为了剔除图像中土壤和培养盆背景的影响, 结合植物光谱和图像特征, 提出了基于归一化植被指数(NDVI)的植株冠层初步分割算法和基于区域标记的玉米植株冠层精细分割算法。 算法采用Matlab工具开发实现。

图2 多光谱图像处理算法流程图Fig.2 Flow chart of multi-spectral image data processing

1.2.1 多光谱图像校准与反射率提取

图像校准采用美国Labsphere公司的Spectralon标准板, 由四个标准朗伯面灰度级并排排列, 各级标准板尺寸均为6 cm× 25 cm, 反射光强与入射光强比值(反射率值)仅与波长相关。 采用最小二乘法拟合图像灰度值和标准反射率之间的线性反演公式。 由于反射率和灰度值是线性描述标准灰度板的光照强度的参数, 对于某一波段反射率与灰度值为线性换算可以表示为式(1)

Ri=kigi+bi(1)

式(1)中, Ri为第i波段的反射率, gi为第i波段的灰度值, ki是线性关系系数, bi是常数。

1.2.2 基于NDVI的植株冠层初步分割算法

为了实现玉米植株与花盆、 土壤背景的初步分割, 首先对673 nm的光谱图像计算背景与作物目标的类间方差确定分割阈值灰度值, 其次利用绿色植物在近红外区反射率高而在红色波段吸光度高的特征, 提出基于归一化植被指数NDVI的玉米植株冠层图像分割方法, 按照式(2)计算图像各像素点的NDVI值, 通过计算图像中背景噪声与作物目标NDVI值差异进行分割。

NDVI=F848nm-F665nmF848nm+F665nm(2)

式(2)中, F848 nm为848 nm的光谱反射率, F665 nm为665 nm的光谱反射率。

1.2.3 基于区域标记的玉米植株冠层精细分割算法

对初步分割算法后存在灰度板和相邻不完整的玉米植株叶片等噪声, 进一步采用基于区域标记的玉米植株冠层精细分割算法进行处理。

首先采用边缘保持中值滤波算法剔除噪声点。 其次, 采用区域标记方法标记出图像中的连通区域, 并计算每个连通域的像素统计学参数, 包括各区域面积、 主轴长度和宽度等。 最后, 选取各连通区域面积作为检测判别对象, 筛选保留图像中面积最大的连通域, 得到玉米植株冠层的掩模图像, 即可实现玉米植株叶片图像的精细分割。

1.3 玉米植株冠层叶绿素指标光谱学检测与可视化

1.3.1 叶绿素含量指标检测特征波长与植被指数筛选方法

为了精简模型, 提高模型精度, 通过特征波长与植被指数筛选两步实现叶绿素含量指标检测变量的选取。 首先, 对原始光谱分别利用统计相关分析(correlation analysis, CA)和基于仿生学的随机蛙跳算法(random frog, RF)进行特征波长的筛选。 因为镀膜型成像传感器单个中心波长带宽约为10 nm, 光谱分辨率不高导致无法依赖单一波段准确反映某一波长位置反射率高低与峰谷平移等细微特征, 所以将筛选出的特征波长分为近红外(near infrared, NIR)集合和红色(red, R)集合, 基于NIR和R组合计算植被指数如表1所示, 通过多个波段之间的相对变化来反映叶绿素含量变化。 然后, 再次利用CA和RF算法开展植被指数的筛选。

表1 植被指数的计算公式 Table 1 Vegetation index calculation

1.3.2 叶绿素含量检测建模与分布可视化方法

采用SPXY(sample set partitioning based on joint X-Y distance)算法对采样数据划分建模集和验证集。 筛选后的植被指数与SPAD值建立偏最小二乘回归(partial least squares regression, PLSR)模型, 使用建模集、 验证集模型决定系数、 以及均方根误差RMSEC, RMSEV为评价指标。

利用模型计算各像素点的叶绿素含量, 得到灰度图像, 再使用Matlab软件中伪彩色处理绘制玉米冠层的叶绿素含量的可视化分布图。

2 结果与讨论
2.1 玉米植株冠层光谱图像处理

2.1.1 多光谱图像采集与分析

利用镀膜成像传感器在673~951 nm范围内, 采集盆栽玉米植株25波段冠层图像, 基于4灰度级标准板按照式(1)校准后的图像如图3所示, 分别提取玉米植株、 花盆背景和土壤背景的光谱反射率曲线结果显示, 花盆在整个波段范围内呈现高反射率, 主要与花盆为白色和塑料材质有关; 土壤背景在整个波段范围内呈现低反射率。 玉米植株在红外区域反射率较低, 而在近红外区域反射率较高, 主要与植物内部光合作用, 吸收红光有关。

图3 校准后的25波段多光谱图像Fig.3 Single-band images after calibration

2.1.2 玉米植株冠层多光谱图像初步分割结果

为了实现玉米植株的提取, 首先对673 nm的光谱图像基于最大类间方差自适应分割图像结果如图4(a)所示, 对土壤和地面有一定的剔除, 但是无法区分冠层、 花盆和部分标准板, 这是由于它们反射率较为接近, 体现于图像灰度值差异不大使得分割困难。 分析图3中近红外和红外区间不同对象的光谱反射率特征可知, 作物冠层近红外和红外区间反射率差异显著, 而花盆、 土壤等差异较小, 其中848和665 nm中心波长处组合差异性最为显著。 因而, 提出了基于848和665 nm计算NDVI图像的冠层初步分割方法, 结果如4(b)所示, 与图4(a)相比较, 该方法对花盆和部分标准板的剔除有一定的提升作用。

图4 玉米植株冠层多光谱图像初步分割算法结果
(a): 自适应分割算法结果; (b): 植被指数图像分割结果
Fig.4 Results of image segmentation
(a): Segmentation result using OTSU method; (b): Segmentation result using NDVI image

2.1.3 基于区域标记的玉米植株冠层精细分割结果

对初步分割算法后存在的部分灰度板和相邻不完整的玉米植株叶片等噪声, 研究进一步采用基于区域标记的玉米植株冠层精细分割算法。 处理过程与结果依次为, 图5(a)所示采用边缘保持中值滤波算法进行滤波, 图5(b)所示标记出图像中的连通区域, 图5(c)所示保留图像中面积最大的连通域得到掩模图像, 即实现玉米植株叶片的提取。

图5 基于区域标记的玉米植株冠层精细分割算法结果
(a): 边缘保持中值滤波结果; (b)区域标记结果; (c): 连通域筛选结果
Fig.5 Image segmentation results based on region labeling
(a): Results of Edge-preserving median filtering; (b): Results of regionlabeling; (c): Segmentation result using connected domains

2.2 玉米植株冠层叶绿素指标光谱学检测与可视化结果

2.2.1 叶绿素含量指标检测特征波长与植被指数筛选

为了探究玉米叶片在镀膜型光谱传感器响应特征并诊断叶片叶绿素含量指标, 首先分别采用CA算法和RF算法选取特征波长。 其中反射率与SPAD值相关性分析结果如图6左侧所示, 二者呈负相关关系, 在[-0.19, -0.45]区间, 按照相关系数绝对值大小排列, 筛选出绝对值高于0.3的8个波长以红色标识。 RF算法计算个波长被选择概率结果如图6右侧所示, 在[0.09, 0.97]区间, 设定0.28为阈值选出13个特征波长, 以右侧红色柱状显示。 比较分析可知, 由CA提取的8个特征波长有7个集中于823~894 nm区间, 对这7个波长进行相关系数分析, 自相关系数均高于0.906 8; 由RF算法提取的13个特征波长分散存在, 既包含如791和804 nm等相关性较低波长, 又包含如866和876 mn等较高相关性波长位置。

图6 特征波长筛选结果Fig.6 Results of selection variables using CA& RF

综合两种算法结果, 分别在750~951和673~750 nm区间建立NIR(791, 804, 823, 834, 844, 866, 876, 884, 894, 917, 941和951 nm)和R(673, 688和731 nm)备选集合, 然后遍历NIR和R集合组合计算RVI、 NDVI、 DVI和植被指数, 共得到144个植被指数。

2.2.2 基于SPXY的样本集划分与叶绿素含量检测建模

针对总体243个样本, SPAD值在17.4~40.8区间, 平均值为30.76, 标准差为4.74。 根据SPXY算法划分建模集和验证集, 结果如表2所示, 其中建模集的叶片SPAD值取值范围为17.4~40.8, 覆盖了验证集的叶片SPAD值, 说明建模集和验证集可以用于后续的分析。

表2 建模集与验证集划分统计 Table 2 Statistical results of calibration set and validation set

进而分析144个植被指数, 仍然采用CA算法和RF算法筛选并分别建立玉米叶片叶绿素含量指标SPAD值诊断模型, 包括: CA筛选变量(CA-PLSR)、 RF选取变量(RF-PLSR)和二者筛选组合变量(CA+RF-PLSR)PLSR模型。 结果如表3所示, 其中组合变量建立CA+RF-PLSR的结果最优, 建模集 Rc2为0.573 9, RMSEC为3.84%, 验证集 Rv2为0.420 2, RMSEC为2.3%, 用于检测并绘制叶绿素含量指标分布图。

表3 植被指数与叶片SPAD值PLSR模型 Table 3 Results of PLSR model on SPAD detection

2.2.3 叶绿素含量检测建模与分布可视化方法

基于CA+RF-PLSR诊断模型结果, 绘制SPAD值伪彩色分布图如图7所示, 在冠层坐标平面上, 各像素点的SPAD值用从蓝色到黄色表示, 越接近蓝色说明该位置SPAD值越低, 越接近黄色说明该位置SPAD值越高。 分析图中玉米植株叶绿素含量分布特征可知, 单个叶片的叶绿素含量分布呈现阶梯形式的分布, 距离植株中心越远的位置叶绿素指标值越小, 且上层叶片高于下部叶片。 分析其原因可能是: 叶绿素是光吸收的物质也是重要的营养指征, 植株养分由茎秆向上, 经株心向叶片边缘输送, 因而株心部分略高于叶边缘; 由于作物植株体上叶片分布的差异, 作物植株叶片上层叶片光吸收水平较高, 其干物质生长和光合作用活跃, 而下部叶片因为受到上层叶片遮荫、 叶龄老化等因素的影响, 其叶绿素指标较低。

图7 玉米冠层叶绿素含量分布图Fig.7 Chlorophyll content visualization distribution map of maize canopy

以上结果说明基于镀膜型成像光谱数据, 开展作物植株叶绿素含量指标检测研究的可行性, 但应用本方法开展作物叶绿素含量动态监测研究时, 还需要进一步提升检测模型精度以满足高精度的要求。

3 结论

应用镀膜型光谱成像传感器, 深入开展田间玉米作物叶绿素含量检测与分布可视化研究, 主要结论如下:

(1) 应用镀膜型光谱成像传感器获取玉米冠层多光谱图像数据, 经反射率校准后, 结合玉米冠层反射光谱与图像形态特征, 提出基于NDVI的玉米植株冠层初步分割算法剔除土壤背景的影响, 利用边缘保持中值滤波消除异常噪声点, 然后基于区域标记算法有效剔除花盆与灰度标定板的干扰, 实现了植株冠层的分割与提取。

(2)基于CA和RF算法筛选特征波长, 并构建和选取了RVI, NDVI, DVI和TSPAD植被指数, 建立CA+RF-PLSR叶绿素含量指标检测模型的建模集 Rc2为0.573 9, RMSEC为3.84%, 验证集 Rv2为0.420 2, RMSEC为2.3%。 绘制SPAD值伪彩色分布图实现了叶绿素含量分布可视化。 结果表明采用镀膜型光谱成像数据, 结合反射光谱和图像特征可以快速实现玉米叶片叶绿素含量的检测与分布可视化, 为直观反映作物生长状况提供方法支持。

参考文献
[1] Li Dan, Wang Chongyang, Hao Jiang, et al. Computers and Electronics in Agriculture, 2018, 154: 176. [本文引用:1]
[2] Diego Inácio Patrício. Computers and Electronics in Agriculture, 2018, 153(10): 69. [本文引用:1]
[3] Hassan M A, Yang M J, Rasheed A, et al. Plant Science, 2019, 282: 95. [本文引用:1]
[4] YANG Yu-qing, ZHANG Tian-tian, LI Jun-hui, et al(杨玉清, 张甜甜, 李军会, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2018, 38(12): 3743. [本文引用:1]
[5] CHEN Jia-yue, YAO Xia, HUANG Fen, et al(陈佳悦, 姚霞, 黄芬, ). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报), 2016, 4: 163. [本文引用:1]
[6] Jiang Rui, Wang Pei, Xu Yan, et al. Sensors, 2019, 19(8): 1859. [本文引用:1]
[7] Wartini Nga, Budiman Minasnya, Brendan P Malonea, et al. Computers and Electronics in Agriculture, 2019, 158: 201. [本文引用:1]
[8] PANG Gao-feng, WANG Zhi-yun, ZHAO Zhi-gang, et al(庞高峰, 王志云, 赵志刚, ). Instrument Technique and Sensor(仪表技术与传感器), 2019, (3): 23. [本文引用:1]
[9] Mishra P, Asaari M S M, Ana Herrero Langreo, et al. Biosystems Engineering, 2017, 164: 49. [本文引用:1]
[10] Li L, Zhang Q, Huang D. Sensors, 2014, 14(11): 20078. [本文引用:1]
[11] LI Jie, LI Xiao-long, TANG Qiu-hua, et al(李杰, 李晓龙, 唐秋华, ). Optics and Precision Engineering(光学精密工程), 2017, 25(4): 352. [本文引用:1]
[12] CAO Xiao-lan, DENG Meng-jie, WANG Pei-pei(曹晓兰, 邓梦洁, 汪佩佩). Acta Laser Biology Sinica(激光生物学报), 2018, 27(5): 467. [本文引用:1]