试验使用Sequoia多光谱相机对盆栽大豆进行拍摄, 该相机可以获取5种谱段的光谱成像数据, 包括绿光(GRE)、 近红外(NIR)、 红光(RED)、 红边(REG)及可见光(RGB)图像, 对应波长范围分别为(550± 40), (790± 40), (660± 40), (735± 10)和380~780 nm。 试验采用垂直拍摄, 设定相机距冠层1.5 m。 获取了大豆五种多光谱图像(见图1), 共计105组样本。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 大豆原始图像 (a): GRE图像; (b): NIR图像; (c): RED图像; (d): REG图像; (e): RGB图像Fig.1 Original images of soybean (a): GRE; (b): NIR; (c): RED; (d): REG; (e): RGB

为克服噪声在图像采集过程中的影响, 应用均值滤波和高斯平滑滤波两种方法, 对多光谱图像进行降噪处理(图2), 以去除对冠层提取干扰因素的影响。 并采用峰值信噪比(PSNR)和结构相似性(SSIM)作为评价指标, 对预处理后的多光谱图像进行质量评价, 以选取最优降噪处理方法。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 多光谱图像滤波效果对比 (a1): GRE均值滤波; (a2): NIR均值滤波; (a3): RED均值滤波; (a4): REG均值滤波; (a5): RGB均值滤波; (b1): GRE高斯滤波; (b2): NIR高斯滤波; (b3): RED高斯滤波; (b4): REG高斯滤波; (b5): RGB高斯滤波Fig.2 Comparison of filtering effects of multi-spectral images (a1): GRE; (a2): NIR; (a3): RED; (a4): REG; (a5): RGB; (b1): GRE; (b2): NIR; (b3): RED; (b4): REG; (b5): RGB

多光谱图像降噪评价指标均为全参考的图像质量评价指标^[9], 其中PSNR计算公式为

$PSNR=10\text{lo}{{\text{g}}_{10}}\frac{{{({{2}^{n}}-1)}^{2}}}{\frac{1}{H\times W}\overset{H}{\mathop{\mathop{\sum }_{i=1}}}\,\overset{W}{\mathop{\mathop{\sum }_{j=1}}}\,{{(X\left( i,j \right)-Y\left( i,j \right))}^{2}}}$(1)

式(1)中, X为去噪图像, Y为原始图像, H和W分别为图像的高度和宽度, n为每像素的比特数, PSNR数值越大表示图像失真越小。

由于人类视觉很容易从图像中抽取出结构信息, 计算SSIM指标评价两幅图像结构信息的相似性, 其计算公式为:

SSIM(X, Y)=l(X, Y)×c(X, Y)×s(X, Y)(2)

式(2)中, l(X, Y)为图像亮度变化, c(X, Y)为图像差异变化, s(X, Y)为图像结构变化; 结构相似性是用来评测图像质量的一种方法, 数值越大表示图像失真越小。

由表1可知, 均值滤波和高斯平滑滤波处理的多光谱图像PSNR平均值分别为35.158 4和36.613 8, SSIM平均值分别为0.930 2和0.947 8。 对多光谱图像进行去噪处理, 高斯平滑滤波处理的PSNR和SSIM都优于均值滤波处理, 保持了大豆多光谱图像边缘等细节信息, 能够较为完整的保存大豆多光谱图像的原有信息, 因此采用高斯平滑滤波法进行大豆多光谱图像的滤波降噪处理。

表1

Table 1

表1(Table 1)

表1 多光谱图像预处理评价指标 Table 1 Multispectral image preprocessing evaluation index 函数 指标 PSNR SSIM GRE NIR RED REG RGB GRE NIR RED REG RGB 均值滤波 34.718 33.354 30.031 40.621 37.068 0.935 0.937 0.848 0.961 0.970 高斯滤波 36.181 34.857 31.402 41.991 38.638 0.951 0.951 0.889 0.970 0.978

表1 多光谱图像预处理评价指标 Table 1 Multispectral image preprocessing evaluation index

采用了全局阈值迭代法, Otsu法以及局部阈值法对大豆冠层进行分割, 然后对图像进行开运算处理, 即在图像中利用结构元素先进行腐蚀运算再进行膨胀运算, 细化处理图像用以消除孤立点毛刺^[10], 真实可靠地保留了大豆冠层图像信息。

1.3.1 迭代阈值法

迭代阈值法是一种能基于图像数据自动选择阈值算法, 首先选定一个初始阈值, 然后按某种策略不断地更新阈值, 直到满足算法给定收敛准则为止。 研究中将大豆图像灰度范围的中值作为初始阈值T₀(设图像共有L个灰度), 该算法迭代公式为

${{T}_{i+1}}=\frac{1}{2}\left\{ \frac{\overset{{{T}_{i}}}{\mathop{\mathop{\sum }_{k=0}}}\,{{h}_{k}}k}{\overset{{{T}_{i}}}{\mathop{\mathop{\sum }_{k=0}}}\,{{h}_{k}}}+\frac{\overset{L-1}{\mathop{\mathop{\sum }_{k={{T}_{i}}+1}}}\,{{h}_{k}}k}{\overset{L-1}{\mathop{\mathop{\sum }_{k={{T}_{i}}+1}}}\,{{h}_{k}}} \right\}$(3)

式(3)中, h_k是图像中灰度值为k的像素点个数; 当迭代至T_i+1=T_i时, 确定T_i为分割阈值。

采用迭代阈值法分割大豆多光谱图像时, 绿光、 近红外、 红光、 红边及可见光大豆多光谱图像的阈值分别为0.495 4, 0.534 4, 0.476 5, 0.241 5和0.551 6, 计算获取大豆冠层的五种多光谱图像; 同时计算大豆冠层多光谱图像的灰度直方图, 大豆冠层多光谱图像效果和对应直方图如图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 迭代法大豆冠层多光谱图像 (a1): GRE目标图像; (a2): NIR目标图像; (a3): RED目标图像; (a4): REG目标图像; (a5): RGB目标图像; (b1): GRE直方图; (b2): NIR直方图; (b3): RED直方图; (b4): REG直方图; (b5): RGB直方图Fig.3 Multispectral images of soybean canopy with iteration method (a1): GRE; (a2): NIR; (a3): RED; (a4): REG; (a5): RGB; (b1): GRE; (b2): NIR; (b3): RED; (b4): REG; (b5): RGB

从图3可以看出, 采用迭代法获取冠层多光谱图像的平均灰度值依次为0.584 7, 0.825 1, 0.621 4, 0.342 5和0.636 9, 各直方图分别在0.502 0, 0.909 8, 0.502 0, 0.345 1和0.619 6处达到峰值, 并且较为完整地分割出了近红外和红边通道的大豆冠层的目标区域。 由于绿光和红光的大豆图像的目标区域边缘模糊且与大豆图像背景区域颜色相近, 导致不能有效获取大豆冠层的目标区域图像; 该算法分割出了可见光通道的大豆冠层区域, 但也留存了原图像的部分背景区域。

1.3.2 最大类间方差法

最大类间方差法(OTSU)是将大豆灰度直方图在某一阈值处分割成两组, 二者灰度值的最大方差就是分割算法阈值。 最大类间方差法定义为: 假设ω ₀为大豆冠层像素点数占整幅图像的比例, μ ₀为其平均灰度; ω ₁为背景像素点数占整幅大豆图像的比例, μ ₁为其平均灰度; 则大豆冠层和背景图像之间方差表示为

g=ω0ω1(μ0-μ1)2(4)

当方差g最大时, 待处理图像中大豆冠层和背景差异最大, 该灰度值是大豆冠层多光谱图像分割的最佳阈值。 本文确定绿光、 近红外、 红光、 红边及可见光大豆多光谱图像的最佳阈值分别为0.419 6, 0.494 1, 0.400 0, 0.176 5和0.588 2, 通过计算获得多光谱大豆冠层图像, 并计算相应图像的灰度直方图, OTSU算法分割效果如图4所示。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 Otsu法大豆冠层多光谱图像 (a1): GRE目标图像; (a2): NIR目标图像; (a3): RED目标图像; (a4): REG目标图像; (a5): RGB目标图像; (b1): GRE直方图; (b2): NIR直方图; (b3): RED直方图; (b4): REG直方图; (b5): RGB直方图Fig.4 Multispectral images of soybean canopy by Otsu method (a1): GRE; (a2): NIR; (a3): RED; (a4): REG; (a5): RGB; (b1): GRE; (b2): NIR; (b3): RED; (b4): REG; (b5): RGB

从图4中可以看出, 采用Otsu法获取冠层多光谱图像的平均灰度值依次为0.537 6, 0.813 4, 0.532 7, 0.324 3和0.651 2, 各直方图分别在0.502 0, 0.909 8, 0.419 6, 0.345 1和1.666 7处达到峰值, 该算法较为完整地分割出了近红外和红边通道的大豆冠层的目标区域, 由于红光图像边缘灰度级分布不均且噪声较大, 目标与背景之间灰度差别小, 导致不能有效获取目标区域图像。 然而对于绿光和可见光大豆冠层, 虽提取出了目标区域, 但也损失了冠层部分有效信息。

1.3.3 局部阈值法

局部阈值分割算法是将原始图像划分为若干子图像, 并逐层迭代求解各子区域的最优局部阈值, 将最优局部阈值合并作为分割阈值, 从而实现从多光谱图像中分割出大豆冠层。 通过迭代计算绿光、 近红外、 红光、 红边及可见光大豆多光谱图像的局部阈值, 计算图像的最优分割阈值分别为0.325 5, 0.380 4, 0.302 0, 0.094 1和0.431 4, 进一步获得大豆冠层的多光谱图像, 并计算对应灰度直方图, 该算法效果如图5所示。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 局部阈值法大豆冠层多光谱图像 (a1): GRE目标图像; (a2): NIR目标图像; (a3): RED目标图像; (a4): REG目标图像; (a5): RGB目标图像; (b1): GRE直方图; (b2): NIR直方图; (b3): RED直方图; (b4): REG直方图; (b5): RGB直方图Fig.5 Multispectral images of soybean canopy by local threshold method (a1): GRE; (a2): NIR; (a3): RED; (a4): REG; (a5): RGB; (b1): GRE; (b2): NIR; (b3): RED; (b4): REG; (b5): RGB

从图5中可以看出, 采用局部阈值法获取冠层多光谱图像的平均灰度值依次为0.539 7, 0.815 9, 0.477 8, 0.324 7和0.635 4, 各直方图分别在0.502 0, 0.909 8, 0.396 1, 0.345 1和0.619 6处达到峰值, 局部阈值法较为完整地分割出了绿光、 近红外和红边通道的大豆冠层的目标区域, 对于红光大豆冠层没有达到理想分割效果, 也保留了部分绿光大豆冠层的边缘区域; 该算法分割出了可见光通道的目标冠层区域, 同时也漏分了部分背景区域。

依据文献[11]计算105组大豆多光谱图像的有效分割率、 过分割率和欠分割率, 并进行了绿光、 近红外、 红光、 红边及可见光等五种多光谱冠层图像统计分析, 其中有效分割率越高且过分割率和欠分割率越低, 表示算法分割性能越好^[12]。 其结果如表2所示。

表2

Table 2

表2(Table 2)

表2 不同分割算法的评价指标对比 Table 2 Comparison of evaluation indexes of different segmentation algorithms 图像类型 分割算法 迭代法 Otsu法 局部阈值法 有效分割 过分割 欠分割 有效分割 过分割 欠分割 有效分割 过分割 欠分割 GRE 0.568 6 0.533 8 0.284 7 0.871 4 0.222 9 0.191 2 0.870 6 0.227 7 0.206 7 NIR 0.978 1 0.113 7 0.136 1 0.944 0 0.116 8 0.135 3 0.987 5 0.079 1 0.202 4 RED 0.052 4 0.967 1 0.288 2 0.130 1 0.913 2 0.142 3 0.167 5 0.885 8 0.123 6 REG 0.691 6 0.366 8 0.229 2 0.975 5 0.094 4 0.227 0 0.981 5 0.090 5 0.227 3 RGB 0.879 9 0.202 2 0.632 5 0.828 1 0.270 4 0.456 4 0.859 8 0.228 7 0.505 0

表2 不同分割算法的评价指标对比 Table 2 Comparison of evaluation indexes of different segmentation algorithms

从表2统计结果可知, 采用Otsu法和局部阈值法对绿光大豆冠层图像平均有效分割率均在87%以上, 识别效果相对迭代法较好。 三种算法都有效区分了近红外大豆图像中的冠层和背景, 其冠层区域平均有效分割率均在96%以上, 但对红光大豆冠层图像的有效分割率均低于20%。 Otsu法和局部阈值法都比较有效区分了红边大豆图像中的冠层和背景, 目标区域的平均有效分割率均在97%以上, 而迭代法在分割红边大豆图像时, 由于周围环境的影响, 图像分割效果不稳定。 三种算法都有效区分了可见光大豆图像中的冠层和背景, 其中迭代法和局部阈值法对可见光大豆冠层图像的平均有效分割率均在85%以上。 同时, 在五种光谱图像中, 红光大豆冠层的有效识别率最低, 过分割率和欠分割率最高。 采用迭代法、 Otsu法和局部阈值法分割绿光、 近红外、 红外和可见光的平均过分割率分别为30.41%, 17.61%和15.65%, 平均欠分割率分别为32.56%, 25.25%和28.54%, 采用Otsu法和局部阈值法对大豆冠层多光谱图像的过分割率和欠分割率较迭代法更低, 分割效果更好。 在计算速度方面, 迭代法和Otsu法平均计算时间分别为7.75和7.48秒; 而局部阈值法对图像多区域分别进行分割处理操作, 其平均计算时间为50.52 s, 处理时间较长; 综合大豆冠层图像提取效果, Otsu法从时间性能上优于其他两种算法。

图像的信息熵表示图像所包含的平均信息量, 分割后冠层图像相对标准图像熵值变化越小表明图像分割效果越好^[13]。 本研究评价算法有效性和信息完整性的信息熵公式为

$\text{H}\left( \text{X} \right)=-\overset{n}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,p\left( {{x}_{i}} \right)\text{log}p\left( {{x}_{i}} \right)$(5)

式(5)中, p(x_i)为灰度值为x_i的像素数与图像总像素数之比。

按照式(5)计算105组分割图像与标准图像的信息熵, 其结果如图6所示。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 分割图像熵值统计图Fig.6 Entropy statistics of segmented images

从图6中可以看出, 红光大豆图像算法分割后图像信息熵与标准图像数据相差较大, 其最大差值达到0.319 7, 因为红光波段是叶绿素的主要吸收波段, 对土壤和绿色植物类别差异并不敏感, 其图像颜色较暗, 边缘特征模糊不均, 所以该光谱波段图像分割较为困难。 利用迭代法、 Otsu法和局部阈值法分割的多光谱大豆冠层图像和标准图像平均熵值范围分别为0.884 7~1.302 3, 0.865 4~1.690 4, 0.930 9~1.958 2, 0.905 4~1.695 4, 其目标图像与标准图像信息熵的平均值之差分别为0.120 1, 0.054 7和0.059 8, 所以Otsu法和局部阈值法分割后冠层图像相对标准图像信息熵变化较小, 目标图像保留了大豆冠层中多光谱数据的有效信息。