引用本文
孟祥爽, 林沂. 基于移动Kinect的低成本植物三维结构表型分析[J]. 光谱学与光谱分析, 2020,40(8): 2352-2357.
MENG Xiang-shuang, LIN Yi. Kinect Sensor Moving for Low-Cost Mobile Phenotyping of 3D Plant Structures[J]. Spectroscopy and Spectral Analysis, 2020,40(8): 2352-2357.
Doi:10.3964/j.issn.1000-0593(2020)08-2352-06  
Permissions
Copyright©2020, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
基于移动Kinect的低成本植物三维结构表型分析
孟祥爽, 林沂*
北京大学地球与空间科学学院, 遥感与地理信息系统研究所, 北京 100871
*通讯联系人 e-mail: yi.lin@pku.edu.cn

作者简介: 孟祥爽, 1993年生, 北京大学地球与空间科学学院博士研究生 e-mail: mengxs@pku.edu.cn

收稿日期: 2019-07-23 接受日期: 2019-12-19
基金: 国家自然科学基金项目(31670718, 31870531)资助
摘要

表型分析对于理解植物基因型与环境之间的关系非常重要, 开发高效且成本低的相关技术是精准农业等领域的一项典型需求。 其中, 代表性的RGB-D设备Kinect已用于植物表型分析, 但其应用潜力尚未被充分挖掘。 本文首先梳理比较了Kinect表征三维结构的三种原理方式, 即点云基于深度图像(DI)生成, 通过运动恢复结构(SfM)从彩色图像获得, 以及合并DI和SfM点云生成融合数据(MD), 并以FARO X330激光扫描仪获取的基准数据评估三种方式的性能。 以植物玉簪为例的分析结果表明, 对叶面积的估算DI点云的准确度最高, 对叶片圆形度和偏心率的反演MD点云表现最佳, 对叶倾角的反演SfM点云的性能最好。 三种方式的结果差异源于它们表征不同结构的表现不同, 对于叶面积的反演, SfM表征叶片相对不完整, 而MD重建叶片的边缘存在不平滑的现象, 导致两者精度不足;对于表征叶片的几何特征, 通过合并DI和SfM数据生成的MD点云实现了信息增强的效果, 使得其表现优于DI和SfM点云;叶倾角对深度测量的准确性更敏感, 由于Kinect测量深度过程中通常存在误差, 导致DI和MD点云反演精度偏低, 而SfM点云仅通过彩色图像生成, 因此其表现出反演叶倾角的最佳性能。 性能比较与原因分析表明, 三种方式对不同的结构特征有不同的适用空间, 它们的集成有助于提升Kinect用于植物表型分析的整体性能, 由此形成一种基于Kinect的移动表型高效分析技术;此外, 提出的叶片几何描绘(LGD)模型可较好拟合叶片轮廓, 有助于恢复部分被遮挡叶片的几何形态。 提出了一种基于Kinect的低成本但高效的移动型三维植物结构表型分析技术, 这对于促进作物监控、农业增产等有基础技术意义。

关键词: 植物表型分析; 点云; 结构参数提取; Kinect; LiDAR
中图分类号:TP79 文献标志码:A
Kinect Sensor Moving for Low-Cost Mobile Phenotyping of 3D Plant Structures
MENG Xiang-shuang, LIN Yi*
Institute of Remote Sensing and GIS, School of Earth and Space Sciences, Peking University, Beijing 100871, China
*Corresponding author
Abstract

Phenotyping is important for understanding of the relationships between plant genotypes and environment. Developing efficient and low-cost phenotyping technologies is a typical demand in many fields such asprecision agriculture. As a representative RGB-D device, Kinect has been used for plant phenotyping, but its technical potential has not been fully explored. To address this gap, this study compared the three mainstream principles of Kinect characterizing three-dimensional structures, i.e., point clouds generated from depth images (DI), from the color images using the method of Structure from Motion (SfM), and from the data by merging the DI- and SfM-derived data (MD). The performance of the three methods was evaluated based on the reference data, which was measured by a FAROX330 laser scanner. The results after the analyses in the case of Hosta plantaginea showed that DI made the most accurate estimationsin terms of leaf areas, MD out performed DI and SfM when regarding the predictions of leaf circularities and eccentricities, and SfM had the best performance on the retrievals of leaf inclinations. The difference between the results of the three methods stems from their distinctive performance for different structures. For leaf area estimation,SfMcan characterize plant leaves in a relatively incomplete way, while the edges of the MD-recon structed leaves are not smooth, resulting in the lowness of accuracy for these two methods. For the geometric characteristics of leaves, MD point clouds generated by merging the related DI and SfM data can achieve the effect of information enhancement, making its performance better than DI and SFM point clouds. The leaf inclination angle is more sensitive to the accuracy of depth measurement. Due to Kinect depth measurement often with the errors, the accuracies of the DI and MD point cloud-based leaf inclination retrievals may be low. TheSfM point cloudsare only generated from the color images, and so this method canpresent the best performance on retrieval of leaf inclination angles. Performance comparison sindicated that the three methods have their advantages for different structural features.Their integration can help to improve the overall performance of Kinect for plant phenotyping and,eventually, forma new Kinect-based mobile phenotyping technique. In addition, the proposed leaf geometry delineation (LGD) model proved todraw the contours of leaves and restore the geometries of those partially occluded leaves. Overall, this study developed a novel Kinect-based low-cost but efficient mobile three-dimensional plant structure phenotyping technique, which is of implications for promoting crop monitoring and increasing agricultural production.

Keyword: Plant phenotyping; Point cloud; Structural parameter extraction; Kinect; LiDAR
引 言

对于21世纪的作物研究而言, 如何根据作物的遗传组成预测其表现是一项重大挑战[1]。 表型可用于描述植物性状, 表型由大量的结构、 功能和过程来表征, 能够充当连接基因型与环境的桥梁。 作物结构是一种明显但重要的表型类型, 与蒸发、 蒸腾和光合作用等许多生物物理过程相关, 能够反映作物适应资源有限的生长条件的机制[2]。 因此, 在精准农业领域迫切需要能够对植物三维结构进行移动表型分析的高性能且低成本的新技术[1]。

基于不同类型的三维数据采集技术, 如激光雷达(light detection and ranging, LiDAR)、 立体视觉和RGB-D设备, 已经开发了一系列用于植物三维结构表型分析的方法[3, 4]。 商业化LiDAR能直接获取植物的三维点云, 是植物表型分析的有效手段[5]。 安装农业机械上的LiDAR能以非破坏性的方式估算植物的密度、 体积和叶面积等参数[6], 但是LiDAR相对较高的价格限制了其在农业应用中的普遍性。

立体视觉系统通常由商业相机组成, 成本相对较低, 因此被广泛用于表型技术的开发[7, 8]。 然而, 高精度立体视觉系统通常需要两个由固定基线分开的相机, 在使用前需要校准, 操作较繁琐[9]。 运动恢复结构(structure from motion, SfM)可以只依赖一台相机完成相同的任务[10], 通过SfM技术使用多幅图像生成的点云可用于反演植物的结构参数[9]。

具有测量传感器和物体之间距离能力的低成本RGB-D设备也被尝试用于植物表型分析, 例如Microsoft公司发布的Kinect传感器, 已被用于叶片分割和尺寸估计[11, 12]。 然而, Kinect在植物表型分析中的应用潜力尚未得到充分研究。 理论上, Kinect可以通过不同的方式测量植物三维结构, 即: 点云可直接从Kinect的深度图像(depth image, DI)中生成; 使用SfM的方法从彩色图像生成; 以及通过合并DI和SfM点云生成融合数据(merged data, MD)。 现有研究尚未针对不同的采样模式(例如静态、 等距静态或连续移动)及其组合对于植物表型分析的表现进行讨论。 为填补这一空白, 本文旨在探讨以上三种方式反演植物结构参数的性能, 并基于Kinect构建用于提取植物三维结构的低成本且稳健的移动表型分析技术。

1 实验部分
1.1 设备

Kinect传感器由一个红外发射器和两个CMOS相机(RGB相机和红外相机)组成(图1)。 它能以30 fps的速率生成分辨率为640× 480像素的RGB和深度图像, 或以12 fps的速率生成分辨率为1 280× 960像素的RGB图像。

图1 Kinect传感器, 由红外发射器(i), RGB相机(ii)和红外相机(iii)组成Fig.1 The Kinect sensor, composed by an IR projector (i), a RGB camera (ii) and an IR camera (iii)

1.2 数据采集

实验于2015年4月进行, 用于实验的植物种类是在北京大学校园内生长的玉簪(Hosta plantaginea), 其分布广泛并且具有大而扁平的叶子。 Kinect传感器被安装在可移动的框架上, 并用绳子固定在地面上方1.2 m处, 如图2所示。 实验共获取了两组图像, 第一组为对于每株植物的分辨率为640× 480像素的静态彩色和深度图像。 为采集第二组图像, 将框架沿着植物行列以约0.03 m· s-1的速度向前移动约3 m, 获取了分辨率为1 280× 960像素的66幅彩色图像。

图2 实验场景, Kinect传感器安装在带有轮子的框架上, 手动向前推动以实现移动观测Fig.2 Illustration of the experiment scenarios, with the Kinect sensor mounted on a shelf with wheels that was manually pushed forward to achieve the mobile observations

为评估以DI, SfM和MD三种方式生成的点云反演植物三维结构参数的准确性, 使用FARO X330激光扫描仪测量试验区以提供基准数据。 该扫描仪发射波段为1 550 nm的红外脉冲, 每秒可获取超过122 000个点, 在10 m距离处误差约为2 mm。

1.3 研究方法

1.3.1 点云生成

数据处理的初步任务通过DI、 SfM和MD三种方式生成点云。 DI点云由颜色和深度图像生成, 基于Windows Developer Toolkit配准两种图像后, 每个像素被转化为一个具有位置(XYZ)和颜色(RGB)信息的点, DI生成的密集且均匀分布的点云可用于反演植物的三维结构参数。

SfM点云通过VIsualSFM软件[13]使用66幅彩色图像生成, 根据输入图像生成稀疏点云, 再将其增强为密集点云。 但SfM点云在植物结构参数的反演中表现出两个不足。 首先, 视觉解译表明在叶片上有许多孔洞, 点云密度不足以反演精细的结构参数。 其次, 由于地表具有轻微的起伏, 当我们使用参照物将点云的单位校准为米制时, 可能会导致数据中产生一些误差。

为解决这两个问题, 本文提出了第三种MD方法, 即合并以DI和SfM方式得到的点云。 从两组点云中挑选对应点进行粗略配准, 再通过迭代最近点算法(iterative closest point, ICP)完成精确配准, 从而生成MD点云。 以FARO X330激光扫描仪获取的点云作为基准数据, 用于评估这三种方法反演植物结构参数的性能, 评价指标为R2和RMSE。

1.3.2 植物点云分割

探讨Kinect用于植物表型分析的可行性, 需进行植物点云的提取。 多种方法可用于分离三维点云中的植物, 例如基于RGB信息的植被指数ExG[9], 但其对光照条件敏感。 本文使用基于欧氏距离的k-means聚类实现DI, SfM和MD点云的植物分割, 将地面和植物点分为不同的聚类。 在FARO点云中植物和地面点相互接触, 无法通过聚类的方式区分, 因此将地面视为平面, 采用随机采样一致性(random sample consensus, RANSAC)算法提取点云中的平面模型, 以分离植物和地面点, 再通过k-means聚类分割FARO点云中的每株植物。

1.3.3 植物结构参数反演

从四组点云中分别裁剪出10片完整叶子用于反演叶面积、 圆形度(circularity)、 偏心率(eccentricity)和叶倾角等结构参数。 使用不规则三角网(triangulated irregular network, TIN)生成点云的三角网格, 汇总三角形面积作为叶面积。 圆形度和偏心率表征了叶片在形状规律上的几何形态, 可用于叶片识别。 定义分别为

Circularity=R1R2(1)

其中R1和R2分别为叶片的内切圆和外接圆的半径,

Eccentricity=L1L2(2)

其中L1和L2分别为叶片的长轴和短轴的长度。

为反演叶片的圆度和偏心率, 对叶片点云进行主成分分析(principal component analysis, PCA), 通过前两个主成分将点云投影到二维平面, 并对投影点进行栅格化以生成叶片图像, 根据叶片图像计算圆形度和偏心率。 对于叶倾角的反演, 额外使用了7片少部分被遮挡的叶片, 将叶片拟合为平面, 通过计算平面法向量与地面法线之间的夹角获取叶倾角。

1.3.4 叶片轮廓建模

一些叶片结构参数的反演是基于其边界进行的, 因此难以估计被遮挡叶片的结构参数。 为此开发了叶片几何描绘(leaf geometry delineation, LGD)模型来表征叶片的轮廓, 以恢复部分被遮挡叶片的几何形态。 使用PCA算法将叶片点投影到二维平面, 通过凸包(convex hull, CH)算法提取叶片的边界点, 并将其坐标变换到极坐标系。 根据叶片的形状, 使用心形线模型[式(3)和式(4)]拟合叶片轮廓。

r=a(1-cosθ)(3)

a=k1θ+b1, 0≤θ< πk2θ+b2, π≤θ< 2π(4)

其中r和a分别为每个边界点的极半径和极角。

2 结果与讨论
2.1 植物分割结果

在数据处理和点云分割之后, 四组数据的植物点云如图3所示, 可以初步解译为DI和MD表征植物结构的能力优于SfM。

图3 基于(a)DI, (b)SfM, (c)MD和 (d)FARO的植物分割结果Fig.3 Illustration of the plant segmentation results for a same plant related to the Kinect (a) DI-, (b) SfM-, (c) MD- and (d) FARO-derived results

2.2 植物结构参数反演结果

对于叶面积的估计, 基于DI点云的结果优于SfM点云, 甚至优于MD点云的结果, 表现为具有最高的R2(分别为0.71, 0.16和0.62)和最低的RMSE, 如图4所示。 这一结果与图3的直观解译相一致, 即SfM以相对不完整的方式表征植物叶片, 而MD重建叶片的边缘具有不平滑现象, 导致叶面积反演精度的降低。

图4 FARO反演的叶面积(x轴)和Kinect(a)DI, (b)SfM和(c)MD反演的叶面积(y轴)之间的比较Fig.4 Comparisons between the FARO-derived leaf areas (x axis) and the Kinect sensor (a) DI-, (b) SfM-, and (c) MD-derived ones (y axis), respectively

对于叶片圆形度和偏心率的反演, 基于MD点云的结果表现出比DI和SfM点云更好的性能, 其R2最高(对于圆形度分别为0.79, 0.52和0.13, 对于偏心率分别为0.76, 0.40和0.21)并且RMSE最低, 如图5和图6所示。 这些结果表明, 对于表征叶片几何的任务, 基于MD的策略可以通过合并DI和SfM点云来实现信息增强的效果。

图5 FARO反演的叶片圆形度(x轴)和Kinect(a)DI, (b)SfM和(c)MD反演的叶片圆形度(y轴)之间的比较Fig.5 Comparisons between the FARO-derived leaf circularity (x axis) and the Kinect sensor (a) DI-, (b) SfM-, and (c) MD-derived ones (y axis), respectively

图6 FARO反演的叶片偏心率(x轴)和Kinect(a)DI, (b)SfM和(c)MD反演的叶片偏心率(y轴)之间的比较Fig.6 Comparisons between the FARO-derived leaf eccentricity (x axis) and the Kinect sensor (a) DI-, (b) SfM-, and (c) MD-derived ones (y axis), respectively

对于叶倾角的反演, SfM点云的表现优于DI和MD点云, 具有更高的R2(分别为0.74, 0.70和0.61)和更低的RMSE, 如图7所示。 MD点云对叶倾角估计能力最弱的主要原因在于DI数据的采集过程, 即Kinect传感器测量深度过程中存在误差[14], 这种误差也被传递到MD点云中。 不同于圆形度和偏心率等结构参数, 叶倾角对深度测量的准确性更敏感。 由于SfM点云仅通过彩色图像生成, 独立于深度图像, 因此该数据对于叶倾角的反演精度最高。

图7 FARO反演的叶倾角(x轴)和Kinect(a)DI, (b)SfM和(c)MD反演的叶倾角(y轴)之间的比较Fig.7 Comparisons between the FARO-derived leaf inclination (x axis) and the Kinect sensor (a) DI-, (b) SfM-, and (c) MD-derived ones (y axis), respectively

在Kinect传感器的移动模式中, 不同的点云生成方式被证明适用于不同结构参数的反演。 DI点云在叶面积反演方面效果最好, MD点云对叶片圆形度和偏心率的反演精度最高, 而SfM点云反演叶倾角的表现最佳。 这表明, 对于植物表型分析的不同任务, 三种方式的集成有助于提高结构参数反演的有效性和稳健性。

2.3 叶片轮廓建模

LGD模型通过心形线拟合叶片边缘实现叶片轮廓建模, 如图8所示。 根据凸包和LGD反演的边界点所包围面积的R2、 RMSE和RMSEr来评价该模型。 就叶面积的估计而言, LGD模型可以很好地表征目标叶片的形状, 如表1所示。 对于四个数据集, R2均超过0.96, RMSEr均低于3%。 这表明可通过LGD模型恢复部分被遮挡叶片的几何形态, 进而反演其结构参数。

图8 凸包提取的叶片边界点(蓝色)和 LGD模型生成的边界点(红色)Fig.8 Illustration of the CH-derived boundary points (blue) and the LGD-derived boundary points (red) of the leaves tested in this study

表1 在四组点云中, 叶子的凸包和LGD反演的边界点包围面积的比较 Table 1 Comparisons of leaves areas enclosed by the CH- and LGD-derived boundary points of the leaves in the four datasets
2.4 影响因素分析

影响Kinect表型分析表现的主要因素可能是其运动, 与静态植物表型分析技术相比, 移动植物表型分析往往具有相对较低的精度。 运动中的表型分析平台可能会遇到各种干扰, 例如不平滑的地表会导致彩色和深度图像以及生成的点云具有空间偏差, 并且该误差可能会被引入到结构参数的反演中。

基于SfM生成的点云太过稀疏, 直观地表现为叶片点云上的孔洞, 难以满足表征植物的要求。 这是由于Kinect设备的图像分辨率最高只有1 280× 960像素, 意味着Kinect既不能覆盖大面积地表, 也不能实现作物冠层的高密度采样, 特别是当移动框架的高度增加时。 由于本研究中的Kinect传感器使用俯视测量模式, 因此在产生的点云中仍存在遮挡效应。 此外, Kinect传感器无法避免数据采集中的一些缺点, 例如光照条件和测量范围的限制[15]。

2.5 潜在的改进

由于主要影响因素是系统的运动, 因此Kinect传感器可以固定在车辆上以克服地表不平滑的影响。 还可考虑将Kinect传感器与GPS和IMU模块相结合, 虽然这意味着系统成本的增加, 但可以优化数据配准过程以及提高植物结构参数反演的精度。

为减少冠层重叠导致的视野障碍并获取有关作物下层的更多信息, 可尝试将另一个Kinect传感器集成到移动框架上。 新添加的传感器可以安装在较低的高度, 有助于平衡地表和作物结构细节之间的问题。 两个Kinect也可通过倾斜成像方式部署, 以增加反映作物下层结构的可能性。 还可尝试将新一代的Kinect V2应用于植物表性分析, 其具有更高的图像分辨率和更大的测量范围, 有助于更精细地表征植物结构并改善遮挡效应。 此外, 还应增加数据处理和参数反演的自动化程度, 这有助于在有限时间内重复进行表型分析, 以更好地理解作物状态、 功能和习性。

3 结 论

将Kinect传感器在植物表型分析中的适用性推向了新的阶段, 探讨了将其作为一种低成本移动表型分析技术的可能性。 从Kinect采集的数据以三种方式获取植物点云, 通过反演叶面积、 圆形度、 偏心率和叶倾角等结构参数来验证其可靠性。 结果表明, 基于DI, SfM和MD的方式适用于估计不同类型的结构参数, 反演结果的差异源于三种方式在结构表征上的不同机制, 这些方法的适当集成可以提高移动式Kinect对植物表型分析的稳健性。 考虑到对不同应用的适应性和低廉的价格, Kinect传感器可用于开发精准农业的移动表型分析系统, 并加速理解基因型与环境之间的关系。

参考文献
[1] White J W, Andrade-Sanchez P, Gore M A, et al. Field Crops Research, 2012, 133: 101. [本文引用:2]
[2] Fourcaud T, Zhang X, Stokes A, et al. Annals of Botany, 2008, 101(8): 1053. [本文引用:1]
[3] Lin Y. Computers and Electronics in Agriculture, 2015, 119: 61. [本文引用:1]
[4] Li L, Zhang Q, Huang D. Sensors, 2014, 14(11): 20078. [本文引用:1]
[5] Malambo L, Popescu S C, Horne D W, et al. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 149: 1. [本文引用:1]
[6] Shalal N, Low T, McCarthy C, et al. Computers and Electronics in Agriculture, 2015, 119: 254. [本文引用:1]
[7] Bao Y, Tang L, Breitzman M W, et al. Journal of Field Robotics, 2019, 36(2): 397. [本文引用:1]
[8] Wang Y, Wen W, Wu S, et al. Remote Sensing, 2019, 11(1): 63. [本文引用:1]
[9] Jay S, Rabatel G, Hadoux X, et al. Computers and Electronics in Agriculture, 2015, 110: 70. [本文引用:3]
[10] Andújar D, Calle M, Fernández-Quintanilla C, et al. Sensors, 2018, 18(4): 1077. [本文引用:1]
[11] Vázquez-Arellano M, Paraforos D S, Reiser D, et al. Computers and Electronics in Agriculture, 2018, 154: 276. [本文引用:1]
[12] Bao Y, Tang L, Srinivasan S, et al. Biosystems Engineering, 2019, 178: 86. [本文引用:1]
[13] Wu C. Towards Linear-Time Incremental Structure from Motion. Washington, 2013. [本文引用:1]
[14] Khoshelham K, Elberink S O. Sensors, 2012, 12(2): 1437. [本文引用:1]
[15] Chéné Y, Rousseau D, Lucidarme P, et al. Computers and Electronics in Agriculture, 2012, 82: 122. [本文引用:1]