光谱土壤水分分析技术是利用土壤介质的物理结构和化学性质的不同, 有效地检测土壤水分含量, 与传统土壤水分含量检测方法相比有比较明显的优势, 是目前获取土壤水分数据的最重要手段^[10], 具体的优势表现为以下三个方面:

(1)实时性。 传统的土壤水分含量检测方法需对特定的坐标点进行检测, 效率低、 时效性差, 难以对大面积区域进行检测, 而光谱技术可以利用遥感平台搭载光谱传感器快速获取检测区域的全部土壤光谱信息, 并对含水量进行预测, 达到实时检测的效果^[11]。

(2)无损性。 光谱土壤水分检测技术仅需要通过传感器来获取土壤的光谱信息, 无需损害土壤的内部物理构造和化学性质, 保证了土壤水分含量不因检测而发生改变, 因此保证了土壤水分含量的准确性^[12]。

(3)精确性。 不同的土壤含水量和土壤中不同物质对应光谱反射率曲线中不同的特征吸收峰谷, 光谱传感器可同时获取土壤的图像数据和光谱数据, 并提取土壤光谱数据的敏感波段。 由该数据建立的土壤检测模型较为精确, 因此目前已成功应用于便携式土壤含水量传感器。

(1)土壤的构造复杂。 土壤是由母质在气候、 地形、 生物等因素经过长时间形成的复杂系统, 并随气候环境变化而不断改变, 任一影响因子的改变都可能导致土壤光谱的改变, 因此土壤光谱具有时空变异性。 采集的光谱数据中包含了较多的干扰物质, 而研究中仅需利用对水分敏感性较强的波段。 目前解决办法均是对数据进行预处理, 消除其他信息的影响, 增强水分敏感波段的光谱特征^[13]。

(2)泛化能力不足。 土壤由多种物质组成, 有机质含量、 盐分含量等和粒径大小对光谱有很大影响, 不同物质的含量会导致土壤光谱的水分敏感波段的不同, 进而影响光谱模型的适用性和泛化能力, 因此多数光谱土壤水分检测模型仅针对某一地区或某种土壤类型进行研究^{[14, 15]}。

(3)气候条件制约。 光谱数据采集条件要求要高, 需要考虑光照、 风力等天气的影响, 恶劣的气候条件下采集的数据误差较大, 为保证测量的精确性, 采集需要在环境理想的条件下进行。

(1)基于光谱分辨率。 针对光谱分辨能力的不同, 光谱可分为多光谱、 高光谱和超光谱。 随着光谱分辨率的不断提高, 可获得更多的土壤信息, 根据光谱特性的差异更容易判断土壤水分的丰缺情况^[16]。

(2)基于信息获取方式。 一是通过卫星、 无人机等航天航空平台携带的传感器采集数据, 该方法具有获取数据量大, 效率高等优点, 但是易受到气候环境的严重影响; 二是使用地物光谱仪或成像高光谱仪直接进行光谱数据的获取, 该方法获取的数据较为精确, 但是采集数据速度较慢^[17]。

(3)基于波段。 综述目前国内外光谱土壤水分检测技术的研究现状, 多数研究者基于可见光— 近红外之间土壤水分含量与光谱的关系进行检测, 少数研究者使用热红外波段通过辐射平衡估算土壤水分, 或通过微波和紫外波段进行检测^{[18, 19, 20]}。

光谱数据的采集和建模过程中存在由不同因素引起的实验误差, 为建立一个更加稳定、 准确的光谱土壤水分检测模型, 需对数据进行预处理, 消除干扰信息, 突出土壤水分光谱的吸收和反射峰谷, 提取有效信息^{[18, 19, 20, 21, 22]}。 不同的预处理方法如表1所示。

表1

Table 1

表1(Table 1)

表1 光谱预处理技术特点分析 Table 1 Characteristic analysis of spectral pretreatment technology 方法 原理 特点 参考文献 Savitzky-Golay平滑算法 Savitzky-Golay smoothing algorithm(SG) Xi* =∑j=-rlXi+jWj∑j=-llWj Wj是移动窗口平滑中的权重因子(窗口长度2l+1) 不受样本数据限制, 适用于光谱信号的稳定去噪, 对高频噪音消除效果较好 [23] 多元散射校正 Multiplicative scatter correction(MSC) Xi* =X¯i-bimi mi和bi表示Xi与线性回归后的相对偏移系数和平移量 消除分布不均匀和颗粒大小造成的散射影响 [24] 微分处理 Differential algorithm Xi* =Xi+j-Xig G为差分宽度 消除背景干扰的影响, 突出光谱变化规律 [25-26] 注: Xi*是校正后的数据值, Xi是原数据值, X¯i是样本光谱的平均值

表1 光谱预处理技术特点分析 Table 1 Characteristic analysis of spectral pretreatment technology

(1)Savitzky-Golay平滑算法(S-G)。 S-G算法通过多项式最小二乘拟合, 计算出窗口内中心点关于其周围点的加权平均和。 该算法相比于其他算法更稳定、 误差更小, 适用于去除土壤光谱中出现下高频光谱信号^[23], 采用S-G算法有效地减弱了其他因素对土壤水分的影响, 但该算法也会削弱水分的敏感波段, 因此需要在土壤水分光谱中寻求去噪不足和过度去燥之间的平衡点, 但目前对光谱的去燥平衡点很难确定^[27]。

(2)多元散射校正(MSC)。 该算法将采集的数据与标准光谱进行一元线性回归运算, 增强了与主成分含量相关的光谱信息^[24], 可以增强土壤光谱中水分的信息, 消除分布不均匀产生的散射影响。 MSC算法在去除大气散射和消除土壤粒径大小影响的效果较好, 因此最适用于气候条件不佳和土壤粒径问题的光谱信息的预处理。

(3)微分处理。 微分适用于消除背景的影响, 根据微分的不同阶数, 可以显示光谱的变化规律, 突出光谱曲线的波峰波谷。 Morellos等^{[25, 26]}采用一阶微分的方法, 对比了多种土壤光谱的变化规律, 突出了土壤水分的特征波段, 为建模提供了精确的数据支持。

采集的光谱数据能显示丰富的空间、 光谱、 辐射信息, 不仅包含光谱土壤水分检测所需的特定光谱数据, 而且还包含大量的冗余数据和无关信息, 与全波长范围相比, 特定变量选择重要的波长范围会得到性能更好的模型^[28], 因此选取适当的特征光谱提取算法来降低数据的冗余程度和无关信息, 可以提高光谱土壤水分检测模型的精度, 优化预测模型的性能。 常见的光谱特征波段选择方法如表2所示。

表2

Table 2

表2(Table 2)

表2 特征提取算法的对比分析 Table 2 Comparative analysis of feature extraction algorithms 方法 特点 适用范围 参考文献 包络线消除法 (continuum-removal, C-R) 具有降低非目标光谱数据影响, 扩大水分吸收特征信息的优势 适用于单一敏感波段特征提取 主成分分析 (principal component analysis, PCA) 将众多且较强相关性的光谱数据转化为维数较少的特征信息 适用于多因素的光谱特征提取, 使其主要的特征信息保留 [25] 遗传算法 (genetic algorithm, GA) 具有全局搜索手段和的可拓展性 多与机器学习结合提取信息

表2 特征提取算法的对比分析 Table 2 Comparative analysis of feature extraction algorithms

(1)包络线消除法(C-R)。 以包络线作为背景, 去掉包络线, 即可有效突出单个感兴趣的光谱吸收特征。 有研究发现土壤光谱曲线一般情况下差异不大, 利用C-R算法可以突出土壤光谱中某一具体光谱特征, 例如土壤水分, 并确定土壤水分最为敏感的波段为1 481和1 616 nm, 为精确建模奠定了基础。

(2)主成分分析法(PCA)。 通过正交变换将存在相关性的光谱信息转换为线性不相关的特征信息。 该算法不破坏原始的光谱信息, 适用于对大规模数据的处理, 提取所需光谱信息, 例如Morellos等^[25]基于PCA算法可以准确提取大样本土壤光谱中水分敏感信息, 减少其他因素对水分敏感波段的影响。

(3)遗传算法(GA)。 GA算法通过模仿自然界的遗传机理来寻找最优信息的全局优化算法。 虽然通过牺牲效率来保证精度, 但其具有可拓展性、 易与其他算法结合等优点。 有研究利用GA算法提取归一化水体指数, 效果较好; 将优化遗传算法与连续投影算法结合, 达到了较好的效果。

光谱技术改进了特定的农业特征的模型, 极大地提升了土壤水分含量检测的精度和效率, 使有效评估农业特性方面得到了显著增强。 目前利用土壤光谱特性建立土壤水分检测模型的方法主要分为一元线性模型、 多元线性模型和其他非线性模型。 线性模型高效简便且精度较高, 非线性模型较为复杂但是具有更好的泛化性能^{[29, 32]}。 常见的光谱建模算法如表3所示。

表3

Table 3

表3(Table 3)

表3 光谱建模方法的特点分析 Table 3 Characteristic analysis of spectral modeling methods 类型 建模方法 土壤类型 模型精度测试集 参考文献 一元线性 一元线性y=1.271x-0.015 1 浙江省红壤 验证集r=0.966 5, RMSE=0.012 1 一元线性y=17.706-2.167x 北京郊区褐土 建模集R2=0.935, 验证集R2=0.936 多元线性 多元线性模型 (multiple regression analysis, MRA) 新疆干旱区土壤 多种线性模型, 建模集 最高精度可达R2=0.963 偏最小二乘 (partial least-square method, PLS) 银川地区半干旱土壤 R2=0.976 非线性 支持向量机 (support vector machine, SVM) 新疆绿洲干旱区土壤 建模集R2=0.86, RMSE=4.16 验证集R2=0.92, RMSE=2.83 [30] 高斯核函数支持向量机 德国半湿润性黏土 建模集R2=0.983, RMSEP=0.457 [25] 多关联向量机 (relevance vector machines, RVM) 犹他州半干旱土壤 Bubble验证集RMSE=0.06 Laplace验证集RMSE=0.08 Cauchy验证集RMSE=0.10 [31] 卷积神经网络 (convolutional neural networks, CNN) 江苏句容市湿润黏土 建模集R2=0.968, RMSE=0.57 验证R2=0.956, RMSE=0.804

表3 光谱建模方法的特点分析 Table 3 Characteristic analysis of spectral modeling methods

(1)一元线性模型。 自20世纪70年代, Bowers等^[33]研究发现土壤水分和光谱特征有显著相关性并建立土壤水分检测模型, 光谱土壤水分检测技术正式进入到应用阶段。 有研究基于特定单一波段已建立指数、 倒数、 对数等大量一元模型。 一元模型面向单一波长, 建模流程简单且精确性较高, 但不具有普遍性^{[34, 35]}, 仅适用于特定的区域和时间, 不适合进行大区域统一的土壤水分检测。

(2)多元线性模型。 多元线性模型在一元模型的基础上考虑数个光谱水分敏感波段或加入其他外界因素对土壤水分的影响, 有研究采用1 481和1 616 nm等多个波段与土壤水分含量的关系建立多元线性回归模型; 有报道在多光谱的基础上增添了气候地形植被等外界影响因子, 大大提高模型的精度和适用范围。 用少量的关键参数可以有效地建立土壤水分模型, 高效简便, 适用性相比于一元线性模型有很大的提高。

(3)非线性模型。 土壤水分含量与光谱特征曲线有着极大的相关性, 然而二者并不是理想的线性关系, 使用线性模型进行预测无法达到预期的效果, 非线性模型可以更好地反映土壤水分含量与特征曲线的关系。 目前土壤水分含量检测的非线性建模主要有机器学习和人工神经网络两种建模方法。

向量机目前被广泛应用于光谱建模的领域。 Morellos等^{[25, 33]}通过对比在不同核函数支持向量机(SVM)的效果, 选择高斯核函数, 得到了精度较高的检测模型, 然而传统的SVM无法适用于大样本数据的训练。 随着光谱数据的海量化, 为得到更好的检测速率和模型性能, 国内外研究者开始使用相关向量机(RVM)对光谱数据进行建模。 RVM具有接近于SVM的精度, 但其速度更快, 更加适合处理大量数据, 因此Alfonso等^[31]基于美国犹他州大区域的海量光谱数据建立了RVM非线性土壤水分检测模型。

人工神经网络通过模仿人类的中枢神经系统, 可以通过外界的数据改变内部结构, 具有很强的自学习和自适应能力, 在非线性模型上取得较好的效果, 是目前土壤水分检测模型研究的最前沿问题。 该方法简化了土壤光谱数据的预处理要求, 考虑所有的外界影响因子及时空信息, 有效地提取所需波段, 且泛化能力强, 模型精度高。 例如Hassan-Esfahani等^{[32, 36]}利用不同的人工神经网络(BP, RBF和CNN等), 将气候、 环境和时间等影响因子和土壤光谱数据作为输入量, 建立多层网络模型, 因此这些模型在不同天气情况、 尺度、 时间及地区的土壤水分检测中有较优良的性能。