土壤As含量光谱指数反演方法评估

引用本文

宁京, 邹滨, 涂宇龙, 张霞, 王玉龙, 田容才. 土壤As含量光谱指数反演方法评估[J]. 光谱学与光谱分析, 2024,44(5): 1472-1481.
NING Jing, ZOU Bin, TU Yu-long, ZHANG Xia, WANG Yu-long, TIAN Rong-cai. Evaluation of Soil As Concentration Estimation Method Based on Spectral Indices[J]. Spectroscopy and Spectral Analysis, 2024,44(5): 1472-1481.
Doi:10.3964/j.issn.1000-0593(2024)05-1472-10 复制到剪切板

Permissions

《光谱学与光谱分析》期刊社所有

土壤As含量光谱指数反演方法评估

宁京^1,², 邹滨^1,^2,^*, 涂宇龙^1,², 张霞³, 王玉龙^1,², 田容才^1,²

1.中南大学地球科学与信息物理学院, 湖南长沙 410083

2.中南大学有色金属成矿预测与地质环境监测教育部重点实验室, 湖南长沙 410083

3.中国科学院遥感与数字地球研究所, 北京 100101

*通讯作者 e-mail: 210010@csu.edu.cn

作者简介: 宁京, 女, 1997年生, 中南大学地球科学与信息物理学院硕士研究生 e-mail: 1585034215@qq.com

收稿日期: 2022-09-21 修订日期: 2023-04-12

基金: 国家重点研发计划项目(2020YFC1909201), 湖南省自然科学基金项目(2020JJ4700)资助

摘要

为探究基于光谱指数反演土壤砷(As)含量的有效性和适用性, 选取河北省保定市某农田为研究区, 利用PSR-3500便携式地物光谱仪和电感耦合等离子发射光谱法测定42个土壤样品实验室及野外原位光谱信号和As含量; 基于实验室光谱、野外原位光谱及野外原位-直接标准化校正(DS)光谱, 计算叶绿素指数(CI)、差值指数(DI)、和值指数(SI)、比值指数(RI)和简化归一化指数(NDI和NPDI), 采用相关性分析提取强相关光谱指数参与土壤As含量随机森林回归建模。在此基础上, 通过与相同光谱环境全波段建模方法的精度对比评估光谱指数的有效性; 对比不同光谱环境中各类光谱指数建模精度的稳定性以评估其适用性; 结合典型土壤组分的吸收特征波段尝试解析光谱指数提升土壤As含量反演性能的内在机制。结果表明: (1)相较于全波段建模, 光谱指数法在“实验室光谱、野外原位光谱、野外原位-DS光谱”三种光谱环境中均能有效提升土壤As含量反演建模精度,$R_{p}^{2}$和RPD分别从0.243和1.2提升至0.730和2.009、 0.264和1.213提升至0.669和1.809、 0.334和1.279提升至0.678和1.841; (2)三种光谱环境中, DI、 RI、 NDI在野外原位光谱、 SI和NPDI在野外原位-DS光谱环境中的适用性较差, CI综合适用性最强, $R_{p}^{2}$>0.66, RPD>1.8; (3)指数特征波段表现出与铁氧化物、粘土矿物和有机物吸收特征的相关性, 但部分指数特征波段缺乏可解释性, 无法揭示指数计算通过组合波段放大有效信息和消除噪声的统一规律。该研究可为后续发展基于光谱指数的土壤重金属遥感反演应用甚至卫星有效载荷研制中的波段设计提供科学依据。

关键词: 土壤重金属; 光谱指数; 高光谱; 随机森林; 遥感反演

中图分类号:TP97 文献标志码:A

Evaluation of Soil As Concentration Estimation Method Based on Spectral Indices

NING Jing^1,², ZOU Bin^1,^2,^*, TU Yu-long^1,², ZHANG Xia³, WANG Yu-long^1,², TIAN Rong-cai^1,²

1. School of Geosciences and Info-physics, Central South University, Changsha 410083, China

2. Key Laboratory of Metallogenic Prediction of Nonferrous Metals and Geological Environment Monitoring, Ministry of Education, Central South University, Changsha 410083, China

3. State Key Laboratory of Remote Sensing Science, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100101, China

*Corresponding author

Abstract

To explore the validity and applicability of the estimation of soil arsenic (As) content based on spectral indices, 42 soil samples were collected from a farmland in Hebei Province, China. The reflectance spectra and As content were respectively determined by using a PSR-3500 portable ground spectrometer and Inductively Coupled Plasma Atomic Emission Spectrometry. The chlorophyll index (CI), difference index (DI), sum index (SI), ratio index (RI) and simple normalized difference spectral indices (NDI and NPDI) were calculated based onlaboratory spectra, field spectra, and the direct standardization (DS) transferred field spectra. Random forest regression (RFR) models were used to estimate the soil As values using the strongly correlated spectral indices, and indices were evaluated according to the modeling accuracy. Compared with thecharacteristic absorption bands of typical soil components, the internal mechanism of spectral indices improving the inversion accuracy of soil As content was analyzed. The results show that the spectral indices method significantly enhances the correlation between spectra data and As content by combining some low-correlation band information. When compared with the full-band RFR model, the spectral indices method increased the $R_{p}^{2}$ and RPD from 0.243 and 1.2 to 0.730 and 2.009, 0.264 and 1.213 to 0.669 and 1.809, 0.334 and 1.279 to 0.678 and 1.841 in the lab spectra, field spectra, and field-DS spectra respectively, and CI has the best comprehensive performance ($R_{p}^{2}$>0.66 and RPD>1.8). However, some of the exponential characteristic bands of the optimal spectra indices lack interpretability and cannot reveal the band combination rules for exponentially amplifying effective information and eliminating noise. The research results can provide a scientific basis for estimating heavy-metal contamination in soil using remote sensing spectroscopy based on spectral indices and even the band design of satellite payloads.

Keyword: Soil heavy metals; Spectral indices; Hyperspectral; RFR; Remote sensing inversion

文章图片

引言

砷(As)污染土壤是人体食物链As富集的主要源头, 农用地土壤存在的As累积现象使得土壤As污染监测问题不容忽视。传统土壤As监测方法主要是对野外采集的土壤样品开展实验室化学分析测定其含量, 精度高但耗时费力。相比, 新兴高光谱遥感技术具有非接触方式高效、低成本探测目标物体的优势, 近年已逐渐被应用至土壤重金属污染监测领域^{[1, 2, 3]}。基于全波段构建的经验统计模型是目前土壤重金属遥感反演应用中的主要方法之一, 然而由于高光谱遥感数据具有波段连续、光谱分辨率高的特点, 存在多重共线性、相互吸收重叠和信息冗余等问题, 全波段反演模型的预测能力受到影响^{[4, 5]}。

光谱指数在遥感领域中常用于表征如植被生长状况、生物量、土壤组分含量等物理研究参数, 其通过对两个或多个波段的光谱反射率数值进行线性或非线性组合运算, 放大波段之间的微弱关联信息, 消除部分大气环境相关的辐射误差, 能增强或揭示隐含有效光谱特征^[4]。在土壤重金属含量遥感反演研究领域中, 目前已有学者构建了差值指数(difference index, DI)、和值指数(sum index, SI)、比值指数(ratio index, RI)和简化归一化指数(simple normalized difference spectral indices, NDI和NPDI)等双波段光谱指数和基于上述指数构建的三波段指数, 采用多元线性回归、偏最小二乘回归和随机森林回归等算法进行土壤Ni、 Hg、 Cd、 Zn、 Pb、 Cr、 Cu和As等含量反演建模, 其中随机森林建模精度表现良好^{[6, 7, 8, 9]}。

然而已有研究仅基于测量环境可控的实验室光谱构建光谱指数, 能否成功应用于野外实际场景采集的野外原位光谱土壤重金属反演尚缺乏验证和讨论。直接标准化校正(direct standardization, DS)转换算法通过关联实验室和野外原位光谱数据, 能有效减少野外环境噪声对光谱产生的影响, 实现野外原位光谱数据校正^[10], 因而光谱指数应用至野外原位-DS光谱的建模效果值得探究。在此背景下, 本研究基于实验室、野外原位及野外原位-DS光谱计算叶绿素指数(chlorophyll index, CI)、 DI、 RI、 SI、 NDI和NPDI, 选择强相关指数作为自变量参与土壤As含量随机森林反演, 并对比全波段建模结果精度讨论各类指数在不同光谱环境中反演土壤As含量的有效性与适用性, 分析指数涉及的特征波段以进一步探究指数放大有效信息和消除噪声的规律。

1 实验部分

1.1 土样采集与化验

样品采集于2017年9月河北省保定市某一农田。采样前, 清除采样点周边平整区域表面的石块和草木, 采样过程中, 使用手持GPS测量仪记录采样点的WGS84框架下经纬度坐标, 采用铁锹以五点采样法收集表层(0~20 cm)土壤样品42个(见图1), 按编号用布袋分装取回。土样经风干、研磨和过100目尼龙筛处理后, 采用盐酸、硝酸和高氯酸混合酸消解, 使用电感耦合等离子发射光谱法(USEPA 6010C: 2007)测定土壤As含量。

	Figure Option View Download New Window
	图1 研究区采样点位置Fig.1 Location of sampling points in the study area

经化验分析, 土壤样本平均pH值为8.17, 整体呈弱碱性; As含量最低为3.77 mg· kg^-1, 最大值为13.86 mg· kg^-1, As浓度平均值为8.85 mg· kg^-1, 小于农用地风险筛查值标准, 表明研究区土样整体As含量较低; As浓度标准差和变异系数分别为2.70和30.51%, 表明研究区土样As含量分布呈弱变异性。土样As含量偏度系数和峰度都小于1, 且经过雅克-贝拉检验(Jarque-Bera test), 土壤As含量数据符合显著水平0.05下的正态分布, 适用于统计分析建模。

1.2 土样光谱测定与数据处理

使用PSR-3500便携式地物光谱仪分别在野外采样过程和实验室环境中完成土样的野外原位和实验室全波段(350~2 500 nm)光谱反射率测量。光谱数据处理包括光谱数据预处理和野外原位光谱数据DS转换校正。光谱预处理包括: 剔除实验室光谱曲线异常的样品3个, 避免异常样品数据造成干扰; 去除野外原位光谱数据信噪较低的波段区间1 800~1 960和2 400~2 500 nm, 以减少水汽吸收等测量环境产生的随机噪声。野外原位光谱DS转换校正中对实验室光谱反射率数据进行相同处理, 以保证转换过程中的波长范围一致。将光谱波段内插至1 nm等间隔以增加后续光谱指数覆盖的波段组合方式, 充分挖掘光谱波段中的丰富信息。选择Savitzky-Golay卷积平滑去噪, 设置三阶多项式, 移动窗口宽度11进行多项式最小二乘拟合, 以降低光谱测量环境和仪器产生的随机噪声影响; 通过光谱一阶微分变换, 消除因仪器背景或基线漂移产生的系统误差; 通过多元散射校正, 消除土样颗粒分布不均匀和粒径不同大小造成的线性散射干扰。

野外原位光谱DS转换的原理是建立实验室光谱X_lab与野外原位光谱X_field的转换关系

$X_{lab} = X_{field} B + λ {d^{T}}_{s}$ (1)

式(1)中, B是转换矩阵; λ 是单位列向量; $d_{s}^{T}$ 是实验室和野外原位光谱间的基线差异矩阵。

对式(1)进行中心化处理后, 可得转换矩阵

$B = {\overset{̅}{X}}_{field}^{+} {\overset{̅}{X}}_{lab}$ (2)

式(2)中, ${\overset{̅}{X}}_{lab}$ 和 ${\overset{̅}{X}}_{field}$ 分别为中心化后的实验室和野外原位光谱数据矩阵; +代表Moore-Penrose广义逆矩阵, 可以通过奇异值分解计算得到。

将式(2)代入式(1), 则可得

$d_{s} = {x^{T}}_{lab} - B^{T} {x^{T}}_{field}$ (3)

式(3)中, $x_{lab}^{T}$ 和 $x_{field}^{T}$ 分别为由X_lab和X_field每列元素的平均值组成的行向量。

则校正后的野外原位光谱可表示为

$\begin{array}{l} X_{fieldDS} = X_{field} B + λ {d^{T}}_{s} = X_{field} {\overset{̅}{X}}_{field}^{+} X_{lab} + \\ λ (X_{lab} - X_{field} {\overset{̅}{X}}_{field}^{+} {\overset{̅}{X}}_{lab}) \end{array}$ (4)

野外原位光谱DS转换过程基于Kennard-Stone(KS)算法确定最佳转换样本集, 具体实现过程如下: ①选择欧氏距离最大的两样本光谱作为初始转换集, 计算野外原位DS转换光谱反射率[式(4)]; ②计算光谱相似系数F作为评价因子检验光谱转换效果[式(5)]; ③选择剩余样本中到现有转换集样本的距离最大的样本, 作为新加入的转换集样本; ④循环步骤②③, 直至转换集样本数量到达总样本数, 根据F值确定最佳转换样本集, 得到最终的野外原位-DS光谱。

$F = \frac{n \overset{n}{\sum_{i = 1}} x_{L} x_{F} - \overset{n}{\sum_{i = 1}} x_{L} \overset{n}{\sum_{i = 1}} x_{F}}{\sqrt[]{[n \overset{n}{\sum_{i = 1}} x_{L}^{2} - {(\overset{n}{\sum_{i = 1}} x_{L})}^{2}] [n \overset{n}{\sum_{i = 1}} x_{F}^{2} - {(\overset{n}{\sum_{i = 1}} x_{F})}^{2}]}}$ (5)

式(5)中, x_L和x_F分别为在波段i处的室内外光谱反射率值; n为波段数; F值越趋近于1, 则说明两条光谱曲线的拟合程度越好, 曲线相似度越高。

1.3 光谱指数计算与筛选

指数的计算方法如表1所示, DI、 RI、 SI和NDI指数以典型的光谱指数构造方式, 即差值、比值、和值和归一化等线性或非线性方式拉伸波段间的光谱反射特征差异, 可消除太阳高度角、地形、仪器标定误差等的影响, 被广泛应用作植被指数和土壤指数^{[6, 11]}; CI能有效增强与叶绿素含量的线性关系, 被成功应用于叶绿素和土壤有机质含量反演^{[12, 13]}; NPDI被成功应用于土壤As含量反演^[14]。

表1 光谱指数计算方法 Table 1 Calculation methods of spectral indices

光谱指数	计算方法	参考文献
CI	CI= $(\frac{1}{R_{λ 2}} - \frac{1}{R_{λ 1}})$ R_λ₂	[12, 13]
DI	DI=R_λ₁-R_λ₂	[6]
SI	SI=R_λ₁+R_λ₂	[6]
RI	RI= $\frac{R_{λ 1}}{R_{λ 2}}$	[6]
NDI	NDI= $\frac{R_{λ 1} - R_{λ 2}}{R_{λ 1} + R_{λ 2}}$	[6, 11]
NPDI	NPDI=(R_λ₁+R_λ₂)R_λ₂	[14]

注: R_λ₁、 R_λ₂分别为波长在λ ₁和λ ₂处光谱的反射率

Note: R_λ₁ and R_λ₂ are the reflectances at wavelengths λ ₁ and λ ₂, respectively

表1 光谱指数计算方法 Table 1 Calculation methods of spectral indices

分别对实验室光谱、野外原位光谱和野外原位-DS光谱预处理后的各波段反射率进行两两组合, 计算上述光谱指数, 并将指数结果与土壤As含量做相关性分析; 为减少建模自变量以提高建模效率, 选择通过显著性检验(p< 0.001), 且|r|> 0.7(|r|> 0.7为强相关性)的指数作为自变量参与土壤As含量随机森林建模。

1.4 随机森林回归建模

随机森林算法属于机器学习的集成学习方法, 能有效处理高维样本数据, 具有抗噪能力强、异常值容忍度高、可解释性强的优点, 在土壤重金属光谱指数反演建模中表现良好^{[15, 16]}。以7∶ 3的比例随机选取训练集和验证集进行随机森林回归建模, 并经过多次试验选取保持模型误差稳定的ntree值为200。算法的主要步骤为: ①对训练集D={(x₁, y₁), (x₂, y₂), …, (x_m, y_m)}进行t(t=1, 2, 3, …, T)次随机采样, 得到包含m个样本的子训练集D_t; ②用子训练集D_t训练出决策树模型G_t(x), 将T棵决策树得到的回归结果取平均作为最终的预测结果。

随机森林算法完成回归建模后, 采用变量X_j的Gini重要性[式(6)和式(7)]作为重要性评价指标对建模变量进行排序, 根据变量重要性值分布取VI $M_{jm}^{(Gini)}$ 值排名前50的指数变量作为重要指数, 综合波段分布特征以带宽为5 nm绘制各类重要指数计算涉及波段的核密度分布曲线, 并以大于0.01的核密度峰值所处波段范围为指数特征波段。

$VI M_{j}^{(Gini)} = \frac{1}{n} \overset{n}{\sum_{i = 1}} \overset{M}{\sum_{m = 1}} VI M_{jm}^{(Gini)}$ (6)

$VI {M^{(Gini)}}_{jm} = G I_{m} - G I_{l} - G I_{r}$ (7)

式(6)和式(7)中, n为随机森林中回归树的数量; m为每棵树的节点数; M为变量X_j在第i棵树中出现蹬次数; VI $M_{jm}^{(Gini)}$ 为变量X_j在节点m的重要性; GI_m, GI_l和GI_r分别为节点m, 以及由节点m分裂的两新节点的Gini指数。

采用简单交叉验证检验模型性能, 均以模型判定系数(determination coefficients, R²)、均方根误差(root mean of squared error, RMSE)和相对分析误差(relative percent deviation, RPD)作为参数评价模型精度指标。其中R²和RPD值越大, RMSE值越小, 表明模型的预测效果越好。当RPD< 1.4, 模型无法对样本进行估测, 1.4< RPD< 2时, 模型可对样本进行粗略预估, RPD> 2时, 模型具有极好的样本预测能力。本工作于Matlab R2018b和RStudio4.1.2环境完成。

2 结果与讨论

2.1 全波段光谱与光谱指数特征分析

土壤样品全波段原始和预处理后的光谱曲线为图2所示。分析发现, 不同光谱环境中的原始光谱曲线总体形态特征相似, 400~2 000 nm整体呈上升趋势, 2 000~2 500 nm反射率缓慢下降, 其中在1 000 nm附近出现弱吸收峰, 为铁的氢氧化合物特征谱带, 在1 400、 1 900和2 200 nm附近出现明显的吸收带, 为土壤硅酸盐矿物中水分子羟基伸缩振动和Al—OH弯曲振动的合频谱带^[17]。经过预处理后的光谱曲线细节特征进一步突出, 在440、 560、 620、 650、 660、 710、 760、 990、 1 430和2 200 nm等处出现特征吸收峰, 有效分离了平行土壤背景光谱信息, 该波段范围与土壤中针铁矿、赤铁矿、羟基、高岭石和氨基等组分的吸收特征有关^[18]。结合样品As含量分析发现, 不同As含量水平样品的光谱原始曲线形态相似但反射率分布区间不同, 且在预处理光谱曲线中660、 760和990 nm处光谱特征峰的吸收深度存在明显差异, 可能与As吸附的不同含量的针铁矿物对土壤反射率大小的影响有关^[19]。

Figure Option
View Download New Window

图2 样本原始光谱及预处理光谱曲线
(a), (c), (e)分别为实验室、野外原位、野外原位-DS光谱原始曲线; (b), (d), (f)分别为实验室、野外原位、野外原位-DS光谱预处理光谱曲线Fig.2 The original and pretreatment spectra of samples
(a), (c), (e): The original spectra of laboratory, in-situ field and in-situ field-DS; (b), (d), (f): The pretreatment spectra of laboratory, in-situ field and in-situ field-DS

图3为参与随机森林建模的各类强相关光谱指数(p< 0.001, 且|r|> 0.7)的波段核密度曲线分布图。如图3, 同一指数组合计算的两个波段的核密度分布曲线在不同光谱环境中具有波段分布差异显著的特征峰, 而在相同光谱环境中的各类指数特征峰所处波段存在部分重合, 各类指数在实验室光谱中的550、 1 600、 1 800和2 200 nm, 野外原位光谱中的550~620和750~850 nm, 野外原位-DS光谱中的1 390~1 510、 1 600和2 100 nm等波段表现出强相关特征, 该系列波段与土壤中铁氧化物、粘土矿物和有机质等吸收特征相关^{[20, 21, 22]}。表2为实验室、野外原位、野外原位-DS光谱环境中相关性最强的光谱指数和波段及其对应的相关系数最大值(maximum absolute correlation coefficient, MACC)。分析发现, 相较全波段, 各类光谱指数与土壤As含量的线性关系显著增强, 实验室、野外原位、野外原位-DS光谱环境中MACC分别由0.642提升至0.820, 0.665提升至0.786, 0.645提升至0.832, 且强相关指数波段涉及的884、 836和1 497 nm与土壤As含量相关性较低, r分别为0.06, 0.01和0.23, 表明指数计算通过组合部分相关性较低的波段放大了土壤As的隐含有效光谱特征。究其原因, 土壤中的复杂组分存在重叠吸收且吸收特征波段不同, 各类指数的计算方式影响两波段信息的消长, 为消除背景干扰因素的影响, 指数计算的波段组合需综合考虑指数类型以及土壤各组分之间的复杂光谱吸收特征。

	Figure Option View Download New Window
	图3 实验室、野外原位、野外原位-DS光谱中强相关光谱指数的波段核密度曲线分布图 (a)—(f): CI, DI, RI, SI, NDI, NPDIFig.3 Kernel density curves of bands with strong correlation spectral indices in laboratory, in-situ field and in-situ field-DS spectra (a)—(f): CI, DI, RI, SI, NDI, NPDI

表2 实验室、野外原位和野外原位-DS光谱下相关性最强的光谱指数和波段 Table 2 The most correlated spectral indices and bands in laboratory, in-situ field and in-situ field-DS spectra

2.2 土壤As含量随机森林反演模型精度对比

表3为采用光谱指数与预处理后的全波段光谱进行土壤As含量随机森林反演的建模精度。对比分析建模精度结果可知, 相较于全波段光谱建模精度, 通过光谱指数方法反演建模的精度皆得到大幅度提升: $R_{p}^{2}$ 和RPD分别从0.243和1.2提升至0.730和2.009(实验室光谱); 从0.264和1.213提升至0.669和1.809(野外原位光谱); 从0.334和1.279提升至0.678和1.841(野外原位-DS光谱)。其中全波段光谱建模可能由于训练样本较少导致验证集精度表现不理想^[23], 然而在训练样本相同的情况下, 光谱指数方法通过指数计算有效消除和压缩部分干扰信息, 提高对土壤As的解释预测能力, 体现了光谱指数方法的有效性。同时比较不同指数建模精度并按 $R_{p}^{2}$ 值将指数降序排序, 实验室光谱中NDI> CI> NPDI> SI> RI> DI, 野外原位光谱中CI> SI> NPDI> RI> DI> NDI, 野外原位-DS光谱中CI> DI> NDI> SI> NPDI> RI。除DI在野外原位-DS光谱中表现最佳, 其余指数(CI、 SI、 RI、 NDI和NPDI)皆在实验室光谱环境中建模精度最高, DI、 RI、 NDI在野外原位光谱中适用性较差, SI和NPDI在野外原位-DS光谱中适用性较差, CI综合适用性最强, $R_{p}^{2}$ > 0.66, RPD> 1.8。该结果表明各类指数在不同光谱环境下的适用性不同, 究其原因, 不同光谱指数的波段计算组合方式不同, 产生的敏感波段各异, 由于不同光谱环境下采集的光谱数据的整体质量水平存在差异, 使得光谱数据在其敏感波段的质量进一步影响光谱指数所包含的有效信息的接受度, 最终影响建模精度。

表3 光谱指数与全波段土壤As含量随机森林反演建模精度 Table 3 Modeling accuracies of soil As content random forest inversions based on spectral indices and entire spectra

	精度指标	CI	DI	RI	SI	NDI	NPDI	全波段
	RMSE_c	1.520	1.432	1.329	1.652	1.575	1.724	1.472
	$R_{c}^{2}$	0.946	0.939	0.945	0.936	0.941	0.925	0.879
实验室光谱	RMSE_p	1.335	1.873	1.955	1.539	1.322	1.554	1.279
	$R_{p}^{2}$	0.730	0.640	0.663	0.641	0.732	0.688	0.243
	RPD	2.009	1.741	1.800	1.744	2.017	1.869	1.200
	RMSE_c	1.729	1.950	1.598	1.912	1.635	1.875	2.048
	$R_{c}^{2}$	0.930	0.928	0.921	0.920	0.941	0.904	0.898
野外原位光谱	RMSE_p	1.452	1.612	1.951	1.623	1.844	1.793	2.336
	$R_{p}^{2}$	0.669	0.483	0.663	0.513	0.472	0.611	0.264
	RPD	1.809	1.448	1.793	1.491	1.433	1.669	1.213
	RMSE_c	1.432	1.732	1.468	1.678	1.507	1.584	2.421
	$R_{c}^{2}$	0.949	0.926	0.956	0.934	0.941	0.942	0.890
野外原位-DS光谱	RMSE_p	1.489	1.479	1.479	1.489	1.755	1.697	1.669
	$R_{p}^{2}$	0.678	0.671	0.619	0.541	0.661	0.602	0.334
	RPD	1.841	1.822	1.691	1.542	1.793	1.655	1.279

表3 光谱指数与全波段土壤As含量随机森林反演建模精度 Table 3 Modeling accuracies of soil As content random forest inversions based on spectral indices and entire spectra

图4为建模精度较优的土壤As随机森林建模散点图。训练集和校正集较为紧密地分布于1∶ 1线附近, 训练集基本位于95%的置信区间内, 表明模型性能较为稳定。相较于实验室光谱模型, 野外原位光谱和野外原位-DS光谱模型中校正集与拟合线偏移量较大, 使得 $R_{p}^{2}$ 减小, 可能来自于野外原位光谱测量过程中土壤湿度、土壤表面粗糙度及大气温度等环境干扰因素的影响, 而经过DS转换后环境干扰因素影响被削弱, 从而提升了模型预测精度。

Figure Option
View Download New Window

图4 建模效果最佳的土壤As随机森林回归模型散点图
(a): 实验室光谱NDI-RF模型; (b): 实验室光谱CI-RF模型; (c): 野外原位光谱CI-RF模型; (d): 野外原位-DS光谱CI-RF模型Fig.4 Scatter plots of soil As random forest regression models with the best modeling accuracy
(a): Laboratory spectral NDI-RF model; (b): Laboratory spectral CI-RF model; (c): In-situ field spectral CI-RF model; (d): In-situ field-DS spectral CI-RF model

2.3 光谱指数特征波段分析

铁氧化物、粘土矿物和有机物是影响土壤光谱反射特征的主要组分, 且与土壤中As的赋存形态密切相关^[24], 通过对比分析指数特征波段关联的土壤组分进一步探究指数放大有效信息和消除噪声的规律。图5为土壤As含量预测效果较优的CI和NDI的重要指数波段核密度分布图及土壤铁氧化物、粘土矿物和有机物的吸收波段覆盖范围, 表4为分布密度大于0.01的特征峰关联的土壤组分分析结果。如图5和表4所示, 实验室光谱中NDI和CI在870~885 nm表现出明显的波段特征, 为Fe³⁺、赤铁矿、烷基的吸收带, 此外CI在1 405~1 415和1 810~1 815 nm分布集中, 为—OH和高岭石的吸收带。野外原位光谱中CI在425~430, 475~480, 605~620和1 145~1 150 nm表现出Fe²⁺、 Fe³⁺、 Fe₂O₃、针铁矿和赤铁矿等铁氧化物的光谱吸收特征。野外原位-DS光谱中CI在1 395~1 400, 1 740~1 755和2 060~2 075 nm分别表现了—OH等粘土矿物、烷基和氨基等有机物的吸收特征。分析上述结果可以发现, 虽然指数特征波段表现出与铁氧化物、粘土矿物和有机物吸收特征的相关性, 但部分指数特征波段缺乏解释性, 且随着数据采集环境和数据处理方法的不同, CI体现的指数特征波段也有所变化, 无法揭示指数计算通过组合波段放大有效信息和消除噪声的统一规律。究其原因, 目前土壤组分光谱响应机理不明且吸收特征波段先验知识尚不统一, 可能使得分析过程中指数部分特征波段没有被凸显, 同时光谱数据采集环境和数据处理方法也对光谱数据所包含的光谱特征产生影响, 因而指数方法的改进关键是进一步加强土壤光谱响应机理研究。

Figure Option
View Download New Window

图5 CI和NDI重要指数的波段核密度曲线分布图及各土壤组分的吸收波段覆盖范围^{[19, 25, 26, 27]}
蓝色、橙色和绿色标识分别代表铁氧化物、粘土矿物和有机物Fig.5 Kernel density distributions of bands with CI and NDI important indices and the ranges of absorption bands of each soil component
Blue, orange and green represent iron oxides, clay minerals and organic matter, respectively

表4 CI和NDI特征波段所关联的土壤组分分析结果^{[19, 25, 26, 27]} Table 4 Analysis results of soil components associated with CI and NDI characteristic bands

3 结论

针对光谱指数方法应用于野外原位光谱和野外原位-DS光谱土壤重金属反演尚缺乏验证和讨论, 本研究开展了CI、 DI、 RI、 SI、 NDI和NPDI应用于实验室、野外原位及野外原位-DS光谱中土壤As随机森林回归建模研究, 通过对比全波段光谱建模结果实证了光谱指数应用于土壤As含量反演建模的有效性, 并讨论了各类指数在不同光谱环境中的适用性, 尝试探讨了指数方法增强或揭示隐含有效光谱特征的波段组合规律。研究发现, 光谱指数方法通过组合部分相关性较低的波段放大了土壤As的隐含有效光谱特征, 显著增强了与土壤As含量的线性关系; 光谱指数方法能有效提升土壤As含量反演建模精度, 其中CI指数在“ 实验室、野外原位及野外原位-DS光谱” 中综合表现最佳, $R_{p}^{2}$ > 0.66, RPD> 1.8, 但随着数据采集环境和数据处理方法的不同, 光谱指数特征波段也有所变化, 无法揭示指数通过组合计算波段放大有效信息和消除噪声的统一规律。因而进一步深入探究土壤重金属光谱响应机理, 基于重金属污染土壤的类标准化样品建立土壤光谱响应先验知识库, 综合考虑土壤重金属赋存所涉及的土壤组分及光谱响应特征进行指数构造是光谱指数方法改进待突破的方向。同时本研究指数方法评估仅在特定区域下进行了探究, 考虑土壤类型对模型精度的影响, 未来工作可对指数方法在不同区域土壤类型场景下进一步检验和探索。

参考文献

文献列表

[1]	Wu Y, Chen J, Wu X, et al. Applied Geochemistry, 2005, 20(6): 1051. [本文引用:1]
[2]	Zhang B, Guo B, Zou B, et al. Environmental Pollution, 2022, 300: 118981. [本文引用:1]
[3]	Guo B, Zhang B, Su Y, et al. Scientific Reports, 2021, 11(1): 19909. [本文引用:1]
[4]	Zou B, Jiang X, Feng H, et al. Science of The Total Environment 2020, 701: 34890. [本文引用:2]
[5]	Elkholy M M, Mostafa M S, Ebeid H M, et al. International Journal of Image and Data Fusion, 2022, 13(3): 244. [本文引用:1]
[6]	Han C, Lu J, Chen S, et al. Sustainability, 2021, 13(21): 12088. [本文引用:2]
[7]	Hong Y, Shen R, Cheng H, et al. Geoderma, 2019, 354: 113875. [本文引用:1]
[8]	Fu P J, Yang K M, Meng F, et al. Process Safety and Environmental Protection. 2022, 157: 27. [本文引用:1]
[9]	Lc A, Jian L B, Ktcd E, et al. Science of The Total Environment, 2021, 813: 151882. [本文引用:1]
[10]	ZOU Bin, TU Yu-long, JIANG Xiao-lu, et al(邹滨, 涂宇龙, 姜晓璐, 等). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2019, 39(10): 3223. [本文引用:1]
[11]	Du H S, Jiang H L, Zhang L F, et al. Chinese Geographical Science, 2016, 26(6): 731. [本文引用:1]
[12]	KASIM Nigati, SAWUT Rukeya, SHI Qing-dong(尼加提·卡斯木, 茹克亚·萨吾提, 师庆东). Transactions of the Chinese Society for Agricultural Machinery(农业机械学报), 2018, 49(11): 9. [本文引用:1]
[13]	Gitelson A A, Gritz Y, Merzlyak M N. Journal of Plant Physiology, 2003, 160(3): 271. [本文引用:1]
[14]	Sawut R, Kasim N, Abliz A, et al. International Journal of Applied Earth Observation and Geoinformation, 2018, 73: 14. [本文引用:1]
[15]	Tan K, Wang HM, Chen LH, et al. Journal of Hazardous Materials, 2020, 382: 120987. [本文引用:1]
[16]	Ben A A, Jarray N. International Journal of Image and Data Fusion, 2023, 14: 1(doi: DOI:10.1080/19479832.2022.2106317). [本文引用:1]
[17]	Zhou M, Zou B, Tu Y L, et al. Geocarto International, 2022, 37(26): 13248. [本文引用:1]
[18]	Viscarra R R A, Bui E N, De C P, et al. Journal of Geophysical Research: Earth Surface, 2010, 115: F04031. [本文引用:1]
[19]	Wu Y, Chen J, Ji J, et al. Soil Science Society of America Journal, 2007, 71(3): 918. [本文引用:1]
[20]	Zhou W, Yang H, Xie L, et al. Catena, 2021, 202: 105222. [本文引用:1]
[21]	Rossel R A V, Behrens T. Geoderma, 2010, 158(1-2): 46. [本文引用:1]
[22]	GUO Bin, BAI Hao-rui, ZHANG Bo, et al(郭斌, 白昊睿, 张波, 等). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报), 2022, 38(10): 138. [本文引用:1]
[23]	Ministry of Environmental Protection(环境保护部). National Catalogue of Pollutant Environmental Health Risk List, Chemestry Volume 1(国家污染物环境健康风险名录, 化学第一分册). Beijing: China Environmental Publishing Group Co. Ltd. (北京: 中国环境出版集团), 2009. [本文引用:1]
[24]	Hauff P. An Uverview of VIS-NIR-SWIR Field Spectroscopy as Applied to Precious Metals Exploration. Colorado: Spectral International Inc, 2008. [本文引用:1]
[25]	Obukhov A I, Orlov D S. Soviet Soil Science, 1964, 2(2): 174. [本文引用:1]
[26]	Wickersheim K A, Lefever R A. The Journal of Chemical Physics, 1962, 36(3): 844. [本文引用:1]

2005

0.0

... 相比, 新兴高光谱遥感技术具有非接触方式高效、低成本探测目标物体的优势, 近年已逐渐被应用至土壤重金属污染监测领域^[1,2,3] ...

2022

0.0

... 相比, 新兴高光谱遥感技术具有非接触方式高效、低成本探测目标物体的优势, 近年已逐渐被应用至土壤重金属污染监测领域^[1,2,3] ...

2021

0.0

... 相比, 新兴高光谱遥感技术具有非接触方式高效、低成本探测目标物体的优势, 近年已逐渐被应用至土壤重金属污染监测领域^[1,2,3] ...

2020

0.0

... 基于全波段构建的经验统计模型是目前土壤重金属遥感反演应用中的主要方法之一, 然而由于高光谱遥感数据具有波段连续、光谱分辨率高的特点, 存在多重共线性、相互吸收重叠和信息冗余等问题, 全波段反演模型的预测能力受到影响^[4,5] ...

... 光谱指数在遥感领域中常用于表征如植被生长状况、生物量、土壤组分含量等物理研究参数, 其通过对两个或多个波段的光谱反射率数值进行线性或非线性组合运算, 放大波段之间的微弱关联信息, 消除部分大气环境相关的辐射误差, 能增强或揭示隐含有效光谱特征^[4] ...

2022

0.0

2021

0.0

... 在土壤重金属含量遥感反演研究领域中, 目前已有学者构建了差值指数(difference index, DI)、和值指数(sum index, SI)、比值指数(ratio index, RI)和简化归一化指数(simple normalized difference spectral indices, NDI和NPDI)等双波段光谱指数和基于上述指数构建的三波段指数, 采用多元线性回归、偏最小二乘回归和随机森林回归等算法进行土壤Ni、 Hg、 Cd、 Zn、 Pb、 Cr、 Cu和As等含量反演建模, 其中随机森林建模精度表现良好^[6,7,8,9] ...

... 3 光谱指数计算与筛选指数的计算方法如表1所示, DI、 RI、 SI和NDI指数以典型的光谱指数构造方式, 即差值、比值、和值和归一化等线性或非线性方式拉伸波段间的光谱反射特征差异, 可消除太阳高度角、地形、仪器标定误差等的影响, 被广泛应用作植被指数和土壤指数^{[6, 11]} ...

2019

0.0

2022

0.0

2021

0.0

2019

0.0

... 直接标准化校正(direct standardization, DS)转换算法通过关联实验室和野外原位光谱数据, 能有效减少野外环境噪声对光谱产生的影响, 实现野外原位光谱数据校正^[10], 因而光谱指数应用至野外原位-DS光谱的建模效果值得探究 ...

2016

0.0

2018

0.0

... CI能有效增强与叶绿素含量的线性关系, 被成功应用于叶绿素和土壤有机质含量反演^[12,13] ...

2003

0.0

... CI能有效增强与叶绿素含量的线性关系, 被成功应用于叶绿素和土壤有机质含量反演^[12,13] ...

2018

0.0

... NPDI被成功应用于土壤As含量反演^[14] ...

2020

0.0

... 4 随机森林回归建模随机森林算法属于机器学习的集成学习方法, 能有效处理高维样本数据, 具有抗噪能力强、异常值容忍度高、可解释性强的优点, 在土壤重金属光谱指数反演建模中表现良好^[15,16] ...

2023

0.0

2022

0.0

... OH弯曲振动的合频谱带^[17] ...

2010

0.0

... 经过预处理后的光谱曲线细节特征进一步突出, 在440、 560、 620、 650、 660、 710、 760、 990、 1 430和2 200 nm等处出现特征吸收峰, 有效分离了平行土壤背景光谱信息, 该波段范围与土壤中针铁矿、赤铁矿、羟基、高岭石和氨基等组分的吸收特征有关^[18] ...

2007

0.0

... 结合样品As含量分析发现, 不同As含量水平样品的光谱原始曲线形态相似但反射率分布区间不同, 且在预处理光谱曲线中660、 760和990 nm处光谱特征峰的吸收深度存在明显差异, 可能与As吸附的不同含量的针铁矿物对土壤反射率大小的影响有关^[19] ...

2021

0.0

... 如图3, 同一指数组合计算的两个波段的核密度分布曲线在不同光谱环境中具有波段分布差异显著的特征峰, 而在相同光谱环境中的各类指数特征峰所处波段存在部分重合, 各类指数在实验室光谱中的550、 1 600、 1 800和2 200 nm, 野外原位光谱中的550~620和750~850 nm, 野外原位-DS光谱中的1 390~1 510、 1 600和2 100 nm等波段表现出强相关特征, 该系列波段与土壤中铁氧化物、粘土矿物和有机质等吸收特征相关^[20,21,22] ...

2010

0.0

2022

0.0

2009

0.0

... 其中全波段光谱建模可能由于训练样本较少导致验证集精度表现不理想^[23], 然而在训练样本相同的情况下, 光谱指数方法通过指数计算有效消除和压缩部分干扰信息, 提高对土壤As的解释预测能力, 体现了光谱指数方法的有效性 ...

2008

0.0

... 3 光谱指数特征波段分析铁氧化物、粘土矿物和有机物是影响土壤光谱反射特征的主要组分, 且与土壤中As的赋存形态密切相关^[24], 通过对比分析指数特征波段关联的土壤组分进一步探究指数放大有效信息和消除噪声的规律 ...

1964

0.0

1962

0.0