研究区位于广西国有黄冕林场(109° 43'46″E, 24° 37'25″N)和国有雅长林场(106° 16'30″E, 24° 49'30″N), 都属于亚热带气候, 年均降雨量分别为1 750和1 057 mm, 年平均温度19和16.8 ℃。 本区土地利用类型为林地, 土壤类型为酸性沉积岩发育的红壤, 根据中国土壤分类法, 红壤来自泥盆纪的砂岩和砂岩页岩, 主要种植桉树、 杉树和松树为主。 由于缺乏有效土壤养分检测, 加上人为不合理种植, 导致林地土壤退化加剧。

研究区内树木生长均匀, 采用S形取样法采集了0~20 cm土层样品, 共采集了206个样本, 研究区内采样点如图1所示, 部分采样点在林场外围。 样本自然风干、 研磨, 均匀分为两部分, 一部分样本通过0.2 nm的土壤筛子过筛, 再通过重铬酸钾氧化加热, 测定SOM含量; 另一部分通过0.149 nm的土壤筛子, 采用ASD FieldSpec1 4 Hi-Res地面物体光谱仪获取高光谱数据, 波谱范围包括可见光和近红外区域(350~2 500 nm)。 为保证光谱数据的准确性, 每份土样光谱数据进行10次重复采样, 取其平均值作为样本实测曲线。 然后导入Excel中。 由于光谱数据在光谱仪测量范围两端有噪声, 将小于400 nm和大于2 400 nm波段进行去除。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 研究区域采样点分布Fig.1 Sampling point distribution

采用的建模方法为改进时间卷积网络(self attention temporal convolutional network, SATCN), 为解决CNN处理小样本数据集存在建模效果差, 预测精度不够高等问题, 对TCN进行以下三点改进: 一是考虑到小样本数据集随着网络层次加深容易产生过拟合且不稳定, 采用浅层网络结构; 二是考虑到样本数据噪声干扰, 采用自注意力残差结构来增强模型特征学习能力, 提高模型精度; 三是考虑到模型训练中会出现过拟合现象, 对权重W添加L2正则化, 提高模型泛化性。 土壤SOM含量预测模型的建立主要包括光谱预处理、 选择最佳光谱预处理和SATCN网络结构设计。 具体流程如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 算法整体流程Fig.2 Overall flow of algorithm

为了降低数据维度, 对光谱数据进行重采样处理, 每10 nm间隔取平均值, 然后对重采样的光谱数据进行Savitaky-Golay(SG)方法^[9]平滑降噪。 采用的预处理方法主要有原始光谱反射率(R)、 一阶微分(1DR)、 二阶微分(2DR)、 标准正态变量(SNV)和多元散射校正(MSC)。 所有数据处理均通过PyCharm、 SPSS26.0和Excel 2010完成。 对光谱反射率数据进行离差标准化(min-max normalization), 使结果映射到0~1之间。 见式(1)

X* =X-XminXmax-Xmin(1)

式(1)中: X为样本数据; X_max为样本数据最大值; X_min为样本数据最小值; X_max-X_min为极差; X^* 为样本数据归一化后的值。

SPXY算法^[10]是改进的Kennard-Stone算法, 在样品间计算距离时将光谱数据与有机质含量同时考虑在内, 进行更加合理的划分。 其距离公式为

dx(p, q)=∑j=1N[xp(j)-xq(j)]2dy(p, q)=(yp-yq)2==|yp-yq|dxy(p, q)=dx(p, q)maxdx(p, q)-dy(p, q)maxdy(p, q)p, q∈[1, N](2)

当向模型中输入光谱序列时, 随着光谱序列不断增加, 会出现信息过载, 为了解决这个问题, 引入自注意力机制^[11]。 对于光谱序列来说, 自注意力机制能够把输入的光谱序列中不同波段的信息联系起来, 对光谱数据的内部相关性更加敏感, 不仅减少对外部信息的依赖, 还能有效提高特征的学习能力; 另外有助于神经网络模型将输出SOM值与输入的光谱序列进行匹配, 计算相对的匹配度权重, 进一步提高神经网络模型准确率。 基本结构如图3所示, 实现步骤如下:

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 自注意力机制Fig.3 Self-attention mechanism

步骤1: 输入光谱序列矩阵X, 进行不同的矩阵变换得到查询(Query-Q)、 键(Key-K)和值(Value-V)三个矩阵, 计算Q和K之间的相似度, 得到每个对应V的权重系数A;

步骤2: 对权重系数矩阵A进行softmax归一化操作得到权重系数矩阵A';

步骤3: 对权重系数A'和矩阵V进行加权求和, 得到注意力数值。

自注意力机制公式如式(3)^[12]所示

Attention(Q, K, V)=softmaxQKTdKV(3)

式(3)中: d_K表示矩阵K的维度。

卷积神经网络(CNN)是一种非线性模型, 通过卷积和池化结构提取出输入信息的主要特征, 因此模型具有出色的表征提取能力^[13]。 卷积神经网络构建块主要包括卷积层、 池化层、 Dropout层和全连接层; 卷积层对输入的光谱序列进行卷积计算, 增强输入序列数据的某些特征, 降低噪声; 池化层通过减少数据量实现降维, 同时保留有效信息避免过拟合; Dropout层通过消除神经元之间的依赖, 增强泛化能力; 全连接层通过神经元将提取的特征进行非线性组合, 拟合数据分布。 时间卷积网络(TCN)是在卷积神经网络基础上进行改进, 形成一种创新的网络结构。 其结构主要包括膨胀卷积、 因果卷积和残差结构。 通过结合一维全卷积和因果卷积转化为适合序列数据的模型, 在动作分割与检测, 文本情感分类, 以及时间序列预测等领域有广泛应用。

自注意力残差结构在TCN残差结构的基础上加入自注意力机制, 使得网络模型不仅实现了跨层的传递信息, 还提高了模型特征学习能力, 结构如图4所示。 它包括两个扩张的卷积层和一个自注意力层, 在每层之后加Dropout来实现正则化。 对于输入的光谱序列, 每个膨胀卷积层的膨胀率随着层数的增加呈指数增长, 能够在不增加池化损失信息的情况下, 扩展模型中每层卷积核的感受野, 让每个卷积输出都包含较大范围的光谱信息, 将卷积输出通过自注意力层, 强化光谱数据的重要特征作为输出, 最后将其和提取的原始特征进行合并输出, 提高特征学习能力。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 自注意力残差结构Fig.4 Self-attention residual structure

采用浅层时间卷积网络, 并在其残差结构中加入自注意力机制, 使得模型特征学习能力有所提高, 能够满足光谱分析有机质含量的建模需求。 SATCN模型结构如图5所示, 模型主要包括两个卷积层, 一个池化层和一个自注意力残差结构。 每个卷积层权重都加入L2正则化, 防止模型过拟合, 选用Relu作为激活函数, 增强模型非线性表达能力, 避免网络训练过程中出现的梯度消失和梯度爆炸问题; 选用最大池化层位于第一个卷积层后, 通过池化简化网络复杂度、 减少计算量; 自注意力残差结构中每个膨胀卷积的膨胀系数分别为2和4, 为了提高模型特征学习能力加入自注意力机制; 在每个全连接层后加入Dropout层, 避免模型学习过程中出现过拟合; 最后输出样本有机质含量。 模型参数如表1所示。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 SATCN模型结构Fig.5 SATCN model structure

表1

Table 1

表1(Table 1)

表1 SATCN参数设置 Table 1 SATCN parameter settings Layer Kernel Size Filters Conv1 3 8 Maxpool1D 2 - Conv1 3 8 Conv1 3 dr=2 16 Conv1 3 dr=4 16 Self-attention - - Conv1 3 16 FC1 - 200 FC2 - 100 FC3 - 1 注: 表中Layer表示神经网络中的层; Kernel Size表示卷积核大小; Filters表示滤波器个数; Conv1表示一维卷积层; Maxpool1D表示一维最大池化层; Self-attention表示自注意力层; dr=2表示膨胀系数为2; FC1表示第1个全连接层 Note: Layer denotes the layer in the neural network; Kernel Size denotes the convolutional kernel size; Filters denotes the number of filters; Conv1 denotes the one-dimensional convolutional layer; Maxpool1D denotes the one-dimensional maximum pooling layer; Self-attention denotes the self-attention layer; dr=2 denotes the expansion factor of 2; FC1 denotes the first fully connected layer

表1 SATCN参数设置 Table 1 SATCN parameter settings

采用最统一、 最客观的模型评价标准, 其中包括决定系数(R²)、 均方根误差(RMSE)和相对分析误差(relative percent deviation, RPD)。 R²越接近1, 实测值和估测值之间越接近, 模型准确性就越高; RMSE越小, 说明实测值与预测值偏差小, 模型越稳定; RPD的范围分为四类: 当RPD< 1.4时, 模型不可靠; 当1.4< RPD< 2, 可以通过微调来提高模型预测性能; 当2< RPD< 3时, 模型有较好的预测性能; 当RPD> 3, 模型具有极好的预估性能。 见式(4)— 式(6)

R2=1-∑i=1n(yi-y˙i)2∑i=1n(yi-y̅i)2(4)RMSE=1n∑i=1n(yi-y˙i)2(5)RPD=SDRMSE(6)

式中: n为样本总数; y_i和为第i个样本真实值和预测值; y̅i为样本平均值, SD为预测样本的标准差。

选用SPXY算法对206个土壤样本有机质含量进行数据集划分, 按照4:1的比例分为2个部分, 共得到165个训练样本集, 41个验证样本集。 土壤样品SOM含量统计特征见表2。 研究区206个样本的SOM含量为4.26~80.04 g· kg^-1, 平均值为25.72 g· kg^-1, 标准差为13.57, 变异系数52.76%(属于中等程度变异)。 峰度(kurtosis, K)是描述数据分布形态的陡缓程度; 偏度(skewness, S)是描述数据分布的偏斜程度^[14]。 3个样本的峰度K< 3(K_W=1.28, K_T=1.25, K_V=1.70)则表明数据分布有较低的峰值; 偏度均为正值(S_W=0.91, S_T=0.93, S_V=0.86), 说明各样本数据呈正偏态分布。

表2

Table 2

表2(Table 2)

表2 土壤有机质含量统计特征 Table 2 Statistical characteristics of SOM content 样本类型 样本量 最小值/ (g· kg-1) 最大值/ (g· kg-1) 平均值/ (g· kg-1) 标准差/ (g· kg-1) 峰度 偏度 变异系数/ % 总体样本 206 4.26 80.04 25.72 13.57 1.28 0.91 52.76 训练样本 165 4.26 80.04 25.80 13.74 1.25 0.93 53.26 验证样本 41 6.61 69.02 25.37 13.00 1.70 0.86 51.24

表2 土壤有机质含量统计特征 Table 2 Statistical characteristics of SOM content

不同SOM含量光谱曲线图如图6所示, SOM含量按照每10 g· kg^-1进行分组, 取其光谱反射率平均值进行绘图。 由图6可以看出, 每组样本曲线趋势基本相同, 在400~1 320 nm波段内光谱反射率随着波长快速递增, 整体走势很陡; 在1 320~2 100 nm波段趋于平稳; 在2 100~2 400 nm波段呈下降趋势, 在900 nm附近存在受氧化铁的影响的吸收谷, 在1 430、 1 950和2 230 nm附近存在明显的水分吸收谷。 SOM含量为80~90与30~80 g· kg^-1的6组曲线在480和1 860 nm附近有明显交叉现象, 并且在这波段内其土样有部分反射率要高于这6组土样, 在1 860~2 400 nm波段内高于SOM含量60~70和70~80 g· kg^-1的土样。 有机质含量与光谱反射率大小有一定影响, 有机质含量越大, 光谱反射率值越小; 反之, 光谱反射率值越大。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 不同SOM含量土壤样本的光谱曲线 注: 图中数值如20~30 g· kg-1等为有机质含量Fig.6 Spectral curves of soil samples with different SOM contents Note: The values in the graph such as 20~30 g· kg-1 etc. are organic matter contents

为了探究不同光谱预处理对线性模型、 非线性模型和神经网络模型的建模效果, 选取PLSR、 SVM和LSTM三种模型进行对比分析。 以验证集为例, 本文对比了5种光谱预处理分别在PLSR、 SVM和LSTM这三种模型进行土壤SOM含量估算, 其结果如图7所示。 图中可以看出, 从不同的光谱预处理来看, 采用光谱一阶微分来构建模型, 相比于其他预处理方法, 可以明显提高模型的精度, 并且其估测值和实测值更加接近1:1线, 1DR能够较好的体现光谱数据隐藏信息, 是较好的光谱预处理方法, 这也与国佳欣等^[15]采用一阶微分作为光谱预处理, 相关性和相关系数明显提高的结论相似。 从不同模型来看, 非线性模型(LSTM和SVM)在不同光谱预处理上模型建模效果都要优于线性模型(PLSR), 在其他光谱预处理上LSTM建模效果要优于SVM。 图中可以看出, 当SOM含量小于30 g· kg^-1时, 多数样本模型预测结果偏高; 当SOM含量大于30 g· kg^-1时, 多数样本模型预测结果偏低。 由于SOM含量在70~80 g· kg^-1的样本在480~1 860 nm波段内光谱反射率有部分高于SOM含量为30~40、 40~50、 50~60、 60~70和80~90 g· kg^-1的样本, 导致SOM含量在30 g· kg^-1附近特征混合, 容易导致神经网络模型预测不准确。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 不同光谱预处理下各模型SOM含量实测值与估测值比较Fig.7 Comparison of measured and estimated SOM contents of each model under different spectral pretreatments (a): LSTM(R); (b): PLSR(R); (c): SVM(R); (d): LSTM(1DR); (e): PLSR(1DR); (f): SVM(1DR); (g): LSTM(2DR); (h): PLSR(2DR); (i): SVM(2DR); (j): LSTM(SNV); (k): PLSR(SNV); (l): SVM(SNV); (m): LSTM(MSC); (n): PLSR(MSC); (o): SVM(MSC)

为了探究SATCN模型在小样本数据集上建模效果, 从以下两个方面进行对比分析: 一是由于SATCN模型采用的自注意力残差结构, 选取具有残差结构的ResNet-13^[8]、 TCN网络模型进行对比分析; 二是选取现有在小样本数据集上建模效果较好的VGGNet-7^[8]网络结构进行对比分析。 为保证CNN、 TCN和SATCN模型之间有可比性, 设置固定的模型函数和超参数: 激活函数Relu, 优化器Nadam, Loss为均方误差(MSE), 批处理大小为64, 学习率为1× 10^-4, epochs为600, 最后全连接层和Dropout层参数分别为200、 0.3、 100、 0.3、 1。

通过分析不同光谱预处理对模型精度影响, 证明平滑处理后的一阶微分变换为较好预处理方法。 在此基础上构建ResNet-13、 VGGNet-7、 TCN和SATCN模型进行对比实验, 实验结果如表3所示。 4种模型在数据集上R²> 0.91, RMSE< 4 g· kg^-1, RPD> 3, 说明4种模型都具有很好的估测能力。 不同模型在数据集上预测指标如图8所示, 从图中来看, VGGNet-7在训练集和验证集上各项评价指标都是低于其他模型, 建模效果在四种模型是较差的, 原因可能是其他模型中的残差结构能够更好的提取数据集的主要特征。 从不同残差结构来看, ResNet-13模型精度和建模效果要低于TCN和SATCN, 原因是其拥有较深的网络结构, 导致模型的精度降低; TCN的残差结构中拥有膨胀卷积提高卷积核的感受野, 能够更好的对样本数据特征进行提取, 模型精度和性能都有所提升; SATCN模型预测精度最高为0.943, RPD大于4, 其他模型RPD大于3, SATCN模型预测精度和估测能力有明显提升, 说明残差结构加入自注意力机制, 强化重要特征, 提高特征学习能力和模型精度, 这也与石磊等^[16]利用自注意力机制强化重要特征, 提高分类精度结论相似。

表3

Table 3

表3(Table 3)

表3 不同模型土壤有机质估算模型精度 Table 3 Accuracy of soil organic matter estimation models 模型 训练集 验证集 R2 RMSE/ (g· kg-1) RPD R2 RMSE/ (g· kg-1) RPD ResNet-13(1DR) 0.936 3.454 3.764 0.915 3.740 3.514 VGGNet-7(1DR) 0.918 3.919 3.317 0.914 3.760 3.457 TCN(1DR) 0.958 2.803 4.638 0.926 3.490 3.725 SATCN(1DR) 0.967 2.457 5.291 0.943 3.042 4.273

表3 不同模型土壤有机质估算模型精度 Table 3 Accuracy of soil organic matter estimation models

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 不同模型在数据集上建模效果 (a): 训练集; (b): 验证集; (c): 不同的神经网络建模精度对比Fig.8 Modeling effects of different models based on the dataset (a): Training set; (b): Validation set; (c): Comparison of the accuracies of different neural networks

为了进一步探讨在不同深度下SATCN模型的建模效果, 实验结果如表4所示。 不同网络深度下SATCN模型在数据集上建模效果如图9所示, 从图中可以发现, 模型在训练集上, 随着SATCN模型中残差块数量(1~4)增加, R²和RPD逐渐变小, RMSE逐渐增大, SATCN效果最好R²为0.967, RMSE为2.457 g· kg^-1, RPD为5.291; 但在验证集上, R²和RPD逐渐变小, RMSE逐渐变大, SATCN效果最好R²为0.943, RMSE为3.042 g· kg^-1, RPD为4.273。 说明随着SATCN模型网络层次加深, 模型的精度和稳定性逐渐降低。 SOM含量在验证集上实测值与估测值比较如图10所示, 图中可以看出大部分样本估测值都均匀的分布在1:1线附近。

表4

Table 4

表4(Table 4)

表4 不同模型土壤有机质估算模型精度 Table 4 Model accuracies of soil organic matter estimation by different models 模型 训练集 验证集 R2 RMSE/ (g· kg-1) RPD R2 RMSE/ (g· kg-1) RPD SATCN(1DR) 0.967 2.457 5.291 0.943 3.042 4.273 SATCN-2(1DR) 0.965 2.565 5.068 0.937 3.209 4.051 SATCN-3(1DR) 0.965 2.550 5.098 0.933 3.318 3.918 SATCN-4(1DR) 0.957 2.837 4.582 0.931 3.356 3.874 注: SATCN-2(1DR)表示选用一阶微分光谱预处理, SATCN中包含2个自注意力残差结构, 其他模型以此类推 Note: SATCN-2 (1DR) indicates that a 1DR spectral indicator is chosen and 2 self-attentive residual structures are included in SATCN, and so on for other models

表4 不同模型土壤有机质估算模型精度 Table 4 Model accuracies of soil organic matter estimation by different models

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 不同网络深度下SATCN模型在数据集上建模效果 (a): 训练集; (b): 验证集; (c): 模型精度对比Fig.9 Effectiveness of SATCN modeling on datasets with different network depths (a): Training set; (b): Validation set; (c): Accuracy comparison

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 基于SATCN模型的验证集SOM含量实测值与估测值比较Fig.10 Comparison of the measured and estimated SOM contents of the validation set based on SATCN model

综合以上方法的建模预测结果可以发现, 部分光谱预处理方法能够提高模型精度, 尤其是1DR光谱预处理建模效果较好。 采用自注意力残差结构的SATCN模型, 比现有小样本数据集上建模效果较好的VGGNet-7模型建模精度提高了2.8%。 相比于具有残差结构的ResNet-13和TCN模型, 其建模精度分别提高2.9%和1.7%。 综合来看, 本研究区SPXY样本集划分方法结合1DR光谱预处理方法建立的土壤SOM含量SATCN模型结果最优。

本工作构建SATCN模型的土壤高光谱预测模型, 未考虑其他环境因素, 仅利用光谱反射率数据预测土壤SOM含量, 结果证明SATCN模型建模精度较高、 建模效果较理想。 在实际应用过程中可以不考虑环境条件, 采用SATCN模型建模, 能够有效减少工作量。 由于本研究区为两个国有林场, 该模型具有一定的适应性, 但是对不同地区、 不同土壤类型采用SATCN模型预测土壤属性, 其适应性需要进一步验证。