不同土壤间的全氮光谱模型传递研究
范萍萍, 李雪莹, 吕美蓉, 吴宁, 刘岩
山东省科学院海洋仪器仪表研究所, 山东 青岛 266061

作者简介: 范萍萍, 女, 1980年生, 山东省科学院海洋仪器仪表研究所副研究员 e-mail: fanpp_sdioi@126.com

摘要

在基于可见-近红外反射光谱的土壤养分速测技术中, 不同类型土壤间的模型转移是目前亟需解决的关键问题和难点。 以土壤全氮为研究对象, 探讨了两种不同土壤间的模型传递方法及其效果。 以青岛李村河畔土壤为主样品, 通过分段直接矫正结合斜率/截距修正(PDS-S/B)、 分段直接矫正结合线性插值(PDS-LI)、 典型相关性分析结合斜率/截距修正(CCA-S/B)、 典型相关性分析结合线性插值(CCA-LI)、 直接矫正结合斜率/截距修正(DS-S/B)、 直接矫正结合线性插值(DS-LI)等算法, 进行模型转移, 实现对青岛浮山山麓土壤全氮含量不同程度的预测。 其中, PDS-S/B的模型转移效果最好, 均方根误差、 平均相对误差、 最大相对误差均最小, 分别为0.04, 6.6%, 19.0%。 主、 从样品经遗传算法提取特征变量后再进行模型转移, 相比无任何前处理的模型转移, 均有不同程度的提高, 其中LI相关的模型转移方法比S/B相关的方法提高的程度更大。 研究了不同样品在同一仪器、 相同测试环境下的土壤养分的模型传递问题, 初步探讨了同一仪器共享一个土壤养分光谱模型的可能性, 这将从根本上提高速测效率, 有利于光谱技术在土壤养分速测中的推广应用。

关键词: 模型传递; 模型转移; 可见-近红外光谱; 土壤养分; 速测技术
中图分类号:O657.3 文献标志码:A
Vis-NIR Model Transfer of Total Nitrogen Between Different Soils
FAN Ping-ping, LI Xue-ying, LÜ Mei-rong, WU Ning, LIU Yan
Institute of Oceanographic Instrumentation, Shandong Academy of Sciences, Qingdao 266061, China
Abstract

Model transfer among different soils is the key point and obstacle and obstacle for rapidly determining soil nutrients by Vis-NIR spectroscopy. Here, we studied the methods and results of model transfer for total nitrogen(TN) between two types of soils in Qingdao, China. A main spectral model was firstly set up using soils sampled from Licun River. Then, by using piecewise direct standardization combined slope/bias algorithm (PDS-S/B), PDS combined linear intercept algorithm(LI), canonical correlation analysis (CCA) combined S/B (CCA-S/B), CCA-LI, direct standardization (DS) combined S/B (DS-S/B), and DS-LI, the concentrations of total N in soils sampled from Fushan Montain were predicted by the main spectral model with different accuracy. Results of model transfer by PDS-S/B was the best, whose root mean square error (RMSE), mean relative error, and maximum relative error were 0.04, 6.6%, and 19.0%, respectively. Pretreatment before building the spectral model could influence the transfer results. Here, the main spectral model built after extracting the diagnostic spectra genetric algorithm had better results than those built without any pretreatment. Transfer methods could also affect the transfer results. The transfer methods related to LI had a larger increase in accuracy than those related to S/B. The best model transfer was from PDS-S/B, suggesting that PDS-S/B was the better method for this study. This study resolved a specific model transfer for TN between two different types of soils under the same conditions by the same instrument, different from other studies which studied the model transfer of the same soil under different instrument and work conditions. This study explored the possibility that a spectrometer shared a same spectral model, which will improve the efficiency and promote the use of soil nutrient rapid determination by spectroscopy.

Keyword: Model transfer; Calibration transfer; Visible and near infrared spectrum; Soil nutrients; Rapid detection
引 言

可见-近红外光谱分析技术由于具有快速、 简便、 绿色、 多参数同时测定等优势, 已在农业、 食品、 工业等领域被广泛应用。 在土壤养分速测方面, 也具有较好的应用前景[1, 2, 3, 4, 5, 6]。 目前, 已较好的解决了土壤养分的光谱解译问题, 能够较好的应用可见-近红外光谱模型快速测定土壤养分的含量, 相对误差能够达到5%以内[2, 4, 5, 6]。 但是, 这些光谱模型的应用具有较大局限性, 只适用于某一特定条件。 若测定时间、 光谱采集仪器、 环境温度、 测试样品等发生改变, 已建的光谱模型便不能提供准确的预测结果, 这个问题被称为模型传递或模型转移[7]

模型转移问题有两类。 第Ⅰ 类是相同样品在不同测试条件下产生的, 如在不同的仪器[8, 9]、 不同的测试时间[10]、 不同环境温度[10, 11, 12]下测定同一样品。 第Ⅱ 类是不同样品在相同测试条件下的, 如使用同一仪器、 在相同的环境条件下测试不同的样品[13, 14, 15]。 这两类问题性质不同, 第Ⅰ 类较为浅显, 第Ⅱ 类更为本质。 解决第Ⅰ 类问题, 能够保证仪器精度, 而解决第Ⅱ 类问题, 才能最终实现同一型号仪器共享一个光谱模型的目标。

针对第Ⅰ 类模型转移问题的研究较多, 也提出了很多解决方法[8, 9, 10, 11, 12], 但是关于土壤养分的极少; 而第Ⅱ 类模型转移问题的研究总量极少[13, 14, 15], 针对土壤养分的更是屈指可数。 为此, 本研究将以青岛山地土壤和河畔土壤为例, 研究不同土壤的全氮在同一仪器及相同测试条件下的模型转移。

1 实验部分
1.1 材料

采集青岛两个不同类型的土壤样品各60份, 样地1采自青岛浮山山麓, 样地2采自青岛李村河畔, 总计120份, 采集样品深度为0~20 cm。 其中, 样地2属于砂壤土, 土壤全碳、 全氮含量分别为1.06%(0.38%~1.34%), 0.17%(0.07%~0.17%); 样地1属于粉壤土, 土壤全碳、 全氮含量分别为0.34%(0.19%~0.50%), 0.04%(0.02%~0.06%)。 先去除土壤样品中的石块等异物, 再烘干样品。 为最大程度消除水分干扰, 采用50 ℃低温烘干处理, 至恒重后, 过0.45 mm尼龙筛, 将过筛后的土壤样品置入样品袋中, 并标记相应的样品编号。

1.2 方法

1.2.1 数据采集

采集土壤光谱的仪器为海洋光学QE65000光谱仪, 光谱采样间隔为1 nm, 积分时间600 ms, 谱区范围200~1 100 nm(光谱范围主要为可见近红外光谱, 包含小部分紫外光谱), 光源为DH-2000-BAL, 光谱仪和光源通过Y型光纤(QR400-7-UV-VIS)连接, Y型光纤探头依靠支架(RPH-1)固定, 探测土壤样品的反射光谱。 取3~5 g土壤样品, 将土壤样品放在自制样品盒(大小、 长度与探头支架一样, 样品盒上有两个球形样品室, 样品室的位置和直径同支架的探头孔重合)中, 轻轻压平, 然后把探头置入支架上的45° 角的孔里, 使探头刚好露出支架, 把支架和样品盒紧贴在一起, 每个土壤样品测定5次光谱反射率, 取平均值作为这个土壤样品的反射光谱。

土壤全氮含量通过元素分析仪测定, 含量情况分别如图1所示。

图1 浮山山麓土壤和李村河畔土壤的全氮含量Fig.1 Total N concentrations in soils of Fushan Mountain and Licun River, Qingdao

1.2.2 光谱解译

由于土壤样品反射光谱前段和后段噪声较大, 因此剔除这两段光谱, 保留226~975 nm的光谱数据。 分别针对浮山山麓和李村河畔的这段光谱, 根据K-S算法以3:1划分校准集和预测集, 直接使用偏最小二乘回归(PLSR)建立光谱模型, 模型结果如表1所示。

表1 浮山山麓和李村河畔的土壤全氮的光谱模型(无前处理) Table 1 Spectral model of total N concentrations in soils from Fushan Montain and Licun River without the spectrum pretretment

1.2.3 模型转移方法

根据1.2.2的光谱解译结果, 发现李村河畔的土壤样品的光谱模型非常好, 可以用于准确预测。 因此, 选择李村河畔土壤为主样品, 浮山山麓土壤为从样品。 主样品的光谱模型如1.2.2所述方法建立; 从样品通过K-S算法以1:2划分标准集和未知集, 从样品的标准集用于模型转移, 未知集用于验证模型转移效果, 从样品的光谱预处理方法同主样品保持一致, 本文使用了无任何前处理及遗传算法提取特征变量两种前处理类型。

通过多种算法进行模型转移, 包括分段直接矫正结合线性插值(PDS-LI)[14]、 直接矫正结合线性插值(DS-LI)[13]、 典型相关性分析结合线性插值(CCA-LI)、 分段直接矫正结合斜率/截距修正法(PDS-S/B)、 直接矫正结合斜率/截距修正法(DS-S/B)[13]、 典型相关性分析结合斜率/截距修正法(CCA-S/B)等算法。 以上方法中, CCA-LI, CCA-S/B, PDS-S/B是本文新组合的方法。

这些方法中, 前部分方法用于建立主从样品的有效光谱信息关系, 如DS, PDS, CCA等; 后部分用于修正主从样品的养分值之间的差异, 如LI, S/B等。 模型转移思路如下:

第一步, 用DS, PDS和CCA等方法求出转移矩阵;

第二步, 根据转移矩阵, 分别对从样品的标准集和未知集光谱进行转换;

第三步, 用主模型分别对从样品标准集和未知集转化后的光谱矩阵进行预测。

2 结果与讨论
2.1 无任何前处理的模型转移

主样品李村河畔土壤在光谱解译过程中无前处理, 经过最小二乘回归(PLSR)建立的光谱模型如表1所示, 相对分析误差(RPD)> 2.5, 具有准确预测土壤全氮的能力, 但限于李村河畔土壤。 如果直接用该光谱模型预测从样品浮山山麓土壤的全氮含量, 则准确度极差(表2)。

表2 无任何前处理、 使用多种算法的模型转移结果 Table 2 Results of model transfer by different methods without spectrum pre-treatment

在光谱解译过程中无前处理的条件下建立了主样品的光谱模型(表1), 经任意一种模型转移算法处理后, 均方根误差(RMSEP)、 平均相对误差、 最大相对误差都有大幅度的减小, 均能够提高预测值的准确性(表2)。 其中, S/B相关的算法效果显著优于LI相关的算法, PDS相关的算法也优于其他算法(表2)。 PDS-S/B算法效果最好, RMSEP、 平均相对误差、 最大相对误差均最小, 分别为0.04, 6.6%和19.0%(表2)。

2.2 经遗传算法(GA)提取特征变量后的模型转移

为进一步提高模型转移效果, 本研究对主样品的光谱模型进行了优化处理。 经遗传算法提取特征变量后, 再通过PLSR建立光谱模型, 从模型的预测能力并未有显著提高(表1表3)。 但是主模型的预测能力有较大提高。 相比无前处理的李村河畔的光谱模型(表1), RMSEP稍有降低, 从0.08降低到0.07(表3); RPD有较大提高, 从2.51提高到2.84(表3)。

表3 浮山山麓和李村河畔土壤的全氮 光谱模型(GA提取特征变量) Table 3 Spectral model of total N concentrations in soils from Fushan Montain and Licun River after the spectrum pretretment of genetic algorithm

主、 从样品的光谱经过GA提取特征光谱后, 再进行模型转移, 结果优于无任何前处理的模型转移(表2表4), 尤其是无模型转移算法(直接通过主样品的光谱模型预测从样品的全氮含量)及LI相关的模型转移算法(LI, PDS-LI, DS-LI和CCA-LI), 无论RMSEP还是相对误差(表2表4)。 S/B相关的模型转移算法所体现的效果不显著, 但也有不同程度的提高, 主要体现在相对误差上(表2表4)。 但是, PDS-S/B的模型转移效果没有提高(表2表4), 因为此时的最大相对误差变大了, 从19.1%增加到24.0%。

表4 经遗传算法提取特征变量、 使用 多种算法的模型转移结果 Table 4 Results of model transfer by different methods after the spectrum pretreated by genetic algorithm

在经过GA提取特征变量后的模型转移结果内部, 经任意一种模型转移算法处理后, RMSEP、 平均相对误差、 最大相对误差都有大幅度的减小, 均能够提高预测值的准确性(表4)。 综合来看, S/B相关的模型转移算法效果最好, 尤其是PDS-S/B算法, RMSEP、 平均相对误差、 最大相对误差均最小, 分别为0.04, 6.1%和24.0%。 这同前面结果一致(表3), 因此, 推荐PDS-S/B算法用于该从样品地区土壤的样品预测, 可实现不同地区间土壤养分含量预测。

以往研究大多针对相同样品在不同测试条件(仪器、 时间、 温度等)下, 进行土壤养分的模型转移[13], 解决了光谱仪器的稳定性和准确性校正。 然而, 基于光谱法的土壤养分速测技术并未因此得以推广, 因为光谱仪器的普及并未减少土壤养分测试的工作量, 也并未真正实现土壤养分的速测。 只要土壤采集地点发生变化, 就需要重新建立光谱模型, 仍然摆脱不了繁琐的化学测试。 要实现一台光谱仪器共享一个光谱模型的土壤养分速测目标, 必须解决不同样品在同一光谱仪器上的模型转移问题。

本研究针对不同样品在同一光谱仪器上的模型转移问题, 以土壤全氮为研究对象, 尝试了多种模型转移算法, 初步解决了不同样品间的土壤全氮的模型转移问题。 通过多种模型转移方法的比较, 发现分段直接矫正结合斜率/截距修正法(PDS-S/B)最适合青岛山地土壤的模型转移。 PDS-S/B的优势还在于主、 从模型是否经前处理并不影响该方法的模型转移效果(表2表4)。

关于模型转移方法及其效果, 本研究的结果与已有研究相同。 在有标方法中, DS和PDS是最常用、 最有效的方法。 二者原理基本相同, 区别在于DS为全波段校正, 当光谱差异较小时, 容易出现过校正, 而PDS则是选择波长点附近一固定窗口宽度的波段用于校正[8, 14], 因此, PDS需要的标样数量少, 运算速度快、 精度高[8, 14]。 研究也发现PDS的模型转移效果比DS好(表2表4)。

斜率/截距修正(S/B)和线性插值(LI)两种算法, 都是利用线性关系对原有模型进行重新矫正, 二者的区别在于获得校正的线性关系的过程不同[18]。 S/B是根据已有样品模型预测值和补充样品实测值重新建立线性关系, 而LI是利用补充样品中与未知样品差异最小的两个点建立线性关系[15]。 由于S/B的线性关系更为合理和可靠, 因此, S/B的模型转移效果优于LI的, 本研究也证实了这一点(表2表4)。

研究还发现主样品的光谱模型的预测能力直接影响模型转移效果, 但不同的模型转移方法受前处理的影响程度不同。 经过前处理后的光谱模型, 再进行模型转移时, 使用线性差值(LI)相关的模型转移方法的预测效果有极大提高; 但是, 使用斜率/截距(S/B)相关的模型转移方法的预测效果虽也有提高, 提高的程度却有限。 这表明, 未来研究中进行模型转移前, 是否需要建立一个高预测能力的光谱模型作为主模型, 要根据所选择的模型转移方法进行确定。 下一步将继续研究不同模型转移方法与主模型前处理的关系, 归纳模型转移方法的适用条件。

3 结 论

以青岛李村河畔土壤的全氮光谱模型, 通过分段直接矫正结合斜率/截距修正(PDS-S/B)、 分段直接矫正结合线性插值(PDS-LI)、 典型相关性分析结合斜率/截距修正(CCA-S/B)、 典型相关性分析结合线性插值(CCA-LI)、 直接矫正结合斜率/截距修正(DS-S/B)、 直接矫正结合线性插值(DS-LI)等算法, 进行模型转移, 实现对青岛浮山山麓土壤全氮含量的较好预测。 其中, PDS-S/B的模型转移效果最好, RMSEP、 平均相对误差、 最大相对误差均最小。 此外, 还发现主、 从样品经光谱预处理后再进行模型转移, 结果优于主、 从样品未经任何光谱前处理的模型转移。 但是LI相关的模型转移方法响应较大, S/B相关的模型转移方法对主、 从样品是否进行光谱前处理是响应不大。

不同于已有研究(解决同一样品在不同仪器、 测试环境下的模型转移问题), 本研究初步实现了不同样品在同一仪器、 相同测试条件下的土壤全氮含量的预测, 这将从根本上提高速测效率, 有利于光谱技术在土壤养分速测中的推广应用。 下一步将继续围绕主模型和模型转移方法两个核心问题, 研究不同样品间模型转移问题, 力争实现同一仪器共享一个光谱模型的目标。

The authors have declared that no competing interests exist.

参考文献
[1] LI Min-zan, ZHENG Li-hua, AN Xiao-fei, et al(李民赞, 郑立华, 安晓飞, ). Transactions of the Chinese Society for Agricultural Machinery(农业机械学报), 2013, 44(3): 73. [本文引用:1]
[2] Wetterlind J, Stenberg B, Söderström. Geoderma, 2010, 156(3-4): 152. [本文引用:2]
[3] Wetterlind J, Stenberg B. European Journal of Soil Science, 2010, 61(6): 823. [本文引用:1]
[4] Rossel R A V, Webster R. European Journal of Soil Science, 2012, 63(6): 848. [本文引用:2]
[5] Kodaira M, Shibusawa S. Geoderma, 2013, 199(4): 64. [本文引用:2]
[6] Iznaga A C, Orozco M R, Alcantara E A, et al. Biosystems Engineering, 2014, 125(125): 105. [本文引用:2]
[7] CHU Xiao-li, XU Yu-peng, LU Wan-zhen(褚小立, 许育鹏, 陆婉珍). Chinese Journal of Analytical Chemistry(分析化学), 2008, 36(5): 702. [本文引用:1]
[8] WANG Ju-xiang, LI Hua, XING Zhi-na, et al(王菊香, 李华, 邢志娜, ). Chinese Journal of Analytical Chemistry(分析化学), 2011, 39(6): 846. [本文引用:4]
[9] LIU Xian, HAN Lu-jia, YANG Zeng-ling, et al(刘贤, 韩鲁佳, 杨增玲, ). Chinese Journal of Analytical Chemistry(分析化学), 2012, 40(4): 596. [本文引用:2]
[10] Zheng K Y, Fan W, Wu T, et al. Computers and Applied Chemistry, 2013, 30(3): 246. [本文引用:3]
[11] LIN Zhen-xing, WU Bei-lei, WANG Hao, et al(林振兴, 邬蓓蕾, 王豪, ). Journal of Instrumental Analysis(分析测试学报), 2008, 27(12): 1330. [本文引用:2]
[12] SHI Xin-zhen, WANG Zhi-guo, DU Wen, et al(史新珍, 王志国, 杜文, ). Chinese Journal of Analytical Chemistry(分析化学), 2014, 42(11): 1673. [本文引用:2]
[13] LI Xiao-yu, ZHONG Xiong-bin, LIU Shan-mei, et al(李小昱, 钟雄斌, 刘善梅, ). Transactions of the Chinese Society for Agricultural Machinery(农业机械学报), 2014, 45(9): 216. [本文引用:5]
[14] LIU Jiao, LI Xiao-yu, GUO Xiao-xu, et al(刘娇, 李小昱, 郭小许, ). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报), 2014, 30(17): 276. [本文引用:5]
[15] JI Na-yu, LI Ming, Wen-bo, et al(吉纳玉, 李明, 吕文博, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2017, 37(1): 227. [本文引用:3]