分数阶微分对盐渍土野外光谱预处理精度提升的机理分析
田安红1,2, 熊黑钢3,4,*, 赵俊三1, 付承彪1,2
1. 昆明理工大学国土资源工程学院, 云南 昆明 650093
2. 曲靖师范学院信息工程学院, 云南 曲靖 655011
3. 北京联合大学应用文理学院, 北京 100083
4. 新疆大学资源与环境科学学院, 新疆 乌鲁木齐 830046
*通讯联系人 e-mail: heigang@buu.edu.cn

作者简介: 田安红, 女, 1984年生, 昆明理工大学国土资源工程学院博士研究生 e-mail: tianfucb@163.com

摘要

目前分数阶微分在野外实测光谱中的应用和光谱反演盐渍土盐分的最优波段机理解释尚未见到。 针对传统整数阶微分造成位于分数阶次的光谱信息丢失和模型精度降低的问题。 以新疆阜康市盐渍土盐分和野外光谱为数据源, 对原始光谱及常见4种变换进行0~2阶(阶数间隔取0.1)的共21阶分数阶微分处理, 以探讨盐渍土光谱预处理精度提升的机理。 结果表明: (1)分数阶微分因阶数连续能精确显示出求导中的光谱变换细节, 提升光谱谱峰间的分辨率; 且因阶数增加逐渐改变谱峰的峰形轮廓和去峰形化操作, 导致盐渍土分数阶微分曲线逐渐向曲线斜率的变化率靠近, 即详细刻画出了0阶到一阶微分和斜率与曲率间的细微差异。 (2)五种光谱变换的分数阶微分值与含盐量的相关系数, 通过0.01显著性水平检验, 且大于整数阶(1阶、 2阶)的相关系数最大绝对值的, 主要集中在1.3, 1.4, 1.5阶。 其中, 1.4阶1/lg R和1.3阶1/ R的相关系数提升百分比最大, 分别为12.78%和13.03%。 (3)不论何种光谱变换, 各分数阶微分值与含盐量最大相关系数对应的波段均出现在598 nm(1/ R)和618 nm( R,R, 1/lg R和lg R), 且均在1.3或1.4阶。 (4)研究区Na+占阳离子总量的65.74%, 与总盐的相关性达0.738, 钠原子的主要谱线是589.3 nm是造成各种光谱变换与土壤含盐量相关性最佳的波段位于598和618 nm最主要的原因。

关键词: 分数阶微分; 精度提升的机理; 预处理
中图分类号:S151.9 文献标志码:A
Mechanism Improvement for Pretreatment Accuracy of Field Spectra of Saline Soil Using Fractional Differential Algorithm
TIAN An-hong1,2, XIONG Hei-gang3,4,*, ZHAO Jun-san1, FU Cheng-biao1,2
1. Faculty of Land Resource Engineering, Kunming University of Science and Technology, Kunming 650093, China
2. College of Information Engineering, Qujing Normal University, Qujing 655011, China
3. College of Applied Arts and Science, Beijing Union University, Beijing 100083, China
4. College of Resource and Environment Sciences, Xinjiang University, Urumqi 830046, China
*Corresponding author
Abstract

Currently the application of fractional differential (FD) algorithm for field spectra and the optimal band mechanism of spectra inversion salt in saline soil has not been seen. In view of the problem that traditional integer-order differential algorithm causes fractional-order spectral information lose and model accuracy decrease the salinity and field spectra of saline soils in Fukang City of Xinjiang, China, were taken as data sources and original spectrum and common four transforms were subjected to a total of 21-order FDbetween 0~2 orders (interval is 0.1), in order to explore the mechanism improvement of pretreatment precision for saline soil spectra. Results showed that: (1) FD could accurately display the details of spectral transformation in the derivation process due to continuous orders, and improve the resolution between peaks of the spectra. Italso gradually changed peak shape and removed peaking operationdue to the increase of orders, which resulted in the gradual change of FD curve of saline soil to the slope of the curve, namely, a detailed description of subtle differences from 0-order to slope and between slope and curvature. (2) Correlation coefficient (CC) between FD value and salt content of five spectral transforms was tested by 0.01 significance level, and max CC absolute larger than integer order (1-order, 2-order) was mainly concentrated at 1.3, 1.4, 1.5 orders. Among them, CC of 1.4 order 1/lg R and 1.3 order 1/ R had the largest increase percentage, which were 12.78% and 13.03%, respectively. (3) Regardless of the spectral transformation, the corresponding bands for max CC between salt content and all FD value appeared at 598 nm (1/ R) and 618 nm ( R,R, 1/lg R and lg R), and they were all in 1.3 or 1.4 order. (4) Na+ accounted for 65.74% of total cations, and its correlation with total salt was 0.738. The 589.3 nm spectrum was the main reason why the bands with the best correlation between various spectral transforms and soil salinity were located at 598 and 618 nm.

Keyword: Fractional differential; Mechanism of precision improvement; Pretreatment
引 言

提高模型预测的精度始终是学者们最注重的研究热点和重点, 特别是精度提升的机理研究更是难点。 数据预处理是高光谱分析中的关键步骤, 预处理效果越好, 越能提高信噪比, 从而为后续提升预测模型精度和反演奠定基础。 整数阶微分算法在光谱数据预处理中应用广泛, Mashimbye等[1]以南非为研究区, 利用bagging partial least square regression (PLSR)方法, 对暗室内测定的土壤光谱反射率与土壤电导率进行定量估算, 发现用1阶微分建立的模型较好(R2=0.85), 优于PLSR建立的模型(R2=0.70)。 然而传统微分算法只在1阶或2阶整数阶范围内进行数据的预处理操作, 忽略光谱反射率曲线与整数阶微分曲线之间的渐变细节, 导致丢失位于分数阶次的光谱信息, 从而影响建模精度。

近年来, 分数阶微分算法在土壤光谱分析领域有一些成果。 如以土壤重金属铬含量为对象进行暗室光谱测试, 利用PLSR建模发现1.8阶分数阶微分模型最优[2]。 目前, 已有一些对受到人类干扰的盐渍土光谱研究[3]。 有以新疆艾比湖的盐渍土为对象, 从信息熵、 相关系数和标准差方面探讨分数阶微分算法对暗室光谱数据的预处理影响[4]。 这些针对土壤微分预处理算法的光谱数据均是土壤样品经过筛选等处理后在暗室环境下测定的。

目前分数阶微分算法在野外实测光谱中的应用尚未见到, 也未涉及未受到人类干扰的盐渍土。 因为野外实测光谱受到的外界因素干扰更多、 更强、 “ 信噪比” 更大, 讨论其分数阶微分特征及精度的难度较大。 同时, 现有研究未对光谱反演盐渍土盐分的最优波段进行机理解释。 因此, 本工作以无人类干扰的盐渍土为研究对象, 探索分数阶微分算法在野外实测光谱中预处理效果, 深度挖掘光谱信息, 力图给出预测盐渍土盐分较优波段机理的解释, 为野外无人类干扰区土壤含盐量高光谱反演检测方法提供一个新思路, 为建立高精度土壤高光谱预测模型提供依据。

1 实验部分
1.1 野外光谱测定和土壤样品采集

研究区位于天山北麓的准噶尔盆地南缘(87° 44'— 88° 46'E, 43° 29'— 45° 45'N)。 采样区域因距离人类居住区较远, 没有受到人类活动的干扰, 表层有少量原生植被。 在采样区共布设30个采样点。 光谱采集时间为2017年10月初, 光谱数据的测定选用FieldSpecR3Hi-Res光谱仪。 野外实测光谱的同时, 采集每个样点0~10 cm的土壤样品, 将其编号入袋, 带回实验室, 经自然风干、 剔除杂质, 过1 mm孔径筛后, 送至中科院新疆生态与地理研究所由专业人员测定土壤盐分。

1.2 光谱数据预处理

首先, 去除信噪比较低的350~399和2 401~2 500 nm波段, 和位于水分吸收带的1 355~1 410和1 820~1 942 nm波段。 然后, 利用Savitzky-Golay滤波平滑去噪, 并对原始光谱反射率(R)、 均方根( R)、 倒数(1/R)、 对数(lgR)、 对数倒数(1/lgR)进行数学变换。 最后, 在MatlabR2015a软件下编程实现分数阶微分计算, 阶数间隔取0.1, 对R及4种变换进行0~2阶的共21阶微分处理。

假设函数f(x)为光谱曲线的反射率, 波长范围为[a, t], h为步长, q为阶数, m为常数, Γ 为Gamma函数, 则常用的Grü nwald-Letnikov(G-L)分数阶微分[2, 4]定义为

dαf(x)=limh01hαm=0t-ah(-1)mΓ(α+1)m!Γ(α-m+1)f(x-mh)(1)

因光谱仪的重采样间隔为1 nm, 则式(1)中令h=1, n=[t-a], 则由式(1)可得f(x)分数阶微分的差值表达式

dαf(x)dxαf(x)+(-α)f(x-1)+(-α)(-α+1)2f(x-2)+(-α)(-α+1)(-α+2)6f(x-3)++Γ(-α+1)n!Γ(-α+n+1)f(x-n)(2)

式中, α 为阶数, 当α 为0阶时, 表示f(x)本身, 即没有进行微分处理。

2 结果与讨论
2.1 盐渍土分数阶微分的特点

因波段过多, 且不同分数阶微分值差异过大, 不易看清分数阶微分的特点, 因此仅取原始光谱的500~800 nm波段分析(图1)。 随着分数阶阶数的逐渐增大, 反射率微分值逐渐降低, 且向0值靠近。 其原因是, 阶数递增时逐渐改变了光谱谱峰的峰形轮廓[5]和微分计算过程中的去峰形化操作。 已有研究指出许多系统是属于分数阶, 当采用分数阶模型来描述时, 能减少误差。 分数阶微分具有对光谱反射率曲线斜率和曲率的敏感性[5], 即: 当阶数从0逐渐递增到1变化时, 各阶微分曲线缓慢逼近1阶微分曲线, 微分结果对反射率曲线的斜率敏感性增强; 当阶数从1逐渐递增到2时, 各阶微分曲线又缓慢逼近2阶微分曲线, 微分结果对反射率曲线的曲率敏感性增强。 前者刻画出了0阶到一阶微分的多种变化, 后者更详细描述出了斜率与曲率间的细微差异。

图1 光谱反射率的分数阶微分值
(a): 0~0.5; (b): 0.5~1; (c): 1~1.5; (d): 1.5~2
Fig.1 Fractional differential value of spectral reflectance
(a): 0~0.5; (b): 0.5~1; (c): 1~1.5; (d): 1.5~2

同时, 因微分计算过程本身是一种增加光谱信号分辨率的方法, 且阶数的选择具有连续性, 故能把微分计算过程中反射率微分值的细节变化准确地显示出来, 提升了光谱谱峰间的分辨能力, 如波峰波谷越来越明显[图1(a— d)]; 一些分数阶反射率微分值的绝对值在某些波段远大于整数阶反射率微分值绝对值, 如1.5阶、 1.6阶在525~550和600~650 nm间的波峰或波谷[图1(d)]; 相较于1.1阶和1.2阶, 1.3, 1.4, 1.5阶的反射率微分值与1阶反射率微分值的差异更大[图1(c)]; 相较于1.7阶、 1.8阶和1.9阶, 1.5、 1.6阶的反射率微分值与2阶反射率微分值的差异更大[图1(d)]。

2.2 相关系数(CC)通过0.01检验的波段数量

分析含盐量与R的21阶微分的相关性, 并对相关系数在0.01水平下检验显著性(图2)。 R从0.6阶起有波段通过0.01检验。 5种光谱变换分数阶微分值与含盐量的相关系数通过0.01检验的波段数量多于1阶, 出现在R和1/lgR变换的1.1和1.2阶, 而多于2阶主要出现在0.9, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6和1.7阶(图2)。 因此, 在微分值与含盐量的相关系数通过0.01检验的波段数量上, 均有较多的分数阶超过整数阶, 且多分布在1.1~1.7阶间。

图2 通过0.01检验的波段数量Fig.2 Number of bands tested by 0.01

2.3 分数阶相关系数绝对值大于整数阶的最大相关系数绝对值及提升百分比

在整数阶微分研究中, 通常利用其与含盐量相关系数最大绝对值建模。 因此, 只要分数阶微分值与含盐量的相关系数大于整数阶与含盐量相关系数最大绝对值, 且相关系数提升的百分比足够大, 则可证明分数阶可以提高光谱预处理的精度及建模精度。

5种变换分数阶微分值与含盐量的相关系数大于1阶相关系数最大绝对值, 且相关系数提升百分比较大的分数阶, 主要集中在1.3, 1.4和1.5阶(表1), 且1/lgR变换的1.4阶相关系数提升百分比最大, 为12.78%。

表1 分数阶相关系数绝对值大于1阶相关系数最大绝对值(相关系数/相关系数提升百分比) Table 1 CC absolute value of fraction greater than the maximum CC absolute value of 1 order (CC/CC increase percentage)

而5种变换分数阶微分值与含盐量的相关系数大于2阶相关系数最大绝对值, 且相关系数提升百分比较大的, 同样集中在1.3, 1.4和1.5阶(表2), 其中1/R变换的1.3阶相关系数提升百分比最大, 为13.03%。

表2 分数阶相关系数绝对值大于2阶相关系数最大绝对值(相关系数/相关系数提升百分比) Table 2 CC absolute value of fraction greater than the maximum CC absolute value of 2 order (CC/CC increase percentage)

2.4 各阶相关系数最大绝对值及对应波段

统计通过0.01检验的5种光谱变换分数阶微分值与含盐量的相关系数最大绝对值及其对应波段(表3)。 整数阶中, 1阶在880和845 nm, 属于近红外短波; 2阶在647和2252 nm, 属于红光和近红外长波。 而分数阶中, 0.6~0.9阶最大相关系数对应的波段主要出现1 802和1 803 nm, 属于近红外长波; 1.1~1.7阶最大相关系数对应的波段主要出现在598和618 nm, 属于橙光。

表3 最大相关系数绝对值及对应波段 Table 3 Max CC absolute value and its corresponding waveband

不论何种光谱变换, 各分数阶微分与含盐量最大相关系数对应的波段均出现在598 nm(1/R)和618 nm(R, R, 1/lgR和lgR), 且为1.3和1.4阶。

2.5 土壤含盐量预测最佳波段机理探讨

研究区土壤盐分主要的阳离子为Ca2+, Mg2+, K+和Na+, 分别占阳离子总量的27.97%, 2.77%, 3.52%和65.74%。 主要的阴离子为C O32-, HC O3-, Cl-和S O42-, 分别占阴离子总量的0.04%, 2.09%, 21.01%和76.86%。 S O42-和Na+, 两者累计占总量的72.17%(表4)。

表4 八大离子含量及其与总盐, S O42-, Cl-的单相关系数 Table 4 Eight ions contents and their single CC with total salt, S O42-, Cl-

Na+与总盐的相关性最好达0.738; 其次是S O42-为0.527; Ca2+与总盐相关性较小为0.309; 剩余5个离子与总盐相关性很低(表4)。 S O42-与Ca2+和Mg2+的相关较好。

钠原子光谱线主要由4个线系[6, 7]组成: 主线系、 第一辅线系(漫线系)、 第二辅线系(锐线系)和基线系。 主线系所呈现出的谱线较强, 仅仅有一条谱线位于可见光区, 其波长约为589.3 nm, 其余谱线均在紫外区出现。 锐线系具有谱线强度较弱, 谱线边缘较清晰的特点。 漫线系具有谱线较粗, 边缘模糊的特点。 基线系谱线强度较弱, 所有谱线均在红外区出现。 主线系因谱线较强, 实际中常采用589 nm进行钠原子光谱的测试。 因此, 研究区盐渍土光谱特性最主要受到Na+光谱的影响。

研究区Na+与总盐的相关性最好达0.738, 说明该研究区盐渍土光谱特性最主要受到Na+光谱的影响。 钠原子的主要谱线是589 nm, 而本研究区推断出较优含盐量波段是598和618 nm, 这两个波段均接近589 nm, 但有一定偏差, 主要有三方面原因。

(1) 盐渍土的盐分信息与土壤样品的多个组分有关, 且盐分与光谱反射率曲线呈现复杂的非线性关系, 通过光谱仪测试所得的光谱是土壤多种组分特征的综合表现。

(2) 参考《新疆农业技术手册》, 利用土壤中氯离子与硫酸根离子的比值(即Cl-/(2S O42-)统计(表5)。 研究区只有两种含盐类型盐渍土, 即硫酸盐型和氯化物-硫酸盐型。

表5 盐渍化土壤含盐类型 Table 5 Salt type of salinized soil

(3) 新疆准噶尔盆地的盐渍土含盐类型主要为易溶盐, 即氯盐和硫酸盐。 研究区S O42-与总盐的相关性达0.527, 说明该研究区盐渍土的光谱特性除受到Na+光谱的影响外, 一定程度上还受到S O42-光谱影响。 已有报道可用比浊法、 滴定法、 分光光度法等来分析硫酸根[8, 9], 如S O42-在分光光度法中的测定波长是632 nm, S O42-在比浊法中的测定波长是720 nm。 前人常用分光光度法测定硫酸根离子, 且S O42-的敏感波长集中在420和630 nm, 这个两个波段也接近本研究区推断出的较优含盐量波段598和618 nm。

因此, 无论是从土壤盐分离子占离子总量的百分比, 离子与盐分的相关性大小以及土壤含盐类型, 还是Na+和S O42-的光谱特征来看, 本研究区的盐渍土含盐量与各变换微分相关性最优的波段表现在598和618 nm主要是受到Na+和S O42-光谱的影响。

3 结 论

从5个方面探讨分数阶微分算法对无人类干扰盐渍土的野外光谱预处理精度提升的机理, 主要结论为:

(1) 分数阶微分算法能刻画出光谱间的细小差异, 深入挖掘原始光谱曲线间的细微区别, 避免重要信息丢失, 增强数据预处理效果, 凸显分数阶微分具有“ 敏感性” 的特点。 随着分数阶阶数的逐渐增大, 反射率微分值逐渐降低, 且向0值靠近。

(2) 各光谱变换微分值与含盐量的相关系数最大值, 均出现在分数阶。 而其大于1阶和2阶的相关系数最大绝对值的, 主要集中在1.3, 1.4和1.5阶。 其中, 1/lgR变换的1.4阶, 以及1/R变换的1.3阶, 相关系数提升幅度最大。 前者比1阶与土壤含盐量的相关系数最大值提升了12.78%, 而后者则比2阶与土壤含盐量的相关系数最大值提升了13.03%。

(3)不论何种光谱变换, 各分数阶微分与含盐量最大相关系数所对应的波段均为618和598 nm。 这主要因为盐渍土光谱受到碱金属钠原子光谱589.3 nm的影响所致。

参考文献
[1] Mashimbye Z E, Cho M A, Nell J P, et al. Pedosphere, 2012, 22(5): 640. [本文引用:1]
[2] WANG Jing-zhe, TASHPOLAT Tiyip, ZHANG Dong(王敬哲, 塔西甫拉提·特依拜, 张东). Transactions of the Chinese Society for Agricultural Machinery(农业机械学报), 2017, 48(05): 152. [本文引用:2]
[3] CAO Lei, DING Jian-li, YU Hai-yang(曹雷, 丁建丽, 于海洋). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报), 2016, 32(3): 101. [本文引用:1]
[4] ZHANG Dong, TASHPOLAT Tiyip, ZHANG Fei, et al(张东, 塔西甫拉提·特依拜, 张飞, ). Acta Optica Sinica(光学学报), 2016, 36(3): 282. [本文引用:2]
[5] Zheng Kaiyi, Zhang Xuan, Tong Peijin, et al. Chinese Chemical Letters, 2015, 26: 293. [本文引用:2]
[6] GU Ji-hong, YU Yuan-jun, KANG De-hua, et al(顾继红, 于媛君, 亢德华, ). Metallurgical Analysis(冶金分析), 2013, 33(10): 45. [本文引用:1]
[7] LI Si, BI Chao, DAI Ji-fu, et al(李斯, 毕超, 戴继福, ). Physics Experimentation(物理实验), 2015, 35(1): 42. [本文引用:1]
[8] WANG Jiao-liang, LONG Li-ping, XIE Dan(王姣亮, 龙立平, 谢丹). Chinese Journal of Applied Chemistry(应用化学), 2016, 33(7): 841. [本文引用:1]
[9] LIU Zhi-wei, ZHANG Jun-wei, PENG Qi-jun(刘志维, 张军伟, 彭奇均). Food and Fermentation Industries(食品与发酵工艺), 2012, 38(9): 163. [本文引用:1]