实验使用布鲁克MATRIX-F型傅里叶红外光谱仪(OPUS定量分析软件包, 德国Bruker公司)和漫散射反射式光纤探头来采集油砂的近红外光谱, 光谱分辨率为2 cm^-1, 光谱测定范围800~2 500 nm积分时间为32 s, 分析软件为The Unscrambler-X(Camo Software Inc.), Matlab R2010a。

随机采集某油砂富集地区不同地质条件下的877个油砂样品并用标准法测定了油砂金属钠的含量。 在877个油砂样品中分离出146个样品作为独立验证部分的未知样品预测集, 不作任何处理。 剩余731个样品用于建模与验证部分, 用Kennard-Stone法根据2:1的比例分为488个样品和243个样品, 分别作为校正样品集和验证样品集。 Kennard-Stone方法的原理是依据变量之间的欧式距离, 在样品光谱的特征空间里依次选取距离最大的样品为校正集样品^[12], 能够避免人为选取的主观盲目性。 表1为标准方法测定所有油砂样品的钠金属含量值的分布情况。

表1

Table 1

表1(Table 1)

表1 油砂金属钠含量分布情况 Table 1 Statistical values of Na in oil sands 样本集 样本数 数据范围/ (mg· kg-1) 平均值/ (mg· kg-1) 标准差 校正集 488 35.505~506.974 155.335 78.865 验证集 243 40.422~506.974 157.201 69.743 预测集 146 55.353~506.974 172.315 67.136

表1 油砂金属钠含量分布情况 Table 1 Statistical values of Na in oil sands

首先将所有油砂样品放置于冰箱中, 保持4 ℃温度, 等待样品温度达到稳定状态, 对877个样品依次等时间间隔扫描3次, 共得到877× 3=2 631组样品光谱数据。

在近红外光谱采集过程中, 往往包含一些与待测样品性质无关的因素, 如仪器本身性能的漂移、 杂散光、 人员操作以及外界温度干扰等, 致使近红外光谱一定程度的变化, 因此适当的光谱预处理能够提高所建模型的预测性能^[13]。 对原始光谱数据进行一阶微分、 多元散射校正方法分别克服基线漂移、 油砂颗粒对光谱的影响。 经过预处理后的近红外光谱如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 预处理后的油砂光谱Fig.1 Preprocessed near infrared spectra of oil sands

将油砂中钠含量测定值与校正集中对应的油砂近红外光谱数据相结合, 用Lasso方法建立金属钠含量的近红外数学模型。 Lasso^[14]的基本思想是在无偏估计— — 最小二乘法的基础上加上一个惩罚项, 通过使系数的绝对值和小于某一常数来最小化残差平方和。 由于加入一个小的惩罚项, 所以Lasso算法相比于无偏的普通最小二乘法来说是有偏估计的, 通过牺牲一部分偏差来提高模型预测能力使模型更为稳定, 同时将与Y关系弱的自变量系数压缩为0从而实现稀疏性^[15]。

考虑一般线性回归模型: Y=Xβ +e, 其中X是n× m阶自变量矩阵, Y是n× 1阶响应变量, β 是m× 1阶向量系数; e是n× 1阶误差向量, 且var(e)=σ ²、 E(e)=0。 对Y中心化, X标准化处理, 故模型不包含截距项。 普通最小二乘法估计 min∑i=1n(yi-∑j=1mβjxij)2, 求得β^ols=(XTX)-1XTy。普通最小二乘在∑j=1m|βj|≤t的约束条件下, 称为Lasso回归

β^lasso=argmin∑i=1n(yi-∑j=1mβjxij)2s.t.∑j=1m|βj|≤t(4)

根据Lagrangian乘数法, 上述问题等价于

β^lasso=argmin∑i=1n(yi-∑j=1mβjxij)2+λ∑j=1m|βj|(5)

考虑到系数压缩的性质可以通过正交设计情形获得, 所以令X为n× m的正交设计矩阵, 使得X^TX=I, 那么Lasso估计的解能够表示为

β̂lasso=sign(β̂ols)(|β̂ols|-λ)+(6)

因此Lasso通过系数压缩、 变量选择能够克服普通最小二乘的缺点, 不仅可以解决样本数量小于变量数目情况下的过拟合问题以提高预测精度, 也减轻或消除了无关变量的影响使模型解释性增强。

Lasso建模方法在光谱分析领域中的应用没有PLS建模广泛, 但是仍具有令人惊叹的效果。 此小节我们旨在用Lasso算法建立金属钠含量的校正模型, 回顾式(5)

β^lasso=argmin∑i=1n(yi-∑j=1mβjxij)2+λ∑j=1m|βj|

在Lasso回归中, 正则项的存在是Lasso算法和普通最小二乘本质最为不同的地方, 参数的大小又决定了正则化项对残差平方和的惩罚力度, 图2显示了通过交叉验证在均方误差(mean squared error, MSE)最小时确定的参数, 箭头所指即为最优。 图3为预测系数β 与λ 的关系, 从中可以看出λ 值越大, 惩罚力度越大, λ =1时惩罚力度最大, β 系数全部压缩为零; λ =0时惩罚力度最小, β 系数是普通最小二乘的原始解。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 参数λ 值的选择Fig.2 The selection of λ value

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 参数λ 与β 关系Fig.3 The relationship between parameters λ and β

采用全近红外波段光谱, 结合Lasso方法对油砂样品建立金属钠含量与光谱之间相关联的校正模型, 并与应用广泛的PLS方法建模对比验证其算法的可行性及适用范围, 建模参数选择如表2所示。 PLS算法建模时选取主成分数为4, 该算法建模时对变量整体降维, 对所有的变量在不同空间进行投影, 因此PLS算法对所有变量都予以保留, 并没有进行选择; 相反Lasso算法把变量数目从506个压缩至63个, 对变量进行了筛选, 且求出的系数β 可以与每个变量一一对应, 有利于我们找到和响应不相关的变量并进行剔除, 保留和响应相关性强的变量用于建模分析。

表2

Table 2

表2(Table 2)

表2 金属钠含量在不同模型下的评价结果 Table 2 The evaluation results of metallic sodium contents under different models 模型 变量数 主成分数/λ 建模与验证 独立验证 RMSEC Rc RMSEV Rv RMSEP Rp PLS 506 4 32.360 1 0.808 0 34.823 6 0.878 8 33.268 7 0.857 9 Lasso 63 0.007 6 32.196 7 0.796 7 34.213 4 0.887 4 34.384 1 0.860 0

表2 金属钠含量在不同模型下的评价结果 Table 2 The evaluation results of metallic sodium contents under different models

图4与图5分别是Lasso与PLS两种方法在488个校正集样品、 243个验证集样品和146个未知样品预测集下的建模结果。 图4与图5的差异并不明显, 为了进一步对比两种方法的精度, 计算模型评价指标, 如表2所示。 PLS与Lasso算法不分伯仲, Lasso方法所得结果的R_v与R_p较高, 可见Lasso建模的预测精度更高一些。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 Lasso模型的拟合值与真实值对比图 (a): 校正集; (b): 验证集; (c): 预测集Fig.4 Correlation of predicted and measured values based on Lasso (a): Calibration set; (b): Validation set; (c): Prediction set

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 PLS模型的拟合值与真实值对比图 (a): 校正集; (b): 验证集; (c): 预测集Fig.5 Correlation of predicted and measured values based on PLS (a): Calibration set; (b): Validation set; (c): Prediction set

因此, 传统PLS算法处理过程背景都比较熟悉的领域且影响因素较为明确的问题比较合适, 而对于陌生领域或工况复杂的过程, Lasso算法估计出模型的同时还可以筛选出重要变量, 对实际生产过程比如故障诊断也有借鉴意义。