Lasso的基本思想是在回归系数的绝对值之和小于调整参数的约束条件下, 使残差平方和最小, 从而可以将某些不重要自变量的回归系数收缩为零。 Lasso可以看作是在最小二乘估计的基础上对回归系数进行非线性约束, 因此该方法可以同时进行变量选择和参数估计。

针对线性模型(4), Lasso回归系数可以表示为

β̂lasso(λ)=argβminSSE+λ∑j=1pβj(5)

其中SSE代表残差平方和

SSE=∑i=1nyi-∑j=1pxijβj2(6)

式(5)也可等价的表示为

β̂lasso(λ)=argβminSSE+λ∑j=1pβjsubjectto∑j=1pβj≤t(7)

其中t≥ 0是约束值, 调整参数λ 的选取和t有关。 采用循环坐标下降算法对Lasso进行变量选择, 同时采用交叉验证法选取最优调整参数^{[7, 9]}。

虽然Lasso方法可以同时进行变量选择和参数估计, 并且在样本容量n大于待选自变量数目p时取得了不错的效果, 但也存在以下缺点: 当待选自变量数目p远远大于样本容量n时, Lasso方法对所有自变量系数进行相同程度的压缩, 最终选出解释变量的数目至多为n, 虽然此时的线性稀疏模型具有解释能力, 但由于过度压缩造成重要自变量丢失将大大降低模型的预测精度。 Elastic Net回归作为对Lasso方法的改进, 很好的解决了Lasso方法中存在的过度压缩问题。 针对线性模型(4), Elastic Net回归系数可以表达为

βEN(λ1, λ2)=(1+λ2)argβminSSE+λ1∑j=1pβj+λ2∑j=1pβj2(8)

从式(8)可以看出, Elastic Net回归对自变量系数的绝对值和平方同时进行压缩, 既实现了变量选择与参数估计的同步进行, 又可以在p≫n的情况下防止删失重要自变量, 提高模型预测精度。

值得注意的是, 若令α =λ ₁/(λ ₁+λ ₂), λ =λ ₁+λ ₂, 则式(8)可等价的表示为

βEN(λ1, λ2)=argβminSSE+α∑j=1pβj+λ(1-α)∑j=1pβj2(9)

从等价表达式(9)更容易看出, Elastic Net回归是对Lasso回归的改进, 当α =1式(9)退化为Lasso回归(5)。

实际上, 如果把Elastic Net和Lasso回归系数估计同时写为如下矩阵形式^[5]

β˙EN(λ1, λ2)=argβminβTXTX+λ2I1+λ2β-2yTXβ+λ1∑j=1pβj(10)β̂Lasso(λ1)=argβminβT(XTX)β-2yTXβ+λ1∑j=1pβj(11)

对比式(10)和式(11)可以发现: 与Lasso相比, Elastic Net只是在X^TX的基础上多了λ ₁倍的单位矩阵和对整体的系数1/(1+λ ₂), 一旦调整参数λ ₂固定下来, 多出来的部分可以看做对X^TX的线性变换, 此时Elastic Net解的路径和Lasso问题一致, 因此我们可以借助于Lasso回归的求解过程来求解Elastic Net问题。

由于Elastic Net含有两个调整参数, 故其求解步骤可以分两步来完成^[9]:

(1) 固定参数λ ₂, 改变参数λ ₁, 借助Lasso问题求解的算法, 求解的路径, 利用交叉验证准则找出最优参数估计^[14];

(2) 改变参数λ ₂, 找出一组最优系数估计, 然后对一组最优系数利用交叉验证准则, 找出最终系数估计值。

试验样品为某实验室提供的化工原料聚苯醚, 为液态。 以该原料中邻甲酚的浓度作为样品质量指标。 采用德国Bruker公司生产的MATRIX-F型傅里叶红外光谱仪(含OPUS定量分析软件包)进行数据采集, 设置光谱测量波长范围为10 000~4 500 cm^-1, 分辨率为8 cm^-1。

共200个化工原料样品, 对每个样品测量其邻甲酚浓度值; 同时用近红外光谱仪对每个样品连续扫描3次, 获得600组光谱样本数据。 为消除基线漂移和背景干扰, 对重叠峰提高分辨率, 对原始光谱进行一阶导数预处理^[12], 处理后的光谱如图1所示。 然后将测得的600组样本, 提取前400组作为训练集进行建模, 剩下的200组作为测试集来检验模型的预测精度。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 预处理前后光谱图Fig.1 Spectra before (a) and after (b) pretreatment

Lasso方法进行变量选择时, 其解的路径如图2所示, 横坐标表示调整参数λ 的对数值, 纵坐标表示每个自变量系数取值的变化趋势。 由于在求解的过程中, 调整参数λ 代表对自变量系数的惩罚力度或者约束程度, 因此随着λ 的不断增大, 必然会有自变量系数绝对值变小直至缩减为零的现象。 从图中可以看出随着Log(λ )的增大, 自变量系数不断缩减, 直至为零。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 变量系数随参数λ 变化Fig.2 Coefficients vary with the parameter λ

同时, 在Lasso问题的求解过程中, 需要利用交叉验证找出最优的调整参数, 即在均方误差(mean squared error, MSE)最小时确定最优调整参数。 交叉验证准则和调整参数的关系如图3所示, 黑色箭头所指即为最优调整参数λ 。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 最优调整参数λ Fig.3 Optimal adjustment parameter λ

Elastic Net方法进行变量选择时, 其解的路径如图4所示, 横坐标表示调整参数λ ₁的对数值, 纵坐标表示每个自变量系数取值的变化趋势。 此时固定λ ₂=1, 从图中可以看出, 随着调整参数λ ₁的增大, 自变量系数值不断缩减直至为零。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 自变量系数随参数λ 1变化Fig.4 Coefficients vary with the parameter λ 1

相应的, 图5是在λ ₂=1时, 通过交叉验证准则选出最优的系数估计值的过程。 值得注意的是, Elastic Net的求解, 到此只是完成一半, 接下来通过调整参数λ ₂, 得到一系列系数估计, 然后利用交叉验证准则, 确定最优的自变量系数。

另外, 对比图2和图4可以发现, 图4的彩色线条数量明显多于图2, 这说明Elastic Net在求解过程中, 对系数的压缩程度明显小于Lasso方法, 因此有更多的自变量进入模型。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 最优调整参数λ 1Fig.5 Optimal adjustment parameter λ 1

两种建模方法分别用于训练集和预测集的残差序列曲线, 也即e(i)=y(i)- y˙(i)的序列分布图如图6和图7。 从图中可以看出无论是训练集还是预测集, Lasso方法的模型残差波动幅度大于ElasticNet方法, 说明Elastic Net方法拟合效果较好。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 训练集残差分布曲线Fig.6 Distribution curve of residual error in training set

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 预测集残差分布曲线Fig.7 Distribution curve of residual error in predicting set

进一步对比两种变量选择方法, 各自的模型评价指标如表1所示。 从表1可以看出, Elastic Net的复相关系数和调整的复相关系数都大于Lasso, 表明Elastic Net所建立的线性模型更能准确地反映光谱与邻甲酚浓度之间的线性关系, 即模型具有较好的解释能力; 同时Elastic Net的平均相对预测误差MRPE小于Lasso, 且其预测相关系数较大, 因此具有较好的预测性能。

表1

Table 1

表1(Table 1)

表1 不同方法所建立模型的的评价指标 Table 1 Evaluation indicators for models based on different methods 方法 解释性能 预测精度 R2 Ra2 MRPE/% Rp Lasso 0.94 0.93 4.51 0.96 Elastic Net 0.97 1.00 3.25 0.98

表1 不同方法所建立模型的的评价指标 Table 1 Evaluation indicators for models based on different methods