蒙特卡罗采样是从多个角度对数据集进行评估, 因此可以减少过拟合的风险。 采用蒙特卡罗采样法从数据集中随机抽取k个样本(通常占数据集的80%~90%)建立PLS回归模型并计算相应的回归系数矩阵, 经过M次采样后可得到一个回归系数矩阵B_{M× p}([b₁, b₂, …, b_j, …, b_p]), 并计算第j个波长变量的稳定性值为

sj=|b̅j|1M∑i=1M(bij-b̅j)2(2)

其中, s_j表示M次采样后第j个变量的稳定性值, b_ij是第i次蒙特卡罗采样中第j个变量的回归系数, b̅j为M次采样后第j个变量回归系数的平均值。 从式(2)可以看出, | b̅j|值越大, 标准偏差越小, 表明该变量的稳定性值越大, 重要性越强。

计算当前变量集剔除某个变量后模型性能的变化, 分析每个变量对模型性能的可信程度, 则采用一种后向选择方法。 该方法每执行一次都会从初始数据集中删除一个变量, 形成一个新的数据集, 并使用该数据集生成一个新模型。 以第j个变量为例, 分别计算当前变量集的校正均方根误差(root mean square error of calibration, RMSEC)RMSEC₀和当前变量集剔除第j个变量后的校正均方根误差RMSEC_j。 与RMSEC₀相比, RMSEC_j变小表明新模型的性能有所提高, 意味着第j个变量对模型性能有负面影响。 第j个变量的可信度定义为r_j

rj=RMSECj-RMSEC0(3)

变量的性能相互影响, 尚未淘汰的冗余变量可能会误导变量的选择。 因此通过迭代选择变量更为可靠。 模型随变量的选择而变化, 变量的稳定性和可信度也随每次迭代发生变化。 每一次迭代变量消除率并不相同。 最初, 变量集包含许多信息不丰富和不重要的变量, 这些波长点将被迅速消除, 这是一个“ 粗略选择” 阶段。 然后, 随着信息不足和不重要变量的减少, 消除速度会减慢, 因为如果波长点仍然被迅速消除, 关键变量可能会被错误地消除。 这一阶段称为“ 精选” 。 为了实现这两阶段变量的选择, 使用指数衰减函数(EDF)强制消除变量。 R_i被定义为第i次迭代时的变量保留率。 其中, a和k为第1次和第N次循环时样本集中建模数目, 为遍历所有变量, 第N次设为2个变量, 所以R₁=1; R_N=2/p, 在以上条件下, R_i可以表示为

Ri=ae-ki(4)

参数a和k表示为

a=p21N-1k=ln(p/2)N-1(5)

SCPLS以稳定性和可信度作为评价变量重要性的指标, 该方法通过交叉验证来评价模型的性能, 降低了过拟合的风险。 SCPLS算法具体步骤如下:

Step1: 设定循环次数初始值i=1;

Step2: 对数据集进行蒙特卡罗采样建立M个模型;

Step3: 计算第i次迭代的变量保留率R_i;

Step4: 依据回归系数计算各波长变量的稳定性指标, 剔除稳定性低的变量, 选择对浓度矩阵y贡献较大的变量;

Step5: 计算每个波长变量的可信度, 并利用EDF选择可信度高的变量, 把所选定的变量作为下一次迭代的新子集; 循环次数i=i+1;

Step6: 若i≤ N, 依次执行Step2, Step3, Step4, Step5; 若i=N+1, 执行Step7;

Step7: 经过N次循环, 获得N个变量子集, 分别用这N个变量子集建立偏最小二乘(PLS)模型, 计算各模型的RMSECV, 并选取RMSECV最小的变量集作为最优变量集。

在两个真实数据集上进行测试Zn(Ⅱ ), Cu(Ⅱ ) 和Co(Ⅱ )混合溶液的紫外-可见光谱数据集和Zn(Ⅱ )和Co(Ⅱ )混合溶液的紫外-可见光谱数据集。

1.5.1 UV-Vis数据集1

UV-Vis数据集1使用北京普析T9紫外可见分光光度仪获得。 该数据集含有27个Zn(Ⅱ ), Cu(Ⅱ )和Co(Ⅱ )混合溶液样品的紫外-可见光谱数据, 在400~700 nm范围内, 间隔1.0 nm测量并打印各点的吸光度。 混合溶液中Zn(Ⅱ ), Cu(Ⅱ ) 和Co(Ⅱ )的浓度范围是0.1~1.0 mg· L^-1, 用2-(5-溴-2-吡啶偶氮)-5-二乙氨基苯酚(5-Br-PADAP)溶液作为显色剂。 吸光度矩阵X包含27个样品在301个波长点(400~700 nm)的吸光度。 浓度矩阵分别为y_Zn, y_Cu和y_Co。 该数据集的原始紫外-可见光谱如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 数据集1的原始紫外-可见光谱Fig.1 The original UV-Vis spectra of dataset 1

1.5.2 UV-Vis数据集2

UV-Vis数据集2采用与UV-Vis数据集1相同的方法获得。 该数据集含有80个Zn(Ⅱ )和Co(Ⅱ )混合溶液样品的紫外-可见光谱数据。

混合溶液中Zn(Ⅱ )和Co(Ⅱ )的浓度范围分别为0.5~4.0和0.25~2.50 mg· L^-1, 用二甲酚橙溶液作为显色剂。 吸光度矩阵X包含80个样品在301个波长点(400~700 nm)的吸光度。 浓度矩阵分别为y_Zn和y_Co。 该数据集的原始紫外-可见光谱如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 数据集2的原始紫外-可见光谱Fig.2 The original UV-Vis spectra of dataset 2

SCPLS方法的性能受以下3个参数的影响: 蒙特卡罗采样率, 蒙特卡罗采样数和迭代次数, 分别表示为R, M和N。 为了分析R, M和N对SCPLS性能的影响, 采用了一系列不同的R, M, N的值对SCPLS的性能进行了测试: M范围设置为50~300, 间隔为50并且R=0.9, N=100; R的范围设置为0.8~0.9, 间隔为0.025并且M=100, N=100; N设置为10~200, 并且R=0.9, M=100。 UV-Vis数据集1中Zn(Ⅱ )的三个参数的箱形图如图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 UV-Vis数据集1中Zn(Ⅱ )的R (a), M (b)和N (c)的箱形图Fig.3 The box-plots of R (a), M (b) and N (c) for Zn(Ⅱ ) in UV-Vis dataset 1

从图3中可以看出, 在UV-Vis数据集1中, Zn(Ⅱ )的最佳蒙特卡罗采样率R和采样数M分别为0.825和50, 并且迭代次数N的最佳范围为100~200。

分析Zn(Ⅱ )的波长变量选择过程, 并采用留一交叉验证方法对模型性能进行评价。 RMSECV的变化趋势和所选变量的数量如图4所示。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 RMSECV值的变化趋势(a)和Zn(Ⅱ )的所选变量数(b)Fig.4 The change trend of the RMSECV values (a) and number of selected variables for Zn(Ⅱ ) (b)

图4(a)表明RMSECV的值在开始时(迭代1~35次)明显下降, 是因为消除了最不重要的变量。 然后, RMSECV值的下降(迭代35~58次)是由于消除率较低和被淘汰变量的重要性增加所致。 在RMSECV到达最低点(迭代58次)后, 继续迭代则会消除关键变量, 因此RMSECV值开始增加(迭代58~100)。 在所有迭代完成之后, 选择具有最小RMSECV值的子集作为最优子集。 图4(b)表明变量的数量先是迅速减少, 然后随着迭代次数的增加而减慢, 这两个阶段被认为是“ 粗略选择” 和“ 细化选择” 阶段。

为了进一步评估SCPLS方法的性能, 在同一数据集上应用了几种常用的变量选择方法, 即MWPLS, MCUVE, CARS和SCARS, 所选波长结果如图5(a, b, c)所示。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 5种不同方法对UV-Vis数据集1中Zn(Ⅱ )的波长选择性能的比较 (a): RMSEC较小; (b): MCUVE法稳定性较高; (c): 各方法比较Fig.5 Comparison of wavelengths selected by five different methods for Zn(Ⅱ ) of UV-Vis dataset 1 (a): MWPLS method for smaller RMSEC; (b): MCUVE method for more slability; (c): Comparision results of wavelength selection of each method

图5(a)表明用MWPLS(窗口大小为15)筛选出较小RMSEC的波长区域为505~519和527~583 nm, 图5(b)表明用MCUVE筛选出较高稳定性的波长区域为430~456, 476~501, 521~524, 535~554和556~580 nm。 在图5(c)中可以看到与MWPLS和MCUVE相比, CARS, SCARS和SCPLS会优先选择离散波长变量。 尽管这5种波长选择方法筛选出一些相同的波长点, 但是它们仍有许多不同之处。 MCUVE没有选择稳定性的局部峰461~471 nm, 相反, 使用CARS, SCARS和SCPLS从该区域中选择了几个波长点, 表明这些方法以迭代方式可以更好地选择潜在变量。 并且通过CARS, SCARS和SCPLS选择的波长点也不相同。 MWPLS选中波长区域505~510和527~533 nm, SCPLS在该区域选中3个波长点, 但MCUVE, CARS和SCARS在该区域没有选中波长点。 这是因为MWPLS和SCPLS都以变量对模型性能的影响为标准进行选择的。

同样, 在UV-Vis数据集1中, SCPLS对Cu(Ⅱ )和Co(Ⅱ )的波长选择性能也与MWPLS, MCUVE, CARS和SCARS进行了比较, 结果如图6(a— f)所示。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 5种不同方法对UV-Vis数据集1中Cu(Ⅱ )(a— c)和Co(Ⅱ )(d— f)波长选择性能的比较Fig.6 Comparison of wavelengths selected by five different methods for Cu(Ⅱ ) (a— c) and Co(Ⅱ ) (d— f) of UV-Vis dataset 1

从图6(c)中可以看出CARS, SCARS和SCPLS比MWPLS和MCUVE选择的变量少。 SCPLS在515~530和570~580 nm波段的波长选择与MWPLS, MCUVE, CARS或SCARS方法的选择相似, 但是SCPLS选择的波长比CARS和SCARS所选择的波长要少。 在图6(f)中, CARS, SCARS和SCPLS的波长选择差异更大。 SCPLS在RMSEC的局部槽或稳定性的局部峰中选择了许多其他方法没有选择的波长点, 例如400~475和515~520 nm波段。 这个结果反映了SCPLS具有更好地选择潜在变量的能力。

表1展示了使用全光谱PLS, MWPLS, MCUVE, CARS, SCARS和SCPLS的RMSECV值、 潜在变量数以及选定变量数。 与全光谱PLS相比, 波长选择方法选择较少的变量, 并获得较小的RMSECV值。 在所有方法中, SCPLS获得最小的RMSECV值, 并且使用SCPLS得到的潜在变量数和选择的变量数与CARS和SCARS相似。 此外, 使用SCPLS方法得到的Zn(Ⅱ ), Cu(Ⅱ )和Co(Ⅱ )的RMSECV值分别比全光谱PLS下降60.5%, 40.2%和31.8%, 与SCARS相比分别下降29.8%, 26.1%和0.8%。

表1

Table 1

表1(Table 1)

表1 UV-Vis数据集1的6种方法的性能结果 Table 1 Results of six methods of variable selection for UV-Vis dataset 1 Method Zn Cu Co RMSECV nLVsa nVARb RMSECV nLVsa nVARb RMSECV nLVsa nVARb PLSc 0.071 31 7 301 0.044 44 6 301 0.017 63 5 301 MWPLS 0.065 63 7 72 0.038 90 6 96 0.013 92 5 51 MCUVE 0.060 18 7 77 0.037 42 6 43 0.012 95 5 28 CARS 0.046 06 6 9 0.036 94 5 26 0.012 13 5 8 SCARS 0.040 15 6 13 0.035 98 5 20 0.012 17 5 5 SCPLS 0.028 20 7 14 0.026 58 6 13 0.012 07 5 8 注: nLVsa表示PLS的潜在变量的数量; nVARb表示选定变量的数量; PLSc采用全光谱(400~700 nm)PLS建模

表1 UV-Vis数据集1的6种方法的性能结果 Table 1 Results of six methods of variable selection for UV-Vis dataset 1

UV-Vis数据集1经SCPLS建模后样本浓度预测值和实际值之间的散点图如图7所示, Zn(Ⅱ ), Cu(Ⅱ )和Co(Ⅱ )平均相对误差分别为2.14%, 1.25%和0.74%, 其中Zn(Ⅱ )的最大相对误差为4.67%, Cu(Ⅱ )的最大相对误差为3.99%, Co(Ⅱ )的最大相对误差为3.12%, 该方法检测精度较高, 效果较理想。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 实际值与预测值的散点图 (a): Zn(Ⅱ ); (b): Cu(Ⅱ ); (c): Co(Ⅱ )Fig.7 Scatter diagram of actual value and predicted (a): Zn(Ⅱ ); (b): Cu(Ⅱ ); (c): Co(Ⅱ )

将SCPLS方法应用于UV-Vis数据集2, 与UV-Vis数据集1相似, 也对三个参数进行了优化。 对于UV-Vis数据集2中的Zn(Ⅱ ), R, M和N分别设为0.9, 50和150; 对于UV-Vis数据集2中的Co(Ⅱ ), R, M和N分别设为0.9, 250和100。 采用十折交叉验证RMSECV对模型性能进行了评价。

图8显示了五种方法(MWPLS, MCUVE, CARS, SCARS和SCPLS)对UV-Vis数据集2的波长选择情况。 许多变量既被SCPLS选择, 也被CARS或SCARS选择, 但是仍有许多不同。 例如, 在图8(c)中, SCPLS在420~450 nm波段范围内选择了三个波长点, 其中一个在稳定性的局部峰和一个在RMSEC的局部槽, 而其他方法则没有选择。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 5种不同方法对UV-Vis数据集2中Zn(Ⅱ )(a— c)和Co(Ⅱ )(d— f)波长选择性能的比较Fig.8 Comparison of wavelengths selected by five different methods for Zn(Ⅱ ) (a— c) and Co(Ⅱ ) (d— f) of UV-Vis dataset 2

表2展示了使用六种方法的RMSECV值、 潜在变量数以及选定变量数。 波长选择方法的RMSECV值都小于全光谱PLS方法的RMSECV值。 与UV-Vis数据集1的结果相比, 使用MWPLS的结果要好于使用MCUVE, CARS和SCARS方法的结果, 这表明基于模型统计性能评价变量的选择方法要比基于此数据集中的变量属性评价变量的选择方法有更好的性能。 SCPLS是基于变量稳定性和可信度来评价变量的, 该方法得到了所有方法的最小RMSECV值。 并且使用SCPLS方法得到的Zn(Ⅱ )和Co(Ⅱ )的RMSECV值分别比全光谱PLS下降39.4%和24.9%, 与SCARS相比分别下降35.3%和13.3%。

表2

Table 2

表2(Table 2)

表2 UV-Vis数据集2的6种方法的性能结果 Table 2 The results of six methods of variable selection for UV-Vis dataset 2 Method Zn Co RMSECV nLVsa nVARb RMSECV nLVsa nVARb PLSc 0.137 59 5 301 0.080 07 4 301 MWPLS 0.110 16 5 57 0.067 48 4 58 MCUVE 0.126 11 5 35 0.072 39 4 142 CARS 0.122 12 5 7 0.069 40 3 5 SCARS 0.128 79 4 5 0.069 34 3 5 SCPLS 0.083 39 5 10 0.060 12 4 5 注: nLVsa表示PLS的潜在变量的数量; nVARb表示选定变量的数量; PLSc采用全光谱(400~700 nm)PLS建模

表2 UV-Vis数据集2的6种方法的性能结果 Table 2 The results of six methods of variable selection for UV-Vis dataset 2

UV-Vis数据集2经SCPLS建模后样本浓度预测值和实际值之间的散点图如图9所示, Zn(Ⅱ )和Co(Ⅱ )平均相对误差分别为1.23%, 1.10%, 其中Zn(Ⅱ )的最大相对误差为4.45%, Co(Ⅱ )的最大相对误差为4.57%, 该方法检测精度较高, 效果较理想。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 实际值与预测值的散点图 (a): Zn(Ⅱ ); (b): Co(Ⅱ )Fig.9 Scatter diagram of actual value and predicted (a): Zn(Ⅱ ); (b): Co(Ⅱ )