本方法在两组真实的公开数据集上进行了测试:

小麦数据(wheat data)^[19]: 在光谱范围850~1 050 nm内均匀的取100个波长测量小麦种子的近红外透射光谱, 并用于校准蛋白质含量。数据集包含已划分好的415个样本的校准集和108个样本的测试集。

猪肉数据(meat data)^[20]: 在光谱范围850~1 050 nm内均匀的取100个波长测量猪肉的近红外透射光谱, 用于标定脂肪含量。数据集包含已划分好的172个样本的校准集和43个样本的测试集。

小麦数据可在以下网站下载: www.models.life.ku.dk/datasets; 猪肉数据可在以下网站下载: http://lib.stat.cmu.edu/datasets/tecator。

对光谱数据进行预测, 通常采用如式(1)进行建模

minβ‖Xβ-y‖(1)

式(1)中, X为光谱矩阵, y为响应变量。由于光谱矩阵具有典型的高维共线特点, 回归系数β 无法直接求解式(1)得到^[21]。本研究采用PLS算法建模求解该系数。

为了去除光谱中的无关信息, 建模前通常要使用预处理方法。改写式(1)可以得到

minβ‖f(X)β-y‖(2)

光谱采集过程受到众多因素的干扰。单一的预处理方法往往难以取得理想的效果, 多种预处理方法组合使用已经成为预处理步骤的趋势。多种预处理方法按照一定的顺序处理原始光谱数据, 以此消除光谱中与建模无关的信息。令最大预处理方法数量为m, f_i为第i个预处理方法, 多种预处理方法组合建模可以表示为

minβ‖fi(…f2(f1(X)))β-y‖(3)

式(3)中i≤ m。

本文提出一种简单高效的预处理组合寻优方法, 并对预处理方法的个数和处理顺序进行优化。令经过该方法优化后的预处理组合为F, 本文所提方法的优化目标可以表示为

minβ‖F(X)β-y‖(4)

对于这个优化问题, 采用贪婪算法(greedy algorithm), 它是一个经典的寻优算法, 其基本思想是将一个问题的求解过程看作是一系列(多轮次)的选择, 每次选择一个当前状态下的最优选择, 而每做一次选择后, 所求的问题会简化为一个规模更小的子问题, 从而通过每一步的最优解逐步找到整个问题的最优解^[22]。实际上, 对复杂的光谱数据而言, 寻找一个建模效果最好的预处理方法或组合本质上就是一个优化问题。贪婪算法的执行速度快, 易于实现, 在优化问题领域广泛使用。

本文提出的策略具体流程如下: 首先建立一个预处理方法库, 将样品的训练集分别经过库中的预处理方法处理, 然后利用PLS算法建模, 计算每一轮建模的RMSEC, 找到最低的RMSEC预处理方法, 最后利用十折交叉验证, 寻找最优的潜在变量数并建模, 计算其RMSECV, 以RMSECV为收敛标准, 优化整个数据集的预处理组合及其潜在变量数目, 完整策略描述见算法1。

算法1: 本研究提出的的预处理组合优化策略

输入: 光谱矩阵X, 响应变量y, 预处理方法库P, 最大候选方法数目m

输出: 最优预处理组合f={f₁, …, f_k}

1: 初始化f={⌀}、 第i轮的最优预处理方法f_i、 参数j

2: i← 1

3: while优化过程未收敛do

4: j← 1

5: for j< m do

6: 应用第j个候选方法P_j对X进行预处理并建模, 计算RMSEC_j

7: j← j+1

8: end for

9: c← arg minjRMSEC_j

10: f_i← P_c

11: 对组合{f₁, …, f_i}建模进行十折交叉验证, 得到RMSECV_i

12: if RMSECV_i> RMSECV_i-1 then

13: 退出并输出f

14: end if

15: f← {f₁, …, f_i}

16: i← i+1

17: endwhile

目前预处理方法数量众多, 有些方法需要设置内部参数, 想要顺利优化组合需要花费大量时间和计算资源。参考文献[14, 16]的预处理方法, 总结选取了在近红外光谱领域常用的8种预处理方法, 设置合适的参数, 构建预处理方法库见表1, 供算法迭代。

表1

Table 1

表1(Table 1)

表1 预处理方法库 Table 1 Library of pre-processing methods 预处理方法 参数描述 None 不做任何预处理 Center 均值中心化, 默认参数 Standardization 标准化, 默认参数 SNV 标准正态变化, 默认参数 MSC 多元散射校正, 默认参数 SG-15-2-0* SG平滑, 平滑窗口为15, 多项式次数为2 SG-15-2-1 依次做SG平滑及一阶导数, 平滑窗口为15, 多项式次数为2 SG-15-2-2 依次做SG平滑及二阶导数, 平滑窗口为15, 多项式次数为2 注: * SG-O-P-Q: 指利用Savitzky and Golay方法先对数据进行窗口宽度为O, 多项式拟合次数为P的平滑处理, 再对平滑后的数据进行Q阶求导处理 Note: * SG-O-P-Q: means that firstly the raw data is smoothed by S-G method with a window length of O and a polynomial fit number of P, and then the smoothed data is processed by a Q-order derivation

表1 预处理方法库 Table 1 Library of pre-processing methods

选用光谱定量分析中的经典的PLS算法^[23], 使用了Stacked策略和SPORT策略作为对比方法。Stacked策略是通过不同的预处理训练多个回归模型, 然后将它们与交叉验证或模型平均等方法相结合, 期望得到更稳定、 更精确的PLS模型^[14]。SPORT策略是一种多块数据融合方法, 将多个预处理方法处理后的数据作为多块数据来处理, SPORT策略的核心思想是将解决预处理优化问题融入到PLS多元线性矫正步骤中^[15], 得到一个增强过程。利用PLS算法建模符合控制变量法要求^[24]。

表2展示了原始数据(未进行预处理)、 经过一些单一预处理(Single)或两种预处理方法组合使用(Double)后进行PLS建模后的结果。可以注意到, 原始数据建立的模型性能较差, 并且在小麦数据和猪肉数据的情况下都需要大量的潜在变量。当利用单个预处理方法时, 大多数预处理方法效果并不明显。对于小麦数据集, 较好的单一预处理方法是SNV。它使原始数据构建的模型的RMSEP从0.78降低到0.60, 预测均方根误差降低了23%。对于猪肉数据集, 多数单一预处理方法对模型校准效果并不显著, 相对较好的方法是SNV和SG平滑, 前者在校正集上相较原始数据建模均方根误差降低了约8%, 后者在测试集上降低约7%的均方根误差。观察两种预处理组合策略的应用情况, 文献[6]提出使用先进行平滑去除噪声再进行求导来突出特征信息的两种预处理方法组合(SG-O-P-Q)处理数据, 在两种数据集上相较于单一预处理方法建模结果有一定提升, 如在小麦数据集中Double策略表现最好的SG-15-2-2, RMSEC和RMSEP两项指标相较SNV都有一定程度的下降。从上面的结果显示, 两组数据集经过单个预处理方法或两种预处理方法组合后建模效果均有提升, 这表明合适的预处理方法组合对模型校正有更稳健的效果。

表2

Table 2

表2(Table 2)

表2 单一预处理和两种预处理组合策略在小麦和猪肉数据上的评估结果 Table 2 Evaluation results of single preprocessing and two preprocessing combination strategies on wheat and meat data 策略 预处理方法或组合 小麦 猪肉 LVs RMSEC RMSEP LVs RMSEC RMSEP None - 10 0.54 0.78 12 2.11 2.26 Single Standardization 8 0.54 0.72 10 3.09 2.48 Center 9 0.58 0.66 6 2.83 2.82 SNV 10 0.54 0.60 8 1.93 2.40 MSC 10 0.54 0.66 9 2.28 3.01 SG-15-2-0 8 0.58 0.62 8 2.86 2.09 Double SG-15-2-1 9 0.55 0.66 9 2.77 2.62 SG-15-2-2 8 0.51 0.55 16 1.95 2.11

表2 单一预处理和两种预处理组合策略在小麦和猪肉数据上的评估结果 Table 2 Evaluation results of single preprocessing and two preprocessing combination strategies on wheat and meat data

表3展示了小麦和猪肉数据集用Stacked、 SPORT及本文提出策略的建模结果。据文献[14]解释, 对于小麦数据集, 堆叠模型的性能略优于最佳单块预处理, 而对于猪肉数据集, 堆叠模型的性能更好(RMSEP从2.26降低到1.82, 降低了约19%)。相比之下SPORT策略结果要优于堆叠模型, 小麦和猪肉数据集的RMSEP分别从0.57降低到0.47, 从1.82降低到1.65, 相应降低了18%和9%。而本研究提出的策略建模在两个数据集上都有最好的表现, 小麦数据集得到的RMSEP为0.39, 与原始模型相比, 误差减少了50%。猪肉数据集的RMSEP为0.98, 相较原始模型降低了57%。与堆叠模型相比, 小麦和猪肉数据集的RMSEP分别从0.57降低到0.39, 从1.82降低到0.98, 相应降低了32%和46%。与较为新颖的基于多块融合策略SPORT的模型相比, 小麦数据集的RMSEP从0.47降至0.39, 提出的策略在猪肉数据集上提升效果更为明显, RMSEP从1.65下降至0.98, 降低了41%。小麦和猪肉数据集的潜在变量个数相较于原始数据分别从10个降至7个, 从12个降至9个。结果显示, 本研究提出的策略在这两个数据集上都取得了最好的校正效果, 展现出其在预处理优化领域的潜力。

表3

Table 3

表3(Table 3)

表3 三种优化策略对小麦和猪肉的评估结果 Table 3 Evaluation results of three optimization strategies on wheat and meat data 策略 小麦 猪肉 LVs RMSEC RMSEP LVs RMSEC RMSEP Stackeda - 0.50 0.57 - 1.55 1.82 SPORTa - 0.47 0.47 - 1.50 1.65 提出的策略b 7 0.44 0.39 9 0.78 0.98 注: a数据来自文献[16]; b本研究提出的策略对小麦数据集选择的预处理组合是: SG-15-2-2+SNV; 在猪肉数据集上选择的预处理组合是: SG-15-2-2+SNV+MSC Note: a data quoted from literature [16]; b the preprocessing combinations proposed in this study are SG-15-2-2+SNV for the wheat dataset and SG-15-2-2+SNV+MSC for the meat dataset

表3 三种优化策略对小麦和猪肉的评估结果 Table 3 Evaluation results of three optimization strategies on wheat and meat data

对于这两个数据集, 提出的策略给出了不同的预处理组合。对于小麦数据集, 文献[4]提到此原始光谱有明显基线问题, 图1(a)中显示其分辨率和信噪比都很差。本文提出的策略先选择二阶导(SG-15-2-2)方法来处理数据, 二阶导是一个常用的基线校正的处理方法, 图1(b)展示了经过二阶导平滑处理后的光谱图, 对数据中一些峰值有明显的增强效果, 另外一定程度上改善了原始光谱严重的基线问题。表2中预处理策略的比较中, 二阶导数也是其中RMSEC最低的方法, 这样的选择也印证了该策略中步步寻优的思想; 第二个选择的预处理方法是SNV, SNV方法是在预处理中主要起散射校正的功能, 选择此方法似乎有些出乎意料, 在前面肉眼观察时该数据的散射问题似乎并不严重。实际上, 根据该策略的思想, SNV方法是第二轮中所有剩余的预处理方法中与二阶导组合建模效果最好的方法。正如图1(c)中展示的, 将二阶导与SNV方法组合对光谱预处理后不仅很大程度消除了基线漂移和噪声的问题, 同时很好的保留并突出了原光谱里潜在特征信息, 这也从侧面反映出选择SNV方法的合理性。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 (a)、 (b)、 (c)和(d)、 (e)、 (f)分别展示了小麦和猪肉的原始光谱、 经过SG-15-2-2方法处理后的光谱及经过本研究提出的策略优化预处理组合处理后的光谱Fig.1 (a), (b), (c), and (d), (e), (f) show the original spectra, preprocessed spectra by SG-15-2-2 method, and the spectra further processed by the optimised preprocessing combination strategy proposed in this paper for wheat and meat datasets, respectively

对猪肉数据集, 提出的策略选择的组合预处理数目达到3个, 依次是SG-15-2-2、 SNV和MSC。相比小麦数据集, 猪肉数据集在使用SNV处理后又引入了MSC方法, 可能的原因是在猪肉数据采集过程中引入了乘性散射信息, 导致猪肉数据集的干扰信息较多, 这也要求该策略引入了更多的预处理方法数目。从图1(e)中可以看到仅仅经过二阶导处理的光谱基线漂移情况依旧存在, 通过提出的三种方法组合处理策略后如图1(f)所示, 相较原始光谱, 显著的消除了基线问题、 突出了光谱波峰值信息, 很好的完成了光谱校正中预处理步骤消除无关信息, 突出潜在信息的目标。

图2展示了小麦和猪肉数据经过本研究提出的策略优化预处理组合处理后的建模效果散点图, 为了更清晰的展示该策略的优化能力, 选用原始光谱和Single和Double策略中校准效果较好的预处理方法(SG-15-2-2)处理后的光谱作为对照。另外, 表3的结果也很好的解释了猪肉数据集引入较多预处理方法的原因: 经过大量的预处理后, 不论是校准结果还是直观的线性拟合效果都得到大幅的提升, 其RMSEP相比原始建模下降了近60%。

图2

Fig.2

Figure Option ViewDownloadNew Window

图2 展示了小麦和猪肉数据分别在未经预处理、 经过SG-15-2-2方法及经过提出的策略优化预处理组合处理后在预测集上的建模效果 (a)、 (b)、 (c)是小麦种子中蛋白质含量(%)的建模结果; (d)、 (e)、 (f)是猪肉中脂肪含量(%)的建模结果Fig.2 The modelling results of wheat and meat data of the prediction set without and with preprocessing using SG-15-2-2 method, and the proposed strategy-optimised preprocessing combination (a), (b) and (c) are the modelling results of protein content (%) in wheat seeds; (d), (e) and (f) are the modelling results of fat content (%) in meat

图3显示了本文提出的策略在优化过程中, 通过RMSEC和RMSEP指标来展示选出的预处理方法对建模的贡献情况。对于小麦种子数据集, 该策略选出了SG-15-2-2和SNV两个方法按顺序组合使用。从RMSEC和RMSEP指标来看, 这两种方法在上一步的基础上都做了一定程度的改进, 贡献度大致相同。而在猪肉数据集中, 提出的策略选出了SG-15-2-2、 SNV、 MSC三个方法组合使用。不论是在RMSEC还是RMSEP的上, SNV的贡献程度最大, SG-15-2-2次之, MSC方法的贡献程度最低。其中SNV方法贡献了超过80%的改进“ 因子” , 可能的原因是对于经过SG-15-2-2方法校正后的光谱虽然消除了部分基线, 此时的数据仍需解决大量的散射问题, SNV作为一种散射校正的经典方法能够很好的“ 清洗” 数据。相比之下MSC方法相比上一步SNV几乎没有改进, 注意到MSC和SNV同属于散射校正同一个功能方法族, 通过SNV的校正后, 猪肉光谱的散射问题已被基本消除, 这可能是MSC方法对建模贡献程度较低的原因。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 小麦(a)和猪肉(b)数据按照提出的组合策略顺序处理时RMSEC和RMSEP的变化情况Fig.3 The variations of RMSEC and RMSEP when wheat (a) and meat (b) during the spectral data processed step by step using the proposed combination strategy for wheat and meat data

根据选出的预处理方法对模型的贡献度不同, 在实际应用过程中, 通常舍弃对建模贡献度极低的预处理方法, 一方面可以降低模型过拟合的风险, 另一个可以减少组合内的预处理方法数量, 提高数据处理效率。虽然无法确保找到全局最优解, 但通过对优化组合的持续改进, 本研究提出的策略通常能够选择一个合适的预处理组合。最后值得注意的是, 由于实际数据总是有限的, 无论是对验证集还是测试集, 追求全局最优可能会带来过拟合的风险。因此, 在进行预处理方法的组合时, 需要谨慎平衡过拟合和欠拟合之间的关系^[25]。如对猪肉数据集, 通常舍弃对模型贡献度极低的MSC方法后建模, 旨在降低过拟合的风险。总的来说, 对于复杂样品的近红外光谱数据, 本研究提出的策略不仅能够简洁的选出若干个预处理方法组合使用, 建立较为稳健的模型, 同时该策略的可解释性强, 过程中能够清晰的展示出每一个预处理方法对模型的贡献情况。