采用9组光谱数据集进行实验, 数据集3和8分别为实验数据和公司提供数据, 其余数据从网上下载, 详细信息见表1。 其中, 数据集3包含51个四元调和油样品的近红外光谱及香油、 玉米油、 大豆油和稻米油四种组分的质量百分比含量。 数据集3和5采用KS方法划分训练集和预测集, 其他数据采用网上的分组方式。 图1为9个数据训练集的光谱, 其中数据集5的第115号样本和数据集6的第680和681号样本为奇异样本未被使用。

表1

Table 1

表1(Table 1)

表1 数据集统计信息 Table 1 Statistical information of datasets 数据集 样品 分析组分 波长范围/nm 波长点 训练集 预测集 仪器/测量 来源 1 血液 胆固醇 1 100~2 498 700 143 47 NIR Systems 6500/漫反射 http://www.idrc-chambersburg.org/shootout2010.html 2 橙汁 蔗糖 1 100~2 498 700 150 68 Model 6250 /反射 http://www.ucl.ac.be/mlg/index.php?page=databases 3 四元调和油 稻米油大豆油 833.3~2500 4148 34 17 Vertex70/反射 实验数据 4 燃油 密度 750~1 550 401 142 121 未知/反射 http://www.eigenvector.com/Data/SWRI 5 汽油 双环芳烃 200~400 572 71(70) 44 Cary 3 UV-Vis. /吸收 http://myweb.dal.ca/pdwentze/downloads.html 6 小麦 蛋白质 400~2498 1050 775(773) 107 Foss Model 6500/漫反射 http://www.idrc-chambersburg.org/shootout2008.html 7 玉米 蛋白质 1 100~2 498 700 53 27 mp6 NIR/反射 http://software.eigenvector.com/Data/Corn/index.html 8 烟草 还原糖 1 100~2 500 1296 180 90 Vector22/N FT-NIR/漫反射 烟草公司提供[8] 9 三元混合物 乙醇 850~1 049 200 63 32 Vectra XM2 PC/漫反射 文献[9]

表1 数据集统计信息 Table 1 Statistical information of datasets

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 9个数据训练集的光谱图 (a): 血液; (b): 橙汁; (c): 四元调和油; (d): 燃油; (e): 汽油; (f): 小麦; (g): 玉米; (h): 烟草; (i): 三元混合物Fig.1 The spectra of training set in nine datasets (a): Blood; (b): Orange juice; (c): Quarternary blended oil; (d): Fuel oil; (e): Gasoline; (f): Wheat; (g): Corn; (h): Tobacco; (i): Ternary mixture

根据预处理的目的, 光谱预处理方法可以分为基线校正、 散射校正、 平滑处理和尺度缩放四类。 基线校正是为了扣除仪器背景或漂移对信号的影响, 包括一阶导、 二阶导及CWT等。 一阶导和二阶导分别可以扣除斜线和曲线背景, 提高光谱分辨率, 基本公式如下

xi, 1st=xi+g-xig(1)

xi, 2nd=xi+g-2xi+xi-gg2(2)

式中, x_i为第i个样品的光谱, g为窗口宽度。 CWT将信号分解为一系列小波函数的叠加, 能够同时起到背景校正和噪声去除的作用, 基本公式为

C[f(t), φa, b(t)]=∫-∞∞f(t)1aφt-badt(3)

式中, f(t)是输入信号, 在这里可看作光谱信号, t是时域信号, 可以看作是波数, φ _{a, b}(t)是小波基函数, a为平移参数, C为小波系数。

散射校正用来消除由于颗粒分布不均匀及颗粒大小不同产生的散射对光谱的影响, 包括MSC和SNV。 MSC首先计算校正集的平均光谱, 然后将每条光谱与平均光谱作一元线性回归。 SNV从原始光谱中减去该条光谱的平均值后, 再除以校正集光谱的标准偏差。

平滑处理为了消除光谱信号中的随机噪声, 提高样本信号的信噪比。 Savitzky-Golay(SG)平滑法是利用多项式对原始光谱的移动窗口内的数据进行多项式分解并用最小二乘进行数据拟合, 其实质是一种加权平均法。

尺度缩放是为了消除数据尺度差异过大带来的不良影响, 包括: 中心化、 Pareto尺度化、 最大最小归一化和标准化等。 中心化是将每个样品光谱减去训练集的平均光谱。 Pareto尺度化将光谱除以标准偏差的开方。 最大最小归一化(max-min scaling)是将每个光谱点减去所在变量列的最小值后, 再除以光谱所在列最大值和最小值的差值。 标准化(normalization, 又称作pearson scaling或auto scaling)与SNV类似, 不同之处在于前者是对光谱的列取平均, 后者是对行取平均。

图2(a— j)为血液数据近红外光谱采用上述10种预处理方法处理后的光谱。 从(a— c)可以看出, 经一阶导数和二阶导数处理后的光谱, 明显消除了基线和背景的干扰; (d, e)分别经SNV和MSC的光谱重合度变高, 减弱了散射对原始光谱的影响; (f)经SG平滑处理后的光谱的噪声明显减弱; (g— j)经归一化处理后的光谱都落入了一个特定的区间之内, 去除了尺寸差异、 信息结构不同的干扰。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 血液数据进行单一预处理方法的近红外光谱图 (a): 一阶导; (b): 二阶导; (c): CWT; (d): SNV; (e): MSC; (f): SG平滑; (g): 中心化; (h): Pareto尺度化; (i): 最大最小归一化; (j): 标准化Fig.2 The NIR spectra of single preprocessing methods for blood data (a): 1st derivative; (b): 2nd derivative; (c): CWT; (d): SNV; (e): MSC; (f): SG smoothing; (g): Mean centering; (h): Pareto scaling; (i): Max-min scaling; (j): Normalization

把无预处理及10种预处理方法按照基线校正、 散射校正、 平滑处理和尺度缩放的顺序进行4重for循环^{[4, 10]}, 各个预处理步骤包含的预处理方法见表2。 按照表中从上到下的顺序依次从每个预处理步骤中选择一种预处理方法(包含0代表的无预处理), 全排列组合可以得到4× 3× 2× 5=120种预处理及其组合方法, 用数字1~120对这些预处理方法进行编号。

表2

Table 2

表2(Table 2)

表2 四个预处理步骤包含的预处理方法 Table 2 Specific preprocessing methods used in the four preprocessing steps 基线校正 散射校正 平滑处理 尺度缩放 0 0 0 0 一阶导 SNV SG平滑 中心化 二阶导 MSC Pareto尺度化 CWT 最大最小归一化 标准化

表2 四个预处理步骤包含的预处理方法 Table 2 Specific preprocessing methods used in the four preprocessing steps

使用PLS建立模型, 利用交叉验证均方根误差(root mean squared error of cross validation, RESECV)来优化模型的相关参数。 采用预测均方根误差(root mean squared error of prediction, RMSEP)来评价模型优劣。

图1(a— i)为9个数据集的光谱, 直接观察其光谱信号特点可以看出, (a, b, f, g, h, i)的光谱信号存在漂移和背景; (a, b, e, f, g, h, i)散射较大; (b, h)光谱信号存在噪声; (c, d)光谱重合度非常好, 也不存在信号漂移和噪声。 因此, 数据集1, 6, 7和9需要扣除背景及散射校正; 数据集2和8需要扣除背景, 散射校正及平滑处理; 数据集3和4无需进行预处理; 数据集5需要散射校正。

在建模之前PLS的因子数及10种预处理方法中一阶导数、 二阶导数、 SG平滑的窗口参数, CWT的小波函数和分解尺度参数都需要进行优化, 优化结果如表3所示。 在利用PLS方法建立模型时, 因子数从1~25进行变化, RMSECV值最小时所对应的因子数, 就是PLS建模所需要的最佳因子数^[11]。 SG平滑、 一阶导数、 二阶导数窗口的优化方法是窗口数从3~59进行变化, 间隔为2, 分别计算各自的RMSEP值, RMSEP最小值对应的窗口即为最佳窗口。 CWT的小波函数和分解尺度的优化方法是小波函数采用Haar、 Daubechies(db2, db3, …, db20), Coiflets(coif1, coif2, …, coif5), Symmlets(sym2, sym3, …, sym8)32个函数^[12], 分解尺度从1~40进行改变, 分别计算不同小波函数和分解尺度对应的RMSEP值。 RMSEP最小值对应的小波函数和分解尺度分别为CWT最佳的小波函数和分解尺度。

表3

Table 3

表3(Table 3)

表3 预处理方法及PLS参数优化结果 Table 3 Results of preprocessing methods and PLS parameter optimization 数据集 样品 组分 PLS因子数 平滑窗口 一阶导窗口 二阶导窗口 小波参数优化 分解尺度 小波函数 1 血液 胆固醇 18 15 21 43 26 db10 2 橙汁 蔗糖 8 13 27 49 40 sym5 3 四元调和油 稻米油 14 59 59 41 32 sym8 大豆油 14 11 47 51 34 db13 4 燃油 燃料密度 18 3 3 11 5 Haar 5 汽油 双环芳烃 4 5 59 47 40 Haar 6 小麦 蛋白质 25 23 17 37 19 sym7 7 玉米 蛋白质 10 3 3 5 1 db11 8 烟草 还原糖 16 15 49 43 26 Haar 9 三元混合物 乙醇 12 9 13 27 15 Haar

表3 预处理方法及PLS参数优化结果 Table 3 Results of preprocessing methods and PLS parameter optimization

对9组数据集分别进行120种预处理及其组合方法后, 建立PLS模型对预测集预测的RMSEP值显示在图3中。 不同预处理方法用编号1— 120来表示, 红线表示PLS的预测结果, 蓝色散点表示每种预处理后PLS的预测结果。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 采用PLS(红线)和120种预处理及其组合结合PLS(蓝点)预测的RMSEP图(a): 血液; (b): 橙汁; (c): 四元调和油; (d): 燃油; (e): 汽油; (f): 小麦; (g): 玉米; (h): 烟草; (i): 三元混合物数据集Fig.3 RMSEP values of PLS (red line) and 120 preprocessing and their combinations coupled with PLS (blue dots) (a): Blood; (b): Orange juice; (c): Quarternary blended oil; (d): Fuel oil; (e): Gasoline; (f): Wheat; (g): Corn; (h): Tobacco; (i): Ternary mixture datasets

从图3(a— c)可以看出, 对血液、 橙汁、 四元调和油数据, 大部分预处理都有效果。 观察血液数据的光谱信号可以看出该数据需要多元散射校正及背景扣除, 但是从图3(a)中可以看出, 加入基线校正和多元散射校正的方法后预处理效果都比无预处理效果好。 血液数据的最佳预处理方法是编号69对应的二阶导-SG平滑-最大最小归一化。 观察橙汁数据的光谱信号可以看出该数据需要背景扣除, 但是从图3(b)中可以看出, 虽然加入二阶导数(60— 90区间)预处理效果有所上升, 但当加入CWT时(90— 120区间), 预处理效果反而有所下降。 橙汁数据的最佳预处理方法是编号78对应的二阶导-SNV-SG平滑-Pareto尺度化。 观察四元调和油数据的光谱信号可以看出该数据无需进行预处理, 但是从图3(c)中可以看出, 大部分预处理方法对于该数据集都是有效的。 四元调和油数据的最佳预处理方法是编号19对应的SNV-SG平滑-最大最小归一化。

从图3(d— f)可以看出, 对燃油、 汽油、 小麦数据, 大部分预处理方法几乎无效果。 观察燃油数据的光谱信号可以看出该数据需要选择散射校正的方法进行预处理, 但是从图3(d)中可以看出, 编号2, 7, 12, 17, 42, 47的预处理方法对数据的处理效果优于无预处理。 燃油数据的最佳预处理方法是编号为2对应的中心化。 观察汽油数据的光谱信号可以看出该数据需要散射校正和背景去除, 但是从图3(e)中可以看出, 该汽油数据并不需要进行预处理。 观察小麦数据的光谱信号可以看出该数据需要散射校正及背景扣除, 但是从图3(f)中可以看出, 加入基线校正和散射校正方法后(除1— 10区间外), 预处理方法对于建模效果都没有提高, 反而不如无预处理。 编号6和8的预处理方法对小麦数据的建模能力有所提高, SG平滑处理效果最好。

从图3(g— i)可以看出, 对玉米、 烟草、 三元混合物数据, 部分预处理方法有效果。 观察玉米数据的光谱信号可以看出该数据需要多元散射校正及背景扣除, 但是从图3(g)中可以看出, 虽然加入多元散射校正和导数处理(11— 90区间)可以提高预处理效果, 但是加入CWT(90— 120)预处理效果反而有所下降。 玉米数据的最佳预处理方法是编号4对应的标准化。 观察烟草数据的光谱信号可以看出该数据需要背景扣除, 但是从图3(h)中可以看出, 加入一阶导时(30— 60区间)预处理效果有所加强, 加入二阶导和CWT时(60— 120区间), 预处理效果反而有所下降。 烟草数据的最佳预处理方法是编号14对应的SNV-最大最小归一化的组合方式。 观察三元混合物数据的光谱信号可以看出该数据需要多元散射校正及背景扣除, 但是从图3(i)中可以看出, 加入基线校正的方法(30— 120区间)预处理效果不如无预处理, 加入散射校正的方法, 只是部分的提高了预处理效果(11— 18区间)。 三元混合物数据的最佳预处理方法是编号16对应的SNV-SG平滑的组合方式。 综合上述数据的实验结果, 光谱信号特点选择的预处理方法大多都不是建模效果最优的预处理方法, 因此, 光谱预处理方法的选择应结合建模效果而不是根据光谱信号特点直接选择。

对于相同样品的不同组分进行预测, 由于扫描的原始光谱是相同的, 因此, 根据光谱信号特点选择的预处理方法肯定是相同的, 但是根据建模效果选择的预处理方法未必相同。 我们对四元调和油数据中大豆油和稻米油组分分别进行120种预处理组合后PLS建模, 相应的RMSEP显示在图4(a, b)中。 图4(a)大部分预处理方法都是有效的, 但是当CWT与最大最小归一化或标准化同时存在时, 预处理效果明显降低。 四元调和油数据中的大豆油组分的最佳预处理方法是编号107对应CWT-SNV-SG平滑-中心化。 图4(b)加入散射校正的方法(11— 30区间), 预处理效果增强。 四元调和油数据中稻米油组分的最佳预处理方法是编号24对应的MSC-最大最小归一化。 通过两个组分的比较表明了对于相同样品集, 即使光谱相同, 但不同组分的预处理方法也不相同。 所以, 预测结果除了与光谱有关, 还有预测组分有关。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 四元调和油数据PLS(红线)和120种预处理及其组合结合PLS(蓝点)预测的RMSEP图 (a): 大豆油组分; (b): 稻米油组分Fig.4 RMSEP values of PLS (red line) and 120 preprocessing and their combinations coupled with PLS (blue dots) for quarternary blended oildataset (a): Soybean oil; (b): Rice oil