随着测量技术的飞速发展, 现代分析仪器的多个分析通道可提供丰富的数据, 从而获取海量及高维数据变得愈加容易。 然而在数据的多元模型构建中, 不是所有的变量都适合进入最终的模型。 冗余及干扰变量的存在都会影响模型准确性; 或者有时获取某些变量的成本过高, 从而需要摒弃某些变量; 当然对因变量影响显著的自变量若未进入模型, 也会影响模型的准确性。 而通过筛选变量能够提取出代表体系组成和特点的信息变量, 从而达到数据降维、 模型简化、 提高预测效率乃至提高模型解释或预测性能的目的。 所以, 变量筛选已成为目前多元模型构建中的一个重要步骤。 近年来, 光谱领域中变量筛选方法的研究取得了很大的进展。 图1显示出变量(波长)筛选相关出版论文数量从2004年—2019年呈逐年增长趋势(来源: SCI-EXPANDED with searchtopic “ variable-selection” or “ wavelength-selection” )。 光谱数据大都存在量大、 波段数多等特点。 例如, 使用傅里叶变换近红外(near-infrared, NIR)分析仪时, 6 000 cm^-1光谱范围内可获得1 557个光谱点(变量)^[1]。 包括噪声、 基线漂移、 谱带重叠、 背景干扰、 杂散光等诸多因素的影响, 会不可避免地导致数据中包含冗余和干扰变量。 变量间存在的多重共线性也会影响建模, 使得数据分析的结果变得不可靠。 因此, 变量筛选已经广泛地应用在光谱分析中。 尤其近红外光谱(NIRs)吸收强度较弱, 信噪比低, 灵敏度低, 谱峰宽且数目多、 严重重叠。 因此, 借助化学计量学包括变量筛选技术从其光谱中提取出表征成分、 结构等特征信息, 克服了分析技术的难点, 才使得该技术得以迅猛发展和应用。 所以, 目前变量筛选方面的综述^{[1, 2, 3, 4]}大都聚焦于其最得意的应用—近红外光谱领域。 而本文结合作者的研究体会与文献调研, 全面地综述了近/中红外光谱、 拉曼光谱等光谱分析中常用的变量筛选算法的提出、 发展、 特点、 分类及近年来的应用。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 变量/波长筛选相关论文出版数量Fig.1 An overview of related works on variable/wavelength selection

偏最小二乘(partial least squares, PLS)是由Wold等于20世纪末提出的一种经典的多元校正算法^[5]。 在最初始的非线性迭代偏最小二乘基础上发展了PLS-SVD算法、 简化的偏最小二乘(SIMPLS)、 非线性的Kernel PLS等。 PLS求得模型的预报残差平方和较小, 且适用于变量多、 样本少的问题, 得到广泛应用。 同时基于PLS模型参数(回归系数、 变量稳定性、 变量投影重要性、 光谱载荷权重)用于筛选变量的算法也在不断地应用在数据分析中。 表1总结了代表性算法的提出及特点, 并对其原理、 发展及近五年来的应用进行综述。

表1

Table 1

表1(Table 1)

表1 基于PLS模型参数的变量筛选方法 Table 1 PLS parameter-based variables selection methods Method First appearance[Ref.] Characteristic (Merit and Drawback) UVE (uninformative variable elimination) Massart, 1996[6] Intuitive and practical, effectively eliminate the influence of non-objective factors; Random noise variables make the result unstable, and LOOCV makes calculation efficiency low. MC-UVE (Monte Carlo-UVE) Shao, 2008[7] MC technique instead of LOOCV, does not add noise variables, high stability; Needs to define a threshold, tends to select more variables. iPLS (interval PLS) Norgaard, 2000[8] Focus on a choice of better sub-intervals; Just testing a series of adjacent but nonoverlapping intervals, which would miss some more informative ones. MWPLS (moving window PLS) Jiang, 2002[9] Considers all the possible continuous intervals but maybe not the optimized intervals. CARS (competitive adaptive reweighted sampling)-PLS Liang, 2009[10] With fewer variables and latent variables; The reliability of PLS model parameters based on full spectra needs to be strengthened, low stability. VIP (variable importance in projection) Wold, 1993[11] Accumulate the importance of each variable reflected by loading weight from each component; It can be used when the independent variables number is more than the sample size; Require probabilistic considerations regarding VIP. RT (randomization test)-PLS Fisher, 1935[12] Combines permutation and statistical test, the result is more reliable; When the dataset is large, it has low efficiency and time consumption. IVS (interactive variable selection) Lindgren & Wold, 1994[13] Dimension-wise instead of model-wise, variable selection is carried out for each PLS component, an interactive variable selection approach; Large elements in sometimes suppress smaller values. IPW (iterative predictor weighting)[15] Forina, 1999[14] The importance measure is used both to re-scale the original X-variables and to eliminate the least important variables; Time-consuming for too many variables.

表1 基于PLS模型参数的变量筛选方法 Table 1 PLS parameter-based variables selection methods

其他常见的光谱变量筛选算法按搜索及筛选变量的策略可以分为五类: (1)智能寻优算法: 利用进化和群集智能算法, 搜寻使目标函数较优的变量子集。 其中遗传算法(GA)应用较广泛, 在其基础上引入生物免疫系统原理, 发展了免疫遗传算法(IGA)。 结合GA、 SA(模拟退火)算法优势, 提出GSA算法^[38]; (2)基于模型集群分析算法^[39]: 采用随机采样(Monte Carlo, Bootstrap, Binary matrix)产生的变量子集建立系列子模型, 挑选出RMSECV较低的子模型, 采用统计检验评价变量的重要性, 在下次迭代中赋予较高的取样权重。 梁逸曾课题组基于模型集群策略提出一系列的算法; (3)基于变量空间共线性最小化算法: 降低被选中变量建模的严重多重共线性, 保留最小冗余信息的变量子集。 例如, 序列前进筛选法中的连续投影算法通过构建变量的正交矩阵来选择变量, 降低了多重共线性变量对模型的影响; (4)基于分类模型的变量筛选: 利用分类模型的内部参数作为评价, 筛选出对分类模型有重要意义变量的同时, 计算得到目标样本的得分用于分类判别。 其中LDA^[40]是降维和提取特征信息的有效方法之一。 不相关变量投影分析(ULDA)考虑了基于LDA的变换矩阵列向量间的不相关性, 减少降维后的数据冗余, 在寻找疾病生物标志物中得到好的应用^[41]。 李艳坤等^[42]用ULDA解析人体血清多肽质谱, 从15 154个变量中挑选出7个特征变量较好地区分了良性和恶性肿瘤。 不仅简化模型提高了诊断效率, 而且7个特征变量所对应的多肽可作为潜在卵巢癌标志物; (5)正则化回归算法: 在原有的损失函数的基础上增加惩罚回归系数的正则项, 收缩回归系数, 减少所有特征变量回归系数估计值的数量级, 自动将无关变量的回归系数置接近于0。 这几类算法包含的代表性算法总结于表2。

表2

Table 2

表2(Table 2)

表2 其他光谱变量筛选方法 Table 2 Other common methods of spectral variables selection Selection strategy Representative methods[Ref.] First appearance[Ref.] Characteristic(Merit and Drawback) Intelligent optimizing algorithms (IOA)-based GA(Genetic algorithm) Holand, 1975[43] Return to the mathematical essence of variable combination optimization, retain advantages of the combination of variables; Too many combinations of variables to optimize, usually need more preset parameters, sometimes easy to fall into local optimum. SA(Simulated Annealing) Metropolis, 1953[44] PSO(Particle swarm optimization) Eberhart& Kennedy, 1995[45] ACO(Ant colony optimization) Colorni, 1991[46] GWO(Gray wolf optimizer) Mirjalili, 2014[47] Model population analysis (MPA)-based BOSS (Bootstrapping soft shrinkage) Liang, 2016[48] The traditional strategy of rigidly eliminating variables according to a single index is transformed into a flexible strategy of changing weight, which can preserve the effective variables more safely; The introduction of random algorithm helps to preserve the combination effect among spectral variables, however, it also makes the calculation more complicated. VCPA (Variable combination population analysis) Liang, 2015[49] VISSA (Variable iterative space shrinkage approach) Liang, 2014[50] ICO (Interval combination optimization) Xiong & Min, 2016[51] iRF (internal Random frog) Liang, 2013[52] Collinearity minimization-based SPA (Successive projection algorithm)[53, 54] Araujo, 2001[55] Minimizing the influence of multi-collinearity variables on the model; In the optimization, each variable is used as the starting point, the calculation amount is too large to be suitable for small-size sample. SR (Stepwise regression)[56] Category model-based LDA (Linear discriminant analysis) Fisher, 1936[57] The correlation between variables and model is preserved, and the overall prediction accuracy is improved by combining different classification algorithms. The computational complexity is small, but the result is limited by the performance of the classification model. ULDA (Uncorrelated lineardiscriminant analysis)[58] Jin, 2001[59] RF (Random forest)[60, 61, 62] Breiman, 2001[63] SVM (Support vector machine) Vapnik, 1995[64] Regularization method LASSO (Least absolute shrinkage and selection operator)[65] Tibshirani, 1996[66] Parameter estimation and variable selection are realized simultaneously, fast. When the number of variables is large, the over-fitting can be avoided; The suitable parameter value should be chosen. EN (Elastic net) Zou, 2003[67] RR (Ridge regression) Hoerl & Kennard, 1998[68]

表2 其他光谱变量筛选方法 Table 2 Other common methods of spectral variables selection

此外, 还出现了基于其他原理的算法。 通过将光谱投影到局部线性嵌入(locally Linear Embedding)^[69]空间后, 依次移除变量后引起样本位置的变化而提出一种用于变量筛选的方法。 还提出潜变量投影图(latent projective graph)^[70]等算法。

通过作者多年来在该领域的研究体会结合文献分析表明, 每种变量筛选方法都具有各自的优势和局限性。 实际中需要根据分析目标和算法本身两方面的特点选择合适的方法。 下面围绕在解析实际体系中存在的若干问题进行讨论。

(1) 有时单一的变量筛选方法往往达不到分析的要求, 此时需要方法的联合使用, 例如CARS-SPA和CARS-GA等等。 联合方法不等同于几种方法的简单耦合, 而是协同发挥优势。 通常前一种粗选以消除无信息变量, 后一种精选以挑选典型特征信息变量或降低变量间的多重共线性。 最终选择的效果取决于不同算法的逻辑结合方式和综合利用度。

(2) 某些筛选方法中由于采取随机抽样的变量子集和迭代方式进行优化, 会导致模型筛选出的变量不稳定, 进而产生不稳定的结果, 降低模型的可信度。 例如CARS尽管具有筛选出变量数目少的优点, 但每次重复运行选中的变量个数及位置都会发生变化。 对此, 李艳坤等采取多模型共识策略^{[16, 18]}综合多个成员模型的预测结果, 或保留被选择频率较高的变量, 得到更准确、 稳健的结果。 尤其应用在近红外光谱中, 虽然其对应于结构信息的特征较差, 但选定的波长与目标物的功能基团之间仍然得到了合理的解释。

(3) 在寻找重要变量过程中, 存在过拟合风险。 由于数据包含大量的变量, 总会有一些不相关变量由于偶然性而变得很重要^[76], 某些奇异样本的加入也会影响模型的构建。 此外, 采用RMSECV作为评价指标, 或基于PLS回归系数的筛选方法^[75]较多地利用自变量信息, 这些都可能带来模型过拟合的风险。 所以, 尽可能地在建模前对数据进行奇异值的识别和剔除、 采用独立的外部样本评估变量或大规模的数据集验证。 而新的评价变量重要性的参数及其判据, 以及搜索变量的策略和途径等工作仍需展开深入地研究。

(4) 与尺度缩放、 基线校正等光谱预处理方法(平滑、 导数等)联合。 李艳坤等曾利用小波变换系数替代原始光谱输入MC-UVE模型中, 在保留更少变量时取得相当或优于原MC-UVE筛选模型的预测结果^{[7, 16]}。 此外, 方法和数据属性之间可能存在相互作用, 因此“ 不存在总是最好的方法, 而存在最合适的方法” 。 所以, 面对如此多的方法及方法的组合, 可以发展集成(汇集预处理和变量筛选方法)智能化选择(根据数据特征或建模性能优劣, 后者更简单直接)算法, 并开发适用于测量仪器或独立使用的计算软件, 使用起来会更加快捷, 尤其对于非专业人士处理数据将会非常有用。

致谢:感谢邵学广教授(南开大学)对本稿件提供的宝贵建议与指导。