样本筛选是将采集的样本信息分为校正集与验证集。 当样本集中的样品数足够多且具有代表性、 参数分布均匀以及性质范围应包含待测样品等时, 预测模型的准确性和稳健性才能满足一定的检测需求。 对于通用模型而言, 更需要保证模型的适用性, 因此通用模型样本集的筛选相对复杂。

Kennard-Stone(KS)^[11]方法是样本集筛选中最为常用的一种分类方法, 该种方法根据光谱特征进行选取。 Wang^[12]等首先采集五个品种(Red Comice, Wujiuxiang, Abate, Cascade, Conference)洋梨的漫透射光谱以及光谱采集对应位置的SSC与果肉硬度值, 每个品种约94~96个样本信息, 通过KS方法把各个品种样本信息按照三比一的比例分为校正集与验证集, 随后将分离后的各个品种的校正集和验证集合并组成一个新的校正集(358个)和验证集(118个)。 经统计, SSC与果肉硬度的新校正集的指标范围分别为11.3%~18.5%, 1.9~71.2 N, 验证集的指标范围分别为11.6%~18.0%, 3.5~66.5 N。 最后运用多元线性回归(multiple linear regression, MLR)算法建立了洋梨的SSC通用预测模型, 用PLS法建立果肉硬度的通用检测模型。 结果显示, SSC与硬度通用模型的预测决定系数分别为0.87与0.66, SEP分别为0.45%和8.11 N, 该通用模型具有一定的应用潜力。 Set partitioning based on joint x-y distance(SPXY)法^[13]是在KS方法的基础上演变而来的一种新的样本筛选方法, 该方法考虑了样本的光谱特征以及对应的指标两种因素, 进而对样本信息进行筛选。 马卉^[14]等采集了五种药材饮片(黄芩、 栀子、 板蓝根、 黄柏、 胖大海)的近红外光谱, 并测定了五种药材的水分含量, 同样用Wang的方法, 运用SPXY距离划分法将五种药材的样本信息划分为校正集与验证集。 经统计显示, 该方法划分的校正集含水量范围涵盖验证集, 证明划分的校正集具有良好的代表性, 有利于建立这五种药材饮片水分含量的通用检测模型。 常冬^[15]等通过建立四种不同饲料原料的淀粉含量通用定量检测模型时发现, 通过KS方法筛选的通用模型样本集比单个品种的分布范围更加广泛, 通用模型的评价参数甚至要好于独立模型。 通过以上研究可以推断, 无论使用哪种样本筛选方法, 应先将独立对象的样本按照一定比例进行校正集和验证集的预筛选, 然后将各自筛选出来的校正集与验证集进行整合后, 校正集和样本集的分布数据更佳合理, 建模效果较好。

采集后的光谱信息除了含有样品自身的有效信息外, 还包含其他无效信息, 以及对建立模型产生负面效应的信息, 如噪声、 背景以及杂散光等。 在建立通用模型时, 由于样本具有地域、 时间、 大小以及品种的多样性导致的光谱多样性也会对建立通用模型带来不利。 因此如何使用有效的方法对光谱进行处理, 是建立通用模型时需要考虑的问题。 常见的光谱预处理方法有均值中心化、 标准化、 归一化、 平滑、 导数、 标准正态变量变换、 多元线性校正、 傅里叶变换、 小波变换、 正交信号校正以及净分析信号等^[16]。

Liu^[17]等运用可见/近红外光谱便携仪分别采集了苹果、 梨、 桃三种水果的光谱信息, 积分时间分别为100, 90和60 ms, 然后测得SSC值, 并建立三种水果的SSC通用定量检测模型。 研究发现, 首先通过标准正态变量变换处理, 能够在一定程度上消除水果大小以及内部果肉颗粒造成的散射影响, Savitzky-Golay平滑处理能够消除一些高频噪声, 二阶导数处理能够消除由于采集光谱积分时间不同导致的基线漂移现象, 经过上述三种光谱预处理之后, 三种水果的光谱在840~920 nm波长范围内表现出良好的光谱一致性, 在这个波段范围尝试PLS以及MLR两种建模方法进行通用模型的建立。 结果显示, PLS通用模型的预测决定系数和SEP分别为0.97和0.45° Brix, MLR通用模型的预测决定系数和SEP分别为0.96和0.46° Brix, 模型均达到了一定的预测要求。 彭丹等^[18]采集了不同原料(大豆和菜籽)的不同等级油的近红外光谱, 共建立了四种油的过氧化值通用检测模型, 即不同等级的大豆油、 不同等级的菜籽油以及两种同一等级但原料不同的食用油。 结果显示, 通过二阶导数处理后的光谱建立的一级油的通用模型效果最好, 其推测二阶导数处理能够消除基线以及背景干扰, 提高有效信息的表达, 有利于建立通用模型。 Saranwong等^[19]建立近红外光谱通用模型, 考察该模型对两种芒果是否被果蝇的虫卵幼虫侵染进行无损检测。 结果表明, 采集后的光谱进行二阶导处理, 能够有效的表征两种芒果正常储藏和被果蝇虫卵及幼虫侵染后的果实品质的变化, 建立的偏最小二乘法判别通用模型能够对两种芒果是否被果蝇虫卵及幼虫侵染进行正确判别, 即芒果被蝇虫卵及幼虫侵染后48 h, 校正集判别假负率和判别假正率均为1.1%, 验证集判别假负率为6.2%, 判别假正率为1.2%。 Li等^[20]使用Antaris Ⅱ 近红外分光光度计半透反射模式扫描三种不同等级蜂蜜近红外光谱, 并通过高效液相色谱法测定蜂蜜的水分、 5-羟甲基糠醛、 果糖和葡萄糖含量, 建立三种等级蜂蜜的指标定量预测的通用模型。 结果显示, 在建立水分、 5-羟甲基糠醛和果糖三种指标的通用定量模型时, 采用一阶导数、 Savitzky-Golay平滑与多元散射校正的光谱预处理组合方式, 模型效果最好。 对于葡萄糖模型, 仅使用一阶导数的光谱预处理方式效果最佳。 通过上述研究推断, 建立近红外光谱模型时, 对采集的光谱信息运用预处理手段可以消除噪声以及背景的信息, 提高有效信息。 同时在建立通用模型时, 适当选取某些波段再进行光谱预处理, 还能消除由于样品多样性产生的光谱不一致性, 利于建立通用模型。

光谱分析法建立的模型在对样品进行分析时, 由于光谱的数据量越来越大, 也会产生一些该技术在农产品及食品品质高通量无损快速检测需求的不利因素, 其主要表现为增加计算成本、 对仪器硬件要求较高以及工作效率低等方面^[21]。 因此, 近些年来, 大量的研究工作专注于变量选择, 筛选后的有效信息用于建立变量少的数学模型。 由于采集光谱使用的仪器、 采集方式等不同, 导致了光谱的表观形式不同, 光谱预处理也具有放大信号的作用, 即放大了由于品种、 产地、 加工方式等产生的光谱差异, 这些因素对于建立近红外通用模型是不利的。 因此相比于传统的模型, 通用模型具有更加多样化的样本信息, 选择有效、 少且全的变量信息是一个相对复杂的研究课题。

Li等^[22]采用便携式可见近红外光谱仪分别采集了三种甜瓜(玛瑙、 金红宝、 西州蜜)两个部位(赤道部位、 花萼部位)处的可见近红外漫透射光谱, 光谱范围是550~1 100 nm, 检测对应部位的SSC值, 建立三种甜瓜SSC的通用模型。 结果显示, 采集的三种甜瓜的光谱, 由于品种以及采集部位不同, 原始光谱的特征差异较大, 为了消除基线以及甜瓜表面纹路的影响, 采用的多元散射校正、 Savitzky-Golay平滑以及一阶导数的光谱预处理方式, 处理后光谱范围在550~749 nm的光谱差异较大, 这是由于甜瓜表面颜色不同导致的, 而在750~950 nm处的光谱一致性较好。 因此在750~950 nm范围内运用竞争性自适应重加权算法(competitive adaptive reweighted sampling, CARS)仅选取24个变量, 建立的PLS通用模型能够具备一定的应用潜力(RMSEP=0.73° Brix, Rp2=0.83)。 有研究先将三种粮食样品经过粉碎处理, 再通过18目筛后进行光谱扫描, 通过物理方法消除了由于颗粒大小造成的影响, 光谱与水分含量测定后, 分别运用蒙特卡洛无信息变量消除算法(Monte carlo uninformative variable elimination, MCUVE)与蒙特卡洛无信息变量消除算法与连续投影算法联用算法MCUVE-SPA(Monte carlo uninformative variable elimination successive projections algorithm, MCUVE-SPA)对光谱的变量进行筛选后, 建立具有对粮食水分进行预测的通用定量模型。 相比于原始变量(127个), MCUVE与筛选的变量分别为18和7个, 经历了变量筛选后的建立的模型仍可满足需求。 周婷等^[23]采集了7个不同批次的温州蜜桔的光谱信息(200~1 100 nm), 建立SSC模型, 光谱经过预处理后, 选取230~950 nm波段范围建立模型, 同时采用无信息消除变量法(uninformative variable elimination, UVE)、 CARS法以及UVE-CARS组合的方法建立SSC的PLS通用定量模型。 结果表明, 通过UVE-CARS方法选取的变量数目最少, 仅34个变量, 模型的预测效果最佳, 即R_cv=0.704, RMSECV=0.949%, R_p=0.732, RMSEP=0.873%。 经上述研究可推测, 通用模型建立时, 变量筛选需先通过物理、 化学以及化学计量学方法消除其他因素干扰, 选取合适的建模波段范围作为基础, 再通过算法选出变量进行建模, 效果较好。

近红外光谱分析法中常用的定量方法有多元线性回归法、 主成分回归法、 偏最小二乘法等一些线性校正方法, 同时还有人工神经网络以及支持向量机等非线性校正方法^[24]。 目前来说, PLS方法在近红外光谱分析法中应用最为广泛, 逐渐成为一种标准的常用方法, 而一些非线性方法的应用也逐渐增多^[25]。

Pocwiardowski等^[26]运用近红外光谱仪采集了五种蔬菜种子的近红外光谱, 使用PLS法建立了五种蔬菜种子的水分含量的通用预测模型, 结果显示, 校正模型的相关系数为0.996 8, Q系数^[27]达到0.890 4(Q系数大于0.7, 表明该模型预测性能较好)。 Torres等^[28]使用微型光谱仪采集了两个柑橘品种(Oranges和Mandarins)光谱, 测得两种柑橘的颜色指数(L^* , a^* , b^* , C^* , h^* , 比色指数)、 硬度、 果皮、 纵径、 横径、 重量、 厚度以及果汁质量, 比较使用线性回归方程(PLS法)与非线性方程(non-linear regression techniques, LOCAL算法^[29])建立两种柑橘水果模型的结果, 其显示使用LOCAL算法建立的各个指标通用模型效果均比PLS法更佳。 Huang等^[30]使用可见近红外光谱仪采集了三种茶叶、 六个部位的光谱信息, 并测得四种主要儿茶素和咖啡因含量, 分别用不同的建模方法建立了通用定量模型。 结果显示, 使用MLR方法建立的四种儿茶素的通用定量模型效果最好, 模型的相关系数分别为0.949, 0.893, 0.968和0.931, 使用PLS法建立的咖啡因的通用定量模型效果最好, 模型的相关系数为0.917。 经上述研究可知, 无论是线性校正方法还是非线性校正方法, 都能建立通用模型。