选用两个数据集验证本方法。 第一个数据集为从Tecator Infratec食品和饲料分析仪上收集的猪碎肉近红外透射光谱。 波长范围为850~1 050 nm, 分辨率为2 cm^-1。 共包含172个校验集光谱, 43个验证集光谱。 第二个数据集为布鲁克MATRIX-F型傅里叶近红外光谱仪(OPUS分析软件包, 德国Bruker公司)采集的柠檬酸发酵液近红外光谱, 分辨率为16 cm^-1, 波长范围为3 996~11 988 nm。 采用Kennard-Stone法对260个样品按2:1划分校验集和验证集, 得到174个校验集光谱和86个验证集光谱。 Kennard-Stone法的原理是根据变量之间的欧式距离, 在样品光谱的特征空间里选择距离最大的样品作为校验集样品^[17]。

为去除来自高频随机噪声、 基线漂移、 光散射等影响, 需对光谱进行预处理。 平滑是光谱信号处理中改善信噪比最常用的方法^[6]。 采用了Savitzky-Golay卷积平滑法对光谱预处理, 经过预处理的近红外光谱如图1。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 预处理后的光谱图 (a): 猪肉; (b): 柠檬酸发酵液Fig.1 Preprocessed near infrared spectra (a): Pork; (b): Citric acid fermentation liquid

1.2.1 基于深度信念网络的建模

DBN是深度学习的生成模型之一, 由多层受限玻尔兹曼机(restricted Boltzmenn machines, RBM)堆叠而成^[12], 结构如图2所示。 基于DBN的近红外光谱建模首先输入光谱数据, 对RBM进行逐层预训练, 完成对光谱数据进行特征提取和降维, 得到RBM的初始权值; 然后, 利用目标理化值对初始权值进行反向微调, 得到最终优化权值; 最后, 添加回归层, 即可完成近红外光谱的预测建模。 该算法的流程图如图3。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 (a)RBM结构图; (b)DBN结构图Fig.2 (a) Diagram of RBM structure; (b) diagram of DBN structure

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 DBN预测模型算法流程图Fig.3 Flow chart of DBN prediction model algorithm

光谱吸光度X与目标理化值Y的配对组合表示为{(X₁, Y₁), (X₂, Y₂), …, (X_n, Y_n)}。 将光谱吸光度X作为第一层RBM的输入层。 根据图2(a)所示, RBM结构包含一个可视层(v)和一个隐含层(h)^[13], 可视层用于表示输入光谱数据信息, 隐含层表示对输入光谱的学习能力。 对于给定的状态(v, h), RBM作为一个系统所具备的能量定义为

E(v, h; θ)=-∑i=1maivi-∑j=1nbjhj-∑i=1m∑j=1nhjwi, jvi(1)

式(1)中, θ 为模型参数。

可视层和隐含层的联合概率为

P(v, h; θ)=1Zθe-Eθ(v, h)(2)

其中 Zθ=∑v, he-Eθ(v, h)为归一化函数。

P(v, h)对v的边缘分布为

P(v; θ)=∑h(3)P(v, h)=1Z0∑he-Eθ(v, h)(3)

可以计算出第j个隐层单元和第i个可视层单元的条件概率分布分别为

P(hj|v; θ)=11+exp(-bj-∑iwi, jvi)(4)

P(vi|h; θ)=11+exp(-ai-∑iwi, jhj)(5)

训练一个RBM即调整参数θ , 使其更好地拟合给定的训练样本^[13]。 最大化以下似然函数

lnP(v; θ)=ln(∑he-Eθ(v, h))-ln(∑v, he-Eθ(v, h))(6)

一般采用梯度法对其求偏导, 但式中 ∑v, h包含2n+m个项, 计算复杂度太大。 因此Hinton提出对比散度法(contrastive divergence, CD)对重构数据近似采样, 更新权值^[14]。 给定训练样本v⁰, 根据式(4)和式(5)采样, h⁰~P(h|v⁰), v¹~P(v|h¹), h¹~P(h|v¹)。 从而可得RBM参数更新公式为

θ=θ+ε∂lnP(v; θ)∂θ(7)

其中, ε 表示学习率。

在完成对RBM的逐层预训练之后, 利用目标理化值Y通过梯度下降算法最小化目标损耗函数 L(Y, θ)=12∑in(Y-Y˙)2,得到参数变化为

Δθ=-∂L(Y; θ)∂θ(8)

1.2.2 改进的深度信念网络建模

在深度学习的过程中, 无监督过程可以提取输入样本的隐变量, 监督过程通过BP算法对整个网络进行参数微调。 然而基于梯度的优化算法也会陷入局部最优, 将DBN与PLS结合可以避免由于梯度下降算法带来的问题。 DBN最后一层隐含层是对原始输入样本的若干次学习后得到的深层特征, 这一特征之间不存在相关性, 符合PLS模型对自变量的要求。 因此, 考虑将PLS运用到DBN的训练过程中, 对DBN进行改进, 提高模型的预测效果。

DBN-PLS模型结构图如图4。 运用DBN-PLS对近红外光谱建模的具体步骤如下:

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 DBN-PLS模型结构图Fig.4 Diagram of DBN-PLS model

(1)对近红外光谱数据进行预处理;

(2)构建近红外光谱的DBN模型, 完成近红外光谱的特征提取和降维;

(3)将提取的有效特征输入PLS模型, 建立DBN-PLS预测模型;

(4)将验证集数据输入到DBN-PLS模型中, 进行验证。

为验证模型预测的准确性, 本文选用决定系数(R²)和均方误差(MSE)两个评价指标对模型进行评价。 R²表示真实值和预测值的相关程度。 MSE可以评价数据的变化程度, MSE的值越小说明预测模型有越好的精确度^[16]。

R2=1-∑i=1n(y˙i-yi)2∑i=1n(yi-y̅i)2(9)

MSE=1n∑i=1n(y˙i-yi)2(10)

其中, y˙为光谱预测值, y为实际值, y̅i为实际值的平均值, n为的样品数。

模型参数选择是影响DBN模型特征提取能力以及模型预测精度的重要因素。 本文影响结果的参数主要有RBM层数、 迭代次数(iteration)和学习率(learining rate)。 随着模型层数的增加, 层间连接权值增加, 训练难度也会增加, 设置了2层RBM结构。 图5为不同迭代次数下整个网络的训练损失, 迭代次数过小模型易欠拟合, 迭代次数过大模型易过拟合。 图6给出了在不同学习率和不同迭代次数下的R²大小。 由图5和图6可以看出, 两个数据集在迭代次数大约为200时, 模型的训练损失趋于0, 数据集1在学习率ε =0.001时, 模型的精度最高, R²为0.990 7, MSE为0.910 0; 数据集2在学习率ε =0.000 1时, 模型精度最高。 表1例举了iteration为200的时候, 猪肉含水量的近红外光谱预测模型在不同学习率下的R²和MSE大小。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 迭代次数对模型的影响Fig.5 The impact of iteration number on the model

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 不同学习率下迭代次数对模型的影响 (a): 猪肉; (b): 柠檬酸发酵液Fig.6 The influence of iteration times on the model under different learning rates (a): Pork near infrared spectrum; (b): Citric acid fermentation liquid near infrared spectrum

表1

Table 1

表1(Table 1)

表1 学习率选择表 Table 1 Learning rate selection table 学习率 数据集1 R2 mse 0.001 0.990 7 0.910 0 0.000 1 0.929 3 7.085 4 0.000 01 0.880 4 11.984 9

表1 学习率选择表 Table 1 Learning rate selection table

对于猪碎肉近红外光谱数据集, 我们对比了三种预测模型, 结果如表2。 可以看出, 用BP方法对近红外光谱建模的R²为0.902 6, 而用DBN模型和DBN-PLS模型建模后的R²分别为0.990 7和0.964 4, 预测精度都优于BP模型。 图7分别给出了猪肉含水量的BP模型、 DBN模型和DBN-PLS模型。 图7(a)为BP模型预测值与实际值的对比, 图7(b)为用DBN模型建模的预测值和实际值对比, 图7(c)为用DBN-PLS模型建模的对比图。 可以看出, DBN模型和DBN-PLS模型的预测效果都优于BP模型。

表2

Table 2

表2(Table 2)

表2 猪肉近红外光谱预测模型评价指标 Table 2 Evaluation index of model for pork near infrared spectrum 预测模型 评价指标 R2 mse BP 0.902 6 7.563 7 DBN 0.990 7 0.910 0 DBN-PLS 0.964 4 3.576 0

表2 猪肉近红外光谱预测模型评价指标 Table 2 Evaluation index of model for pork near infrared spectrum

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 猪肉近红外光谱模型对比结果 (a): BP模型; (b): DBN模型; (c): DBN-PLS模型Fig.7 Comparison results of model for pork near infrared spectrum (a): BP model; (b): DBN model; (c): DBN-PLS model

对于第二个柠檬酸发酵液近红外光谱数据集, 我们分别应用了PLS模型和DBN-PLS模型对其建立校正模型, 并计算了其评价指标, 结果如表3所示, 并在图8给出了其模型预测值和实际值的对比图。 图8(a)为PLS模型建模效果, 图8(b)为利用DBN对光谱数据进行特征提取和降维后的建模效果。 可以明显看出, 利用DBN-PLS对柠檬酸发酵液近红外光谱数据集的建模效果明显优于PLS模型的建模效果。

表3

Table 3

表3(Table 3)

表3 柠檬酸发酵液近红外光谱模型评价指标 Table 3 Evaluation index of model for citric acid fermentation broth near infrared spectrum 预测模型 评价指标 R2 mse PLS 0.324 2 0.611 4 DBN-PLS 0.769 0 0.208 9

表3 柠檬酸发酵液近红外光谱模型评价指标 Table 3 Evaluation index of model for citric acid fermentation broth near infrared spectrum

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 柠檬酸发酵液近红外光谱建模对比 (a): PLS模型; (b): DBN-PLS模型Fig.8 Comparison of PLS and DBN-PLS models for near infrared spectra of citric acid fermentation broth (a): PLS model; (b): DBN-PLS model