随机近邻嵌入SNE(stochastic neighbor embedding)是一种非线性流形降维算法^[10], 通过仿射变换将数据点映射到概率分布上, 在高维空间和低维空间构建概率分布, 优化两个概率分布之间的距离即KL散度, 使其分布尽可能地相似, 以此实现数据从高维空间到低维空间的降维。

采用SNE在高维空间构建近红外光谱的概率分布的过程如下。 假设在高维欧氏空间R^D中有n个D维数据集X={x₁, x₂, x₃, …, x_n}, x_i∈ R^D, (i=1, 2, 3, …, n), 利用式(1)计算数据点x_i与x_j之间的概率分布p_ij, 以高斯概率分布表示样本的位置信息^[11]。

pj|i=exp(-‖xi-xj‖2/2σi2)∑k≠iexp(-‖xi-xk‖2/2σi2)(1)

式(1)中, σi2为以数据点x_i为中心的高斯均方差。 对于高维数据点x_i、 x_j映射到低维空间的y_i、 y_j, 同样采用高斯分布重构局部邻域信息, 计算y_i和y_j之间的概率分布q_j|i, 重构低维空间数据集Y={y₁, y₂, y₃, …, y_n}。 利用KL散度^[12]衡量两个概率分布之间的相似度

C=∑iKL(Pi‖Qi)=∑i∑jpj|ilogpj|iqj|i(2)

为了让高维空间的点映射到低维空间后, 尽可能保持一样的分布, SNE采用梯度下降的方法, 不断更新低维空间内点的分布, 使得两个概率空间的KL散度逐渐降低, 使得降维之后的特征空间与高维空间局部邻域信息具有较高的相似度。

Wasserstein散度是一种度量两个概率分布之间距离的方法^[13], 能够保持两个概率分布的几何特性。 目前, Wasserstein散度在概率理论和数理统计方面已有成熟的理论研究, 并且随着深度学习神经网络的发展, Wasserstein散度在算法研究领域具有较为广泛的应用^[14]。 值得一提的是在生成对抗网络中, Wasserstein散度优化了JS散度距离衡量不合理性, 拉近生成数据和真实数据的数据分布, 有效的解决了生成对抗网络训练不稳定的问题, 提高了样本数据生成、 图像生成、 文本生成的准确率^[15]。 Wasserstein散度表示两个概率分布之间的距离定义如式(3)

W(P1, P2)=infγ~∏(P1, P2)E(x, y)~γ[‖x-y‖](3)

式(3)中, ∏(P1, P2)表示的是分布$P_1$ 和$P_2$ 中所有可能的联合分布, 对于每一个可能的联合分布γ , 可以从中采样(x, y)~γ 得到一个样本x和y, 并计算出这对样本的距离‖ x-y‖ , 同时计算该联合分布γ 下样本对距离的期望值E_((x, y)-γ ) [‖ x-y‖ ], 在所有联合分布中求期望值的最大下界inf(E_((x, y)-γ ) [‖ x-y‖ ]), 从而得到两个概率分布的Wasserstein散度。

为了在近红外光谱中, 找到与目标样本相似度匹配最近的样本, 提出了基于Wasserstein散度的t分布随机近邻嵌入算法(Wt-SNE)。 先将近红外光谱数据利用概率分布在高维空间表示, 重构低维度空间的概率分布, 同时引入Wasserstein散度替换KL散度, 通过迭代调整低维空间内样本点的位置信息, 降低两个空间样本分布差异性, 增强低维空间中相似性度量结果的准确度, 基于Wasserstein散度的t分布随机近邻嵌入算法的相似性度量方法步骤如下:

Step 1: 根据式(1), 将近红外光谱数据集X中每个样本在高维空间内的分布用高斯概率分布表示, 获取高维空间中两个样本的条件概率p_j|i。

Step 2: 在低维空间中, 对于低维特征矩阵Y={y₁, y₂, y₃, …, y_n}使用更重长尾分布的t分布来避免crowding问题^[16], 以此来替代高斯分布, 表达低维空间内两点之间的相似度, 在t分布下第i个样本分布在样本j周围的概率q_ij计算如式(4)

qj|i=(1+‖yi-yj‖2)-1∑k≠l(1+‖yk-yl‖2)-1(4)

Step 3: 引入Wasserstein散度计算高维空间和低维空间两个概率分布之间的距离W(p, q), 通过梯度下降算法, 迭代更新低维度空间的特征矩阵Y, 计算概率分布, 优化Wasserstein散度。 低维度空间的特征矩阵Y更新如式(5)

Y(t)=Y(t-1)+ηdWdY+α(t)(Y(t-1)-Y(t-2))(5)

式(5)中, Y^(t)表示t轮迭代后的特征矩阵, η 为梯度更新的学习率, α 为动量因子。 相比KL散度, 即使两个分布的支撑集没有重叠或者重叠非常少, Wasserstein散度仍然能反映近红外光谱在两个空间内概率分布的相似情况, 而KL散度变得无意义。

Step 4: 低维特征矩阵Y, 保留了原始数据的多种有效特征结构, 通过计算低维特征矩阵样本点之间的马氏距离, 得到目标样本与其他样本之间的差异程度^[17]。 此距离越大, 样本间的差距越大, 反之样本间的相似度越高, 距离度量标准如式(6)

Similarity(yi)=minMDj=1, 2, …, n; j≠i(yi, yj)=(yi-yj)V-1(yi-yj)T(6)

式(6)中, y_i、 y_j分别为降维后第i个和第j个样本的特征向量, V为类协方差矩阵。

选取某烟草企业提供的近3年广西、 山东、 四川、 云南四个产区具有代表性的280个烟叶样品, 其主要化学成分含量已知。 将样本置于60 ℃烘箱内烘2 h, 磨碎过40目筛, 常温避光密封保存24 h后采集样本光谱。

选用尼高力公司的Antaris Ⅱ 近红外光谱仪, 光谱扫描范围为4 000~10 000 cm^-1, 分辨率为8 cm^-1。 每个实验样品称重15 g, 置于样本杯中用压样器压实, 压实用200 g压力。 保持室温在18~22 ℃、 湿度< 60%。 重复扫描3次取平均值作为该样品的最终光谱, 如图1(a)所示。 化学物质的含量是度量样本烟叶之间相似性的关键指标, 烟叶中总糖、 烟碱、 还原糖等物质的特征波段主要分布在4 140~7 500 cm^-1范围内, 不同样本在此波段吸收峰的变化存在差异, 因此选取4 140~7 500 cm^-1波段作为样本相似性度量的波长区间。 将光谱数据进行Savitzky Golay(9, 2)一阶导数预处理, 以消除环境、 仪器和人为等因素的噪声干扰, 预处理后的光谱如图1(b)所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 原始光谱图和预处理结果 (a): 原始光谱; (b): Savitzky Golay(9, 2)一阶导数预处理Fig.1 The original and pretreated spectra (a): Original spectra; (b): Savitzky Golay(9, 2) first derivative

领域专家认为相同产地的烟叶相似度高, 将高维烟叶光谱数据进行降维, 重构的低维数据尽可能的表达原数据的特征信息。 好的降维方法应使相同产地的烟叶尽可能靠近, 不同产地的烟叶尽可能分开。 随机选取140个样本, 分别采用PCA、 LPP、 t-SNE、 Wt-SNE方法对不同产区烟叶光谱数据进行降维的投影效果对比如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 降维投影图 (a): PCA; (b): LPP; (c): t-SNE; (d): Wt-SNEFig.2 Dimension reduction projection diagram (a): PCA; (b): LPP; (c): t-SNE; (d): Wt-SNE

可以看出, PCA算法降维后的烟叶样本, 投影混合现象严重, LPP算法无法有效区分不同产区的烟叶, 存在部分样本的重叠, 线性降维方法PCA、 LPP对于近红外光谱数据的相似性和样本分布特征提取较差。 t-SNE算法对四个产地的烟叶区分度优于PCA和LPP算法, 但分类边界效果较差。 本文提出的Wt-SNE算法对于烟叶产地的区分度明显高于其他三种算法, 产区分类边界明显, 降维效果较优。

近红外光谱数据能够反映不同产地烟叶的成分、 质量的差异性, 将其降至低维后进行分类, 通过产地识别的准确率反映降维方法对近红外光谱数据的特征提取能力。 将280个具有代表性的样本数据按照3∶ 1的比例随机划分数据集, 210个样本作为训练集, 剩余样本为测试集。 分别利用PCA、 LPP、 t-SNE、 Wt-SNE将光谱数据降维至1~7维, 再通过KNN分类器对低维光谱数据建立烟叶产地分类模型, 分类准确率随光谱特征维度的变化如图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 不同维度下产地识别准确率Fig.3 Accuracy of origin recognition in different dimensions

通过图3可以看出, 四种降维方法得到的特征数据在不同维度下产地识别准确率各不相同, 总体上随着维度的增加分类准确率先上升后趋于平缓, 在6维特征空间之后呈现下降趋势。 因此实验将光谱数据降至6维特征, 以确保四种降维方法能够从近红外光谱中提取到烟叶的关键信息, 从而保证烟叶样本相似性度量的可靠性。

为进一步验证降维结果的有效性, 分别使用PCA、 LPP、 t-SNE、 Wt-SNE算法对烟叶光谱数据降至6维特征, 之后除KNN分类器外, 另外再选用SVM和PLS-DA分类器利用训练集光谱建立烟叶产地分类模型, 对测试集70个样本进行产地预测, 表1为不同算法在测试集中的产地分类准确率对比。

表1

Table 1

表1(Table 1)

表1 烟叶产地分类准确率对比 Table 1 Comparison of accuracy of tobacco origin classification 方法 测试集准确率/% 原始 光谱 PCA LPP t-SNE Wt-SNE 平均 准确率 KNN 87.2 87.4 88.1 91.3 93.8 90.15 SVM 86.4 86.9 87.3 90.7 91.5 89.10 PLS-DA 85.9 87.7 86.8 89.5 92.7 89.18

表1 烟叶产地分类准确率对比 Table 1 Comparison of accuracy of tobacco origin classification

由表1可以得出, 三种分类器对原始数据进行产地识别的准确率最低, 说明原始数据中存在较多的噪声和冗余信息的干扰。 运用四种降维方法后的样本产地识别准确率均有所提高, 其中, Wt-SNE算法降维后的数据在三种分类器下的产地识别准确率分别为93.8%、 91.5%、 92.7%, 相比t-SNE算法识别错误的样本有所减少, 这是因为在t-SNE算法中, KL散度虽然能够确保低维空间生成的t分布正确匹配高维空间高斯分布的峰值部分, 但尾部样本的概率分布将无法有效匹配。 而Wt-SNE算法采用Wasserstein散度衡量两个概率分布的距离, 更加重视全局性的概率分布特征, 且两概率分布的尾部同样会受到关注, 有效拉近了低维空间生成的概率分布与高维空间真实的概率分布之间的相关性。 相比其他算法, 该方法降维后保留了更多烟叶的特征信息, 因此识别率最高, 这与投影分析结果一致。

单料烟叶的替换是配方维护和保持卷烟叶组配方质量稳定性的关键环节, 在某一需要维护的卷烟叶组配方中, 选取一个单料烟作为替换的目标烟叶, 从90个用于维护的烟叶样品中查找相似烟叶。 图4为采用PCA、 LPP、 t-SN、 Wt-SNE方法降维后的维护烟叶样本与目标样本之间的马氏距离以及通过马氏距离选出5个距离最近的替换样本。 替换样本与目标样本在空间中的马氏距离反映了样本间的相似度, 距离越近相似度越高。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 备选样本与目标样本之间的马氏距离度量结果 (a): PCA; (b): LPP; (c): t-SNE; (d): Wt-SNEFig.4 The Mahalanobis distance measurement results between the candidate sample and the target sample (a): PCA; (b): LPP; (c): t-SNE; (d): Wt-SNE

从图4可以看出, 四种降维方法选取的替换烟叶存在部分重复的情况, 样本16、 56、 72、 88均被两种以上方法选为较优先的替换样本, 其中样本16被LPP、 t-SNE和Wt-SNE三种方法选为与目标样本最为接近的替换样本, 表明通过马氏距离的度量在不同的低维空间内选取的替换结果具有相似性。

为验证选取的替换样本与目标样本的相似度情况, 选取四种降维方法中与目标样本马氏距离最为接近的2个样本作为替换烟叶, 分别从化学成分和感官评吸方面对选取的替换烟叶进行评价。 感官评吸组织10位专家依据YC/T 497— 2014《卷烟中式卷烟感官评价方法》从香气、 烟气、 口感特性方面进行打分评价。 此外, 为直观评价烟叶总体质量差异, 以0.5分为梯度对烟叶品质进行打分, 烟叶品质偏差感官评价标准见表2。 表3为采用四种降维方法选取与目标样本马氏距离最为接近的2个样本评价结果。

表2

Table 2

表2(Table 2)

表2 烟叶品质偏差感官评价标准 Table 2 Sensory evaluation standard of tobacco quality deviation 项目 品质偏差档次分值 0 1 2 3 4 5 品质偏差描述 无 轻微 略有 有 稍大 较大

表2 烟叶品质偏差感官评价标准 Table 2 Sensory evaluation standard of tobacco quality deviation

表3

Table 3

表3(Table 3)

表3 目标烟叶和替换烟叶评价结果对比 Table 3 Evaluation comparison of target tobacco and replacement tobacco 方法 烟叶编号 化学成分/% 感官特征 品质 偏差 总糖 烟碱 总氮 还原糖 香气特征 烟气特征 口感特征 目标烟叶 22.83 2.71 2.37 17.99 38.6 33.7 16.2 - PCA 替换烟叶1(7号) 22.07 2.66 2.47 17.08 37.2 34.1 15.4 1 替换烟叶2(69号) 23.65 3.07 2.55 17.56 39.4 32.6 14.3 1.5 LPP 替换烟叶1(16号) 22.79 2.68 2.36 17.92 38.3 33.9 16.1 0 替换烟叶2(39号) 22.65 2.19 2.24 17.81 37.4 32.1 15.9 1.5 t-SNE 替换烟叶1(16号) 22.79 2.68 2.36 17.92 38.3 33.9 16.1 0 替换烟叶2(52号) 22.72 2.57 2.29 18.26 38.1 34.5 16.3 1 Wt-SNE 替换烟叶1(16号) 22.79 2.68 2.36 17.92 38.3 33.9 16.1 0 替换烟叶2(56号) 22.85 2.80 2.35 17.89 38.5 34.2 16.4 0.5

表3 目标烟叶和替换烟叶评价结果对比 Table 3 Evaluation comparison of target tobacco and replacement tobacco

由表3可以看出, LPP、 t-SNE和Wt-SNE选取的最为接近的替换烟叶(16号样本)与目标烟叶的相似度较高, 烟叶总糖和烟碱的含量与目标烟叶最为相近, 香气、 烟气、 口感评析得分表现出较高的一致性, 烟叶总体品质无偏差。 但LPP和t-SNE选取的次优替换烟叶39号和52号样本与目标烟叶存在一定差异, 相比之下Wt-SNE选取的替换烟叶56号烟叶与目标烟叶的相似度较为接近, 表明Wt-SNE降维后的数据在替换样本选择上具有一定的稳定性, 能够准确地度量烟叶近红外光谱之间样本的相似度, 是一种有效的单料烟叶的替换方法。