实验采用的仪器是美国的微型近红外光谱仪(型号为MicroNIR 1700)。 样本是在收获旺季(5月— 9月), 从包括山东、 重庆、 河南与河北在内的我国主要金银花产地所采集的金银花。 样本覆盖地相对比较广, 各个地区均涵盖多个县乡。 最终获取的金银花NIRS数据共500个。 具体的样本集分类如表1。

表1

Table 1

表1(Table 1)

表1 实验数据分配情况 Table 1 Distribution of experimental data 样本产地 样本数量 样本编号 河南省 125 1~125 山东省 121 126~247 河北省 105 248~350 重庆市 150 351~501

表1 实验数据分配情况 Table 1 Distribution of experimental data

光谱采集主要步骤: (1) 收集鲜品样本; (2) 经过烘干机将鲜品样本烘干(60 ℃); (3) 平铺已烘干的金银花样本, 平铺的厚度大于等于5 mm; (4) 采用漫反射原理, 把光谱仪对准金银花样本。 每扫描一次, 将光谱仪的光斑区移动一次, 重复以上步骤再采集一次, 各样本共进行五次采集并取均值, 最终获取样本的近红外光谱数据。

光谱仪采集的参数设置如下: 所采集的数据光谱波长908~1 676 nm, 每次光谱需要重复扫描次数设为50, 同时以8 000 μ s作为单次积分的时间。 所测光谱如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 金银花近红外光谱图Fig.1 Near-infrared spectrum of honeysuckle

1.3.1 一维卷积神经网络(1D-CNN)

通过试错法得到一个适应于金银花NIRS数据分类效果良好的1D-CNN模型, 针对近红外光谱数据特点的同时简化模型复杂度和提高模型分类精度, 对LeNet-5进行了改进。 改进后的1D-CNN具体结构如图2所示。 首先, 输入数据大小为1× 125, 经过2层(每层128个卷积核, 卷积核大小为1× 3)卷积层后, 得到相应的128个特征图, 每个特征图大小为1× 121; 然后对该特征图采用步长为2的池化操作, 获得128个特征图, 每个特征图的大小均为1× 60; 重复上述的卷积和池化操作3次后, 获得128个特征图, 各个特征图均为1× 12。 为了使全连接层能够处理所得数据, 对这些数据进行展平操作, 使数据大小从128× 1× 12变成1× 1 536, 最后经过两个全连接层输出分布概率, 获得分类结果。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 1D-CNN模型的结构图Fig.2 Structure diagram of the 1D-CNN model

1.3.2 改进隐含层的VD结构设计

在深度学习网络搭建中, 深度是提升网络表征能力的重要方向。 将传统一维卷积神经网络改进成一维超深度卷积神经网络(1D-VD-CNN)模型。 核心设计是将传统1D-CNN的隐含层分为两个部分— — 特征层和分类层。 传统1D-CNN的隐含层包含卷积层、 池化层及全连接层。 1D-VD-CNN模型具体设计如下:

(1)特征层的设计

鉴于对特征层的设计, 目前没有统一的理论依据, 因此对特征层的设计转换为约束优化设计。 主要包括两个约束条件: 学习能力和学习必要性。

①学习能力设计(第一约束条件)

不同的卷积层设计方案, 学习能力不同。 如图3表示两种模式响应。 图中蓝色的方框代表卷积核。 图3(a)是模式A和B的输出及其空间关系, 卷积层可以组成或者检测更复杂的模式AB。 然而卷积层并不总是有学习更复杂模式的能力。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 模式响应 (a): 模式A、 B输出及空间关系; (b): 卷积尺寸小于模式A、 B之间的响应Fig.3 Pattern response (a): The output and spatical relationshiop of moldes A and B; (b): Convolutional kernal size smaller than the response between modes A and B

如图3(b)所示, 卷积核尺寸小于模式A和B之间的响应距离, 因此卷积层就无法组成或者检测更复杂的模式, 即卷积层无法获取到新的数据特征。 为了解决此问题有两种方法: 第一种是增大卷积核的尺寸; 第二种通过对数据进行步长为2的降采样来使两个模式之间的输出距离缩短一半。 因增大卷积核的尺寸, 会产生更大的计算量, 而降采样处理会减少计算, 但是会丢失部分的数据特征, 因所丢失的部分特征在可接受范围内, 因此采用第二种方法来恢复卷积层的学习能力。

为了衡量卷积神经网络每一层卷积层的学习能力, 本设计引入一个值C(C值为每一层卷积层的学习能力)

C=nconcnfield(1)

式(1)中, n_conc为实际的卷积核值, n_field为感受野值, 即特征图大小。 如图4为1D-VD-CNN特征层模型, 总共有四大卷积层, 每两层中均加步长为2的下采样。 其中每层感受野大小采用数组表示, 如第一大层采用三个1× 3, 数组[2:2:12]表示范围为2到12, 每隔步长2取一个数, 即取数值2、 4、 6、 8、 10、 12。 当大小为1× k的卷积核, 在经过一次步长为2的下采样后, 它的n_conc为1× 2k; 再经过一次步长为2的下采样后, 它的n_conc为1× 4k, 即n_conc经过n次步长为2的下采样后翻倍为1× 2ⁿk。 式(1)C值表示该网络模型的学习能力, 若过小, 则无法提取足够的数据特征。 兼顾系统计算量与准确性的考虑, 根据经验, 本设计1D-VD-CNN的第一约束条件为: 每个卷积层的C≥ 1/6, 本设计取最佳下限值C=1/6。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 1D-VD-CNN特征层模型Fig.4 Feature layer model of 1D-VD-CNN

②学习的必要性设计(第二约束条件)

根据第一个约束条件设计, 加入更多维的卷积层, 并与下采样结合, 进而导致感受野的不断增长, 从而产生新的更为复杂模式。 然而当感受野的大小大于数据向量的长度时, 此时神经元便可看到全局数据。 因此即使增加深度, 数据亦不会出现新的或者更复杂的模式, 不仅不会提高性能, 同时还会增加过拟合风险。 本设计1D-VD-CNN的第二个约束条件为: 顶层的感受野大小等于数据向量的大小。

(2)分类层的优化设计

传统的分类层设计使用两个带有防止过拟合机制的全连接层, 第一个全连接层的通道数大小较大, 作用是整合特征层提取到的特征; 第二个全连接层的通道数大小对应数据种类的大小。 该设计的缺点如下:

①虽然两个全连接层都带有防止过拟合的机制, 但是需要足够的训练集数量, 否则模型易产生过拟合;

②第一个全连接层的通道数过大会增加模型的参数量和计算量。

为了改进传统模式, 本设计进行优化, 优化方案过程如图5所示。 首先, 将特征层输出的特征向量通过降采样把模型缩小到一个较小的尺寸(1× 6, 1× 7或1× 8); 然后使用两个1× 5的卷积层和一个带有Dropout的池化层将数据大小降采样到一个只有一个矢量的向量大小; 最后使用一个分类作用的全连接层输出。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 分类层优化设计Fig.5 Optimal design of classification layer

由于两个卷积核的大小相比于特征图太大, 而全连接层主要功能是对前面几层提取到的特征作加权和, 因此可以替代原来的全连接层, 进而减少参数量。

1.3.3 改进的 1D-VD-CNN 网络结构模型

根据上述理论设计了一个改进1D-VD-CNN的网络模型, 网络的设计结构如图6所示。 图中的64@1× 3表示有64个通道, 每个通道的数据大小为1× 3。 首先, 数据经过一系列的卷积和池化操作后, 将特征图的大小降低至1× 8这样一个较小的尺寸; 然后, 采用两层卷积核大小为1× 5的卷积层替代1D-CNN模型中神经元数量为512的全连接层; 最后用一个池化层将特征图大小降低至1× 1, 并通过全连接层输出分布概率得到分类结果。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 1D-VD-CNN网络结构Fig.6 Network structure of 1D-VD-CNN

该模型的复杂性通过浮点运算FLOPs (floating-point operations)^[14]进行评价。 FLOPs的本质是计算模型中的乘加数^[15]。 卷积层的FLOPs计算公式如式(2)

FLOPsconv=(kw×kh×cin×cout+cout)×H×W(2)

式(2)中, k_w表示卷积核宽度, k_h表示卷积核的高度, c_in表示输入通道数, c_out表示输出通道数, 相当于卷积核的数量, H和W分别表示特征向量的宽和高。

卷积层的参数量由式(3)计算

ParaConv=kw×kh×cin×cout+cout(3)

式(3)中, k_w是卷积核的宽度, k_h是卷积核的高度, c_in是输入通道数, c_out是输出通道数。

NIRS数据是一维序列, 相应的卷积核高度k_h和特征图高度H均为1。 因此, 简化方程式(1)和式(3)如式(4)和式(5)。

FLOPs1D⁃conv=(kw×cin×cout+cout)×W(4)

Para1D⁃Conv=kw×cin×cout+cout(5)

主要采用准确率(Accuracy, ACC multilabel)评价模型的性能。 多标签任务的准确度是通过对每一类别的TP和TN进行求和, 然后除以预测样本的总数进行计算, 计算公式如式(6)

ACCmutilable=∑i=1n(TPi+FNi)∑i=1n(TPi+TNi+FPi+FNi)(6)

式(6)中, TP和TN分别表示将正类预测为正类数量, 将负类预测为负类样本数量。 FP和FN分别表示将负类预测为正类, 将正类预测为负类。

在进行金银花近红外光谱数据的输入之前, 采用KS法进行样本预处理。 取所收集的500个不同产地的金银花样本为模型建立和评估的研究对象。 随机选取20%的样本数据作为模型的测试集, 80%的样本数据为模型的训练集, 其中训练集再随机切分成 20%的验证集作为模型选择的验证依据, 训练集中80%作为模型的训练数据。 因此, 样本数据共划分成3个数据集, 分别为训练集, 验证集和测试集。 采用训练集数据建立模型, 验证集数据作为模型选择, 测试集用于最终验证模型分类。 金银花不同产地样本的数据集划分详细信息如表2所示。

表2

Table 2

表2(Table 2)

表2 金银花不同产地样本的数据集划分 Table 2 Data set division of honeysuckle samples from different origins 样本 样本总数 训练集 验证集 测试集 河南省 125 80 20 25 山东省 120 76 20 24 河北省 105 67 17 21 重庆市 150 96 24 30 总数 500 319 81 100

表2 金银花不同产地样本的数据集划分 Table 2 Data set division of honeysuckle samples from different origins

在不降低性能的情况下, 降低1D-CNN的复杂度。 为了验证改进后的1D-VD-CNN对金银花NIRS数据集的产地识别性能, 分别建立了基于KS预处理方法的1D-CNN和改进1D-VD-CNN进行对比。 数据集按表2划分。 性能评价指标根据1.4节进行实验计算。 模型训练过程中的损失值和准确率分别如图7和图8所示。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 改进的1D-VD-CNN和1D-CNN的损失值Fig.7 The Loss of improved 1D-VD-CNN and 1D-CNN

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 改进的1D-VD-CNN和1D-CNN的准确率Fig.8 The Accurate of improved 1D-VD-CNN and 1D-CNN

图7中改进1D-VD-CNN相较传统1D-CNN的损失值下降更快。 当训练次数达到100时, 训练集和验证集的损失值分别为0.004 5和0.001 3, 分别比传统1D-CNN模型降低了0.074 9和0.050 7。 1D-VD-CNN模型对验证集的损失函数值要小很多, 1D-CNN模型的损失函数值收敛于0.05附近, 而1D-VD-CNN模型的损失函数值收敛于0.001附近, 表明1D-VD-CNN比1D-CNN具有更好的学习能力, 可以提取更多的数据特征, 对未知的数据也有更强的识别能力。

由图8可知, 改进的 1D-VD-CNN的测试集和训练集上升最快, 均可以达到1, 相比与传统1D-CNN模型, 训练集和验证集准确率更高。 该模型可以更准确、 无损地实现金银花NIRS数据不同产地的识别。

模型的训练次数太小会导致欠拟合, 太多又会导致过拟合, 因此在保证模型训练运行次数尽量小和效果尽量好的前提下, 本设计两个模型均选择100次训练。 表3是两个模型的性能指标和复杂度对比。 1D-VD-CNN与1D-CNN比较, 其训练集准确率(ACC)提升约0.5%, 测试集准确率提升约1.4%, 参数和FLOPs分别减少近1 M和20 M。 这表明 1D-VD-CNN比1D-CNN更有效, 性能更优。 由此表明, 对NIRS数据的隐含层结构的修改提高了效率并降低了复杂度。 在数据有限的情况下, 单纯通过增加模型的容量来提高模型的性能是非常昂贵的, 但是适当增加宽度可以大大提高CNN模型的效率。 以上对实验结果的对比和分析表明, 改进的1D-VD-CNN模型对金银花近红外光谱分类具有更高的效率和更好的识别性能。

表3

Table 3

表3(Table 3)

表3 两个模型的评价指标对比 Table 3 Comparison of evaluation indicators of the two models 性能 1D-CNN 1D-VD-CNN Train Valid Train Valid ACCmutilabel/% 99.5 98.6 100 100 loss 0.052 0.078 0.001 3 0.004 #of parameters 1.036 M 0.296 M FLOPs 238.1 M 219.2 M Runtime/s 49.5 50.5

表3 两个模型的评价指标对比 Table 3 Comparison of evaluation indicators of the two models

为了比较改进的1D-VD-CNN与传统化学计量学方法的性能, 分别建立了原始光谱数据分析及输入NIRS经KS预处理后的PLS-DA模型与1D-VD-CNN模型进行对比验证。 在PLS-DA模型中R²X(解释矩阵信息的百分比)和Q²(建模后模型的预测能力)分别为0.956和0.867。 测试集的实验结果如表4所示。 将改进的1D-VD-CNN与原始光谱数据、 PLS-DA模型进行比较, 改进的1D-VD-CNN的性能更优越。 表明对于有限的高维数据, 所提出的模型比不使用特征提取算法的传统化学计量方法具有更强的分类性能。

表4

Table 4

表4(Table 4)

表4 与传统化学计量学方法的对比 Table 4 The performances of improved 1D-inception-CNN and traditional chemometric methods 方法 训练集精度 平均值/% 测试集精度 平均值/% 原始光谱数据 42.49 41.23 PLS-DA 97.78 96.73 1D-VD-CNN 100 100

表4 与传统化学计量学方法的对比 Table 4 The performances of improved 1D-inception-CNN and traditional chemometric methods