实验所使用的金线莲样品数据均由福建中医药大学提供, 一共收集了91批金线莲, 其中, 组培品18批, 种植品73批。 样本中包含了本地、 尖叶、 小圆叶、 大圆叶、 台湾银线兰等不同品系; 样本来自宁德、 漳州、 泉州、 三明、 南平、 福安、 莆田、 云南等产地; 组培品包含瓶苗、 盆苗、 炼苗等, 种植品包含野生苗、 林下仿野生苗等; 除野生样本外, 培育时间1~24个月不等。 每批样本经3~5次清洗, 直至表面无泥沙, 放于烘箱60 ℃恒温烘干至恒重, 随后用中药粉碎机粉碎, 过60目筛。

取适量上述样本粉末装入指管, 使用瑞士步琦公司生产的NIRFlexN-500型傅里叶变换近红外光谱仪进行数据采集, 仪器扫描范围为4 000~10 000 cm^-1, 扫描次数设置为32次, 分辨率为8 cm^-1, 在室温25 ℃, 空气湿度为60%的条件下进行采集, 每次扫描前保持样本处于夯实、 均匀、 平整的状态, 每个样本重复扫描三次, 取平均值作为样本近红外光谱。 最终, 获得2组共91批金线莲近红外光谱, 每条NIR数据有1 501个波数点, 原始光谱如图1所示。 数据均使用Python语言编写程序进行分析。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 原始数据集近红外光谱Fig.1 Near-infrared spectroscopy of the original dataset

由于金线莲生长周期长、 生长所需环境严格, 一年能采集的样本批次不多, 由于人为因素的影响在实际应用中要积累大量样本需要几年甚至更长的时间, 因此在实际金线莲样本积累的过程中存在种植、 组培样本不平衡问题。

然而分类鉴别模型一般都需要建立在不同类别的训练样本数目相当这个基本假设上, 事实上如果类别样本数量差别很大, 会对训练学习造成很大的影响^[13]。 在本研究中培育方式为种植、 组培的金线莲样本数量比例超过4∶ 1, 采用常规模式识别分类器倾向于将大部分的分类结果识别为种植品, 如果不对该特性进行针对性改进和预处理, 将严重影响最终的鉴别结果。

目前解决样本类别不平衡问题比较成熟的技术主要分为两类: (1)对原有的数据进行处理, 使得数据的分布变得平衡, 如合成少数类过采样技术(synthetic minority over-sampling technique, SMOTE)^[14]。 (2)采用代价敏感机制对算法进行改进, 使得某类别错误分类的代价更高^[15]。 在现实生活中, 代价敏感值难以确定, 大大增加了该方法的难度和不确定性, 这是实际应用中难以克服的问题。 因此选择SMOTE算法对类别不平衡问题进行处理。

文献[12]所提出的1D-Inception-CNN(这里称它为原始1D-Inception-CNN)是针对一维NIR数据提出的鉴别模型, 具有低计算复杂度及高精度的特点。 复合差异下不同培育方式的金线莲光谱重叠严重, 鉴别难度很大, 将原始1D-Inception-CNN直接应用于不同培育方式的金线莲鉴别时仍存在特征提取能力不足的问题, 从而导致鉴别准确率不高。 因此对原始1D-Inception-CNN模型特征提取层进行改进, 主要策略为在两条Inception支路上各增加一层卷积层以获取更多特征信息, 设计的改进1D-Inception-CNN模型结构如图2所示, 改进前后模型结构参数对比如表1所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 改进的1D-Inception-CNN结构图Fig.2 Improved 1D-Inception-CNN structure diagram

表1

Table 1

表1(Table 1)

表1 改进前后1D-Inception-CNN具体参数 Table 1 Specific parameters of original and improved 1D-Inception-CNN 结构层 原始 1D-Inception-CNN 改进 1D-Inception-CNN 输入层 1× 1 501 1× 1 501 Inception支路1 1× 3× 8 1× 16× 32 1× 4× 32 Inception支路2 1× 3× 8 1× 3× 8 1× 12× 12 1× 4× 16 1× 8× 12 批归一化 Batch normalization Batch normalization 连接层 Concatenation Concatenation 激活层 Relu Relu 最大池化层 1× 3 1× 2 全连接层1 150 160 全连接层2 2 2 输出层 SoftMax SoftMax

表1 改进前后1D-Inception-CNN具体参数 Table 1 Specific parameters of original and improved 1D-Inception-CNN

图2中近红外光谱数据由输入层送到Inception支路1(包含2个卷积层)和Inception支路2(包含3个卷积层)进行特征提取, 随后由连接层进行两个Inception支路特征信息的融合, 融合的特征经过最大池化操作以减少模型复杂度, 同时一定程度上避免过拟合的发生, 随后输入到两个全连接层和SoftMax函数完成种植、 组培样本的分类。

由于CNN超参数对模型性能影响很大, 合适的优化方法不仅能加快寻找模型超参数的速度, 同时能保证模型鉴别结果的稳定性。 常用于参数优化的方法有网格搜索^[16]、 随机搜索^[17]等。 对参数众多的CNN而言, 网格搜索次数的增加呈指数级增长, 而随机搜索容易陷入局部最优, 易造成鉴别结果的不确定性。 贝叶斯优化算法^[18]是一种基于模型的序贯优化方法^[19], 每一次评估都能够学习到上一次评估的经验, 从而确定下一个参数组合, 依次循环这一步骤, 直至迭代终止。 作为一种全局优化算法, 贝叶斯优化算法与网格搜索相比, 具有更低的计算复杂度, 与随机搜索相比, 搜索目的性更加明确, 不易被局部最优点所束缚, 因此, 贝叶斯优化算法能够更加有效地找到模型参数的全局最优解。 选用贝叶斯优化法对超参数进行寻优, 待寻优参数有: 训练迭代次数(Epoch)、 批大小(Batch-size)、 全连接层神经元个数(Units)、 最大池化窗口大小(MaxPooling-size)、 各卷积层卷积核个数(Filters)、 各卷积层卷积核大小(Kernal-size), 超参数及寻优设置如表2所示。

表2

Table 2

表2(Table 2)

表2 超参数的搜索空间 Table 2 Search Spaces for Hyperparameters 超参数 搜索空间 Units {96, 150, 160, 256} MaxPooling-size {2, 3, 4, 5} Epoch {75, 100, 150, 200} Batch-size {4, 8, 16, 32} Filters {8, 12, 16, 32, 64} Kernal-size {1, 3, 4, 8, 12, 16}

表2 超参数的搜索空间 Table 2 Search Spaces for Hyperparameters

其中, Inception两个支路中各卷积层卷积核个数和卷积核大小的搜索范围均按表中Filters、 Kernal-size设置。

优化算法的目标函数(objection function, OF)设定如式(1)

OF=-∑Kfold=15100(ACC+PRE+REC+F1)Kfold5(1)

式(1)中, Kfold代表交叉验证序号, ACC、 PRE、 REC、 F1等参数的具体含义及计算方法可参考1.6节的详细介绍。

组培品和种植品本质上是二分类问题, 二分类算法常用准确率(Accuracy, ACC)来评价, 为进一步判断预测结果是组培品中真实结果为组培品的比例和模型综合性能, 选取精确率(Precision, PRE)、 召回率(Recall, REC)和综合评价指标(F1-score, F1)进行评估。 上述评估指标的计算公式如式(2)— 式(7)

TPR=TPTP+FN(2)

FPR=FPTN+FP(3)

ACC=TP+TNTP+TN+FP+FN(4)

PRE=TPTP+FP(5)

REC=TPTP+FN(6)

F1=2PRE×RECPRE+REC(7)

式(2)— 式(7)中, TP代表实际为正例的样本预测为正例(即真正例)的数量, TN代表实际为反例的样本预测为反例(即真反例)的数量, FP代表实际为反例的样本预测为正例(即伪正例)的数量, FN代表实际为正例的样本预测为反例(即伪反例)的数量。 对于类别不平衡样本集模型性能的评价常使用ROC曲线-AUC指标进行评估, 该指标可以有效度量模型对正例样本的鉴别能力, 其中, ROC曲线纵坐标为“ 真正例率” (true positive rate, TPR), 横坐标为“ 假正例率” (false positive rate, FPR), AUC即为ROC曲线下方的面积, 代表着模型对正例样本的鉴别能力。 组培品处方疗效、 市场价值较种植品低, 因此在这个实验中将其作为正例。

考虑到传统机器学习方法对光谱特征提取操作的依赖性, 仅选用改进1D-Inception-CNN模型来进行SMOTE过采样分析。 模型训练的整体流程如图3所示, 首先对原始数据进行SMOTE操作, 接着对特征进行标准化, 选择一个分类模型并进行五折交叉验证, 对模型五折交叉的平均性能进行评估, 选择性能最好的模型并进行参数优化从而得到最终的模型。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 实验流程Fig.3 Experimental process

本实验采用五折交叉验证对改进1D-Inception-CNN模型进行验证, 从而提高模型的泛化能力, 增强其稳定性。

原始数据集包含2组数据, 分别是种植品73批, 组培品18批; 经SMOTE处理的数据集包含两组, 分别是种植品73批, 组培品73批, 为保持类别比例的一致性, 在划分数据集时采用分层采样的方式, 两个数据集划分情况如表3所示。

表3

Table 3

表3(Table 3)

表3 数据集划分 Table 3 Dataset division 标签 培育 方式 样本 数量 训练集 测试集 原始数据集 0 种植 73 58 15 1 组培 18 14 4 SMOTE数据集 0 种植 73 58 15 1 组培 73 58 15

表3 数据集划分 Table 3 Dataset division

为验证SMOTE算法对改善鉴别效果的有效性, 基于全光谱数据对表3中两个数据集分别构建改进1D-Inception-CNN模型进行鉴别分析, 并采用贝叶斯优化对改进1D-Inception-CNN模型参数进行寻优, 迭代次数设置为100。

基于原始、 SMOTE处理数据集的超参数搜索过程及迭代目标值如图4, 由图4可看出基于原始数据集, 贝叶斯优化整体目标值比较分散, 介于-130与-340之间, 在第75次迭代中达到最优目标值-338.62; 而基于SMOTE数据集, 贝叶斯优化整体目标值较为集中, 介于-285与-395之间, 在第59次迭代中达到最优目标值-392.13。 据此可知, 经过SMOTE处理的数据集为模型提供了良好的数据基础, 为鉴别效果带来了很大的提升。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 超参数搜索结果Fig.4 Hyperparameter search results

据图4可知优化过程后期, 贝叶斯优化在原始、 SMOTE数据集上都具有很好的多样性, 能有效避免陷入局部最优。

模型性能指标对比具体结果如表4所示。 由表4可知, 经SMOTE算法合成的新数据集准确率略高于原始数据, 精确率、 召回率及综合评价指标均远高于原始数据集。

表4

Table 4

表4(Table 4)

表4 原始数据集、 SMOTE数据集鉴别结果 Table 4 Identification results of the original dataset and SMOTE dataset 原始数据集 SMOTE数据集 ACC/% 92.34 97.95 PRE/% 88.33 96.16 REC/% 78.33 100.00 F1/% 79.62 98.02

表4 原始数据集、 SMOTE数据集鉴别结果 Table 4 Identification results of the original dataset and SMOTE dataset

两个样本集的ROC曲线对比如图5所示, SMOTE样本集在模型下AUC高达0.98, 而原始样本集在模型下AUC仅为0.87, 进一步说明SMOTE处理后的样本集能有效增强模型对组培品的鉴别能力。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 原始数据集、 SMOTE数据集ROC曲线Fig.5 ROC curve of the original dataset and the SMOTE dataset

为验证改进1D-Inception-CNN的模型性能, 基于SMOTE样本集, 分别建立原始1D-Inception-CNN、 随机森林(random forest, RF)与逻辑回归(logistic regression, LR)用于对比鉴别效果。 原始1D-Inception-CNN按文献[12]进行超参数设置, RF模型中决策树个数设置为100, LR模型中正则化系数设置为1.0, 改进1D-Inception-CNN超参数如表5。 其中, Filters1_1代表支路1中第一卷积层的卷积核数量, Filters1_2代表支路1中第二卷积层的卷积核数量, Kernalsize1_1代表支路1中第一卷积层的卷积核大小, 以此类推。

表5

Table 5

表5(Table 5)

表5 改进1D-Inception-CNN超参数设置 Table 5 Hyper-parameters of improved 1D-Inception-CNN 超参数 取值 Epoch 200 Batch-size 8 Units 160 MaxPooling-size 2 Filters1_1/Filters1_2 32/32 Filters2_1/Filters2_2/Filters2_3 12/16/12 Kernalsize1_1/Kernalsize1_2 16/4 Kernalsize2_1/Kernalsize2_2/Kernalsize2_3 12/4/8

表5 改进1D-Inception-CNN超参数设置 Table 5 Hyper-parameters of improved 1D-Inception-CNN

各模型训练后的测试集分类性能如表6所示, 各项分类指标显示, 原始1D-Inception-CNN的性能整体优于RF和LR模型, 但值得注意的是, 在文献[12]中性能卓越的模型在本节实验中的表现不如预期, 其召回率甚至略低于LR模型, 主要原因在于本研究所使用的各批金线莲不但在品系、 产地上有所差异, 在培育方式、 培育时间上更有所不同, 其NIRS数据重叠度十分高, 需要特征提取更好、 性能更强的模型才能更好地区分培育方式。 而改进1D-Inception-CNN由于增强了特征提取能力以及进行了全局参数优化, 各项评估指标均达到最优。

表6

Table 6

表6(Table 6)

表6 不同分类模型性能 Table 6 Performance of different classification model 评估指标 分类模型 LR RF 原始 1D-Inception-CNN 改进 1D-Inception-CNN ACC/% 92.46 91.77 93.89 97.95 PRE/% 88.81 91.11 94.54 96.16 REC/% 97.33 93.05 93.24 100.00 F1/% 92.86 91.79 93.73 98.02

表6 不同分类模型性能 Table 6 Performance of different classification model