本实验使用的是尹刚等提供的数据^[14], 共收集了177份血清样本, 其中包含63例COVID-19确诊患者、 59例疑似病例和55名健康个体。 采集血液后, 进行离心处理并从中分离出血清。 使用波长为785 nm, 功率为100 mW的单模二极管激光器(实光)用于拉曼激发。 检测到样品上的激光功率约为70 mW。 并在600~1 800 mm的范围内记录光谱, 每个样品收集拉曼光谱15次, 每个样品收集多个光谱, 确保准确表示样品的成分。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 两种类型血清的拉曼光谱Fig.1 Two types of serum Raman spectra

条件生成对抗网络(CGAN)利用了条件生成器和条件判别器之间的互动, 来生成和判别更真实的数据^[15]。 因此可以有效地利用原始数据的特征和分布来生成更多的数据样本。 相较于原始GAN, CGAN可以在生成过程中, 使用额外的条件信息来更精细的控制生成器输出, 通过在生成器和判别器中引入条件信息y, 使得生成器可以将其用作先验信息来指导输出, 而判别器则将其用于对生成器的输出进行评估, 达到更好的生成效果。

CGAN的目标函数可以表示为

$\text{mi}{{\text{n}}_{G}}\ \text{ma}{{\text{x}}_{D}}V\left( D,G \right)={{E}_{x\tilde{\ }\text{pdata}(x|y)}}\ [\text{log}D(x|y)]+{{E}_{z\tilde{\ }{{p}_{z}}\left( z \right),y}}\left[ \text{log}\left( 1-D\left( G\left( z,y \right)\left| y \right. \right) \right) \right]$(1)

式(1)中, E_x~pdata(x|y)是条件分布, 表示给定条件y下的真实数据分布, Ez~pz(z), y是噪声分布, 表示潜在空间中的噪声分布。 生成器的目标是最小化V(D, G), 而判别器的目标是最大化V(D, G)。 这个目标函数可以用反向传播算法进行优化, 从而得到最终的生成器和判别器。

由于光谱数据具有复杂的分布和特征, 使用CGAN可以生成更多的具有高度真实性和多样性的光谱数据, 有助于提高模型的性能和泛化能力。 CGAN从原始数据中学习特征信息并生成新的数据, 可以保留原始数据中的特征信息, 从而使生成的数据更加真实, 符合实际场景。 此外CGAN还可以基于条件变量生成数据, 这意味着可以通过控制条件变量的值来控制生成数据的属性, 如光谱数据的峰值位置、 峰值强度等。 通过在条件变量中引入噪声, 可以在生成过程中引入一定的随机性, 从而生成多样化的数据, 这对于数据增强是非常有益的。 CGAN还可以通过增加或减少条件变量和隐藏层的数量来扩展模型, 因此可以适应不同规模的数据集, 并实现更好的数据增强效果, 生成更加真实的数据。

DNN分类器是一种基于深度学习算法的分类模型, 通过多层神经网络来逐层计算学习输入数据的特征和标签之间的关系, 从而实现分类任务。 每层神经元的输出作为下一层的输入, 通过反向传播算法, 即根据损失函数计算出每个神经元的误差, 并将误差从输出层反向传播到输入层, 以调整每个神经元的权重和偏置, 从而最小化损失函数并提高模型分类准确率。 DNN分类器的可以自动学习输入数据的特征, 避免了手动设计特征的繁琐过程, 同时具有很强的表达能力和拟合能力, 在工业应用上取得了广泛应用和优异性能。

DNN一般由1个输入层、 多个隐藏层和1个输出层组成。 模型输入与权重值相乘后通过激活函数, 使其具有非线性表达能力。 神经网络中的每个神经元都与前一层的所有神经元相连, 并且每个连接都有一个权重。 每个隐藏层都可以视为从输入到输出的映射函数, 即网络的线性关系表达式为

$y=\overset{m}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,{{w}_{i}}{{x}_{i}}+b$(2)

$a_{j}^{k}=\sigma \left( Z_{j}^{k} \right)=\overset{m}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,w_{ji}^{k}a_{i}^{k-1}+b_{j}^{k}$(3)

将表达式代入运算, 假设第k-1层有n个神经元, 则对于第k层的第j个神经元的输出为

$a_{j}^{k}=\sigma \left( Z_{j}^{k} \right)=\overset{m}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,w_{ji}^{k}a_{i}^{k-1}+b_{j}^{k}$(4)

式(4)中, σ 为激活函数, w为权重, b为偏置。 随着网络计算, 后面的神经元获得的值会越来越大, 因此网络结构中需要用激活函数进行约束。 DNN网络结构如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 DNN网络结构示例图Fig.2 The schematic diagram of DNN network structure

DNN中的激活函数还可以增强网络的表达能力, 一般为非线性。 常见的激活函数有Sigmoid函数、 ReLU函数、 LeakyReLU函数、 Tanh函数, 函数的表达式如式(5)— 式(8)

$f{{\left( x \right)}_{\text{singmoid}}}=\frac{1}{\ \ \ 1+{{\text{e}}^{-x}}\ \ \ }$(5)

f(x)ReLU=max(0, x)(6)

f(x)LeakyReLU=max(α0, x)(7)

$f{{\left( x \right)}_{\text{Tanh}}}=\frac{{{\text{e}}^{x}}-{{\text{e}}^{-x}}}{\ \ \ \ {{\text{e}}^{x}}+{{\text{e}}^{-x}}\ \ \ }$(8)

激活函数的图像如图3。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 神经网络常用的激活函数Fig.3 Common activation functions used in neural networks

在DNN的训练需要定义一个损失函数来度量预测值与真实值之间的差异, 衡量模型在训练集上的性能。 损失函数越小, 表明模型性能越好。 常见的损失函数有: 均方误差、 二分类交叉熵、 多分类交叉熵等, 本文选择二分类交叉熵作为神经网络的损失函数, 此函数适用于二元分类问题。

在神经网络的训练过程中, 网络的层数选择、 学习率等超参数的选择对模型的性能有着重要的影响。 不同的数据集和任务需要选择不同的超参数, 传统的方法是通过试错或根据经验进行确认超参数的值, 但这种方式需要大量尝试且容易陷入局部最优解。 针对超参数的设计问题, 本文使用贝叶斯优化, 得到最佳的超参数设定。

贝叶斯优化思路是将超参数组合看成由各个待优化的点组成的集合, 假定待优化点和损失函数存在函数关系, 即建立起对应的关系。 它利用高斯过程模型来建立超参数和目标函数之间的映射关系, 并在每次迭代中选择最优的超参数组合来更新模型。 这样, 就可以在不断尝试的过程中逐步缩小超参数的搜索空间, 直到找到最优解为止。 贝叶斯优化过程如图4。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 超参数优化过程Fig.4 The process of hyperparameter optimization

预处理: 将输入超参数空间转化为概率分布函数。

初始化: 根据初始条件, 建立高斯过程的先验概率分布。

选点: 通过采样函数, 找到最优点的候选集合。

更新: 将新的采样结果加入高斯过程中, 更新高斯过程的后验概率分布。

终止条件: 如果达到了指定的最大迭代次数或其他终止条件, 结束优化过程。 本文选取的终止条件为迭代次数大于20次或超参数选择没有提升性能。

输出结果: 输出最优超参数及其对应的损失函数值。

通过贝叶斯优化, 在较少的尝试次数下找到最优解, 有效减少试错成本。 经过贝叶斯优化后得到最优DNN网络模型, 输入层神经元个数为64, 隐藏层个数为2, 失活神经元所占比例为0.5, 学习率为0.01。 激活函数选用Relu, 训练50轮, 在反向传播更新参数中选取Adam优化器来优化模型权重, 损失函数指定使用交叉熵函数, 选择准确率作为评价指标。

为了验证DNN模型的优越分类能力, 本文还使用了其他五种算法, 包括逻辑回归、 决策树、 随机森林、 SVM和KNN, 来检测和分类新型冠状病毒的拉曼光谱, 将实验结果与DNN模型的结果进行比较。

如图5所示, 逻辑回归、 决策树、 随机森林、 SVM和KNN模型在新型冠状病毒拉曼光谱的检测上分别得到91.4%、 82%、 92.8%、 93.5%、 93.2%的准确率, 而DNN算法的准确率为97.6%, 实现了最佳的检测性能。 相比之下, 其他五种机器学习算法在检测拉曼光谱之前需要进行预处理操作, 如归一化、 平滑和降维, 神经网络模型省去了复杂的预处理过程, 节省了时间和人力。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同模型分类准确率对比图Fig.5 Comparison chart of classification accuracy among different models

如图6所示, 仅经过几轮迭代, DNN模型的精度就迅速达到了较高水平, 在相对较短的训练时间内实现了稳定的收敛。 这表明深度学习算法比传统的机器学习算法耗时更少。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 检测精准率变化图Fig.6 Detection accuracy change chart

CGAN通过博弈式训练生成器和判别器, 最终生成器能够生成高质量的样本。 CGAN的生成器可以表示为一个映射函数G(z, y), 其中z是从潜在空间中随机采样的噪声向量, y是条件信息, 可以看作类别标签。 针对拉曼光谱数据设计的生成网络结构见表1。

表1

Table 1

表1(Table 1)

表1 生成网络参数 Table 1 Parameters of generate network 网络层 1维卷积核 步长 Padding 激活函数 Conv1 (1, 5) 0 same ReLU Conv2 (1, 4) 2 same ReLU Conv3 (1, 4) 2 same ReLU

表1 生成网络参数 Table 1 Parameters of generate network

判别器可以表示为一个分类器D(x, y), 其中x是输入的数据样本, y是条件信息。 针对拉曼光谱数据设计的判别网络结构见表2。

表2

Table 2

表2(Table 2)

表2 判别网络参数 Table 2 Parameters of discriminator network 网络层 1维卷积核 步长 Padding 激活函数 Conv1 (1, 5) 2 same LeakyReLU Conv2 (1, 5) 2 same LeakyReLU Conv3 (1, 5) 2 same LeakyReLU

表2 判别网络参数 Table 2 Parameters of discriminator network

为了增加数据多样性, 采用两种数据增强方式。 首先利用CGAN生成高斯噪声, 并将其与原始数据进行相加。 通过训练一个高斯噪声生成器, 对每个原始样本进行采样, 得到新的样本, 并且可以控制噪声的大小和分布。 然后使用CGAN生成随机的线性叠加, 来生成新的样本。 训练一个生成器, 将其输入为两个原始样本, 然后生成一个随机的线性叠加, 即y=w₁x₁+w₂x₂, 其中w是随机生成的权重, x是原始的拉曼光谱数据。 在CGAN的训练过程中, 使用拉曼光谱数据集作为真实数据, 以生成的随机叠加作为假数据, 训练生成器和判别器。 经过上述操作, 将总样本扩充到1 000, 生成数据非常接近原始数据, 如图7所示。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 原始光谱和生成的光谱进行对比Fig.7 Comparison between the original spectrum and the generated spectrum

增强后的拉曼光谱数据集包含更多的样本和更多的数据变化。 训练的DNN模型可以更好地泛化到新数据上, 且具有更好的鲁棒性。 为了验证CGAN模型数据增强的有效性, 使用不同的算法分别分析了原始拉曼光谱数据和增强后的数据, 并对结果进行了比较, 结果如图8所示。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 不同分类器的检测结果对比Fig.8 Comparison of detection results using different classifiers

在对完成扩充的数据进行检测时候时, 逻辑回归、 决策树、 随机森林、 SVM、 KNN和DNN模型的检测准确率分别上升了1.8%、 7.5%、 2.6%、 1.2%、 0.9%, 模型检测效果都表现出一定提升, 其中决策树模型的准确性提高了7.5个百分点, 说了了数据增强的有效性。

如图9所示, 在训练过程中还观察到使用数据增强后的拉曼光谱数据集进行训练时, DNN的损失函数下降速度更快, 稳定后达到更小的值, 这也说明CGAN模型数据增强方法可以有效提升模型性能。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 损失函数变化图Fig.9 Plot of loss function change