卷积神经网络作为一种深层前馈网络, 常用于处理多个阵列数据, 例如时间序列、 图像和音频频谱图等。 典型的卷积神经网络由卷积层、 池化层和全连接层构成, 各层都有不同的功能。 卷积层通过卷积核使输入向量卷积, 生成特征向量, 同一特征值中的全部单元共享相同的滤波器。 池化层位于卷积层后面, 分为最大池化和平均池化, 对输入的特征信息进行压缩, 简化网络计算复杂度。 光谱信息经过卷积层和最大池化层的运算, 网络模型有效提取原始光谱数据中无法直接获取的局部和全局特征, 并将提取的特征输入全局平均池化层转换为向量, 全连接层用于将输入转换为向量, 并实现分类功能。

卷积神经网络的结构体系主要由两部分组成, 即特征提取器和分类器。 特征提取器通常由若干个卷积层堆叠和一个最大池化层组成, 分类器通常是一个全连接的softmax层。 常用的卷积神经网络有LeNet^[13]、 AlexNet^[14]、 VGG^[15]和GoogleNet^[16]等。

由于VGG16网络具有结构简单、 应用性强和识别率高的特点, 本工作参照经典卷积神经网络VGG16模型进行网络结构的改进和参数优化。 根据紫外-可见光谱数据的特性, 提出了1D-CNN水质定性模型, 对不同水质进行分类。 1D-CNN网络各项参数如表1所示, 由光谱信号为2 068× 1矩阵作为输入, 6个卷积层(Conv1d), 各层卷积核大小为4× 1, 3个最大池化层(MP), 1个全局平均池化层(GAP), 1个输出层(Dense)构成。 每两个卷积层后面接一个最大池化层, 在输出层前接一个全局平均池化层来减小参数量, 对特征信息进行压缩, 减小网络计算复杂度。 为避免过拟合, 提高泛化性能, 在池化层网络后加应用比例为0.3的随机失活(Dropout)。 为了进行水质多分类, 输出层采用多分类softmax结构输出。

表1

Table 1

表1(Table 1)

表1 1D-CNN网络各项参数 Table 1 Parameters of 1D-CNN network 层类型 卷积核 大小 卷积核 数量 步长 输出 形状 神经元 个数 参数量 Reshape - - - 2 068× 1 2 068 0 Conv1d 4 16 2 1 033× 16 16 528 80 Conv1d_1 4 16 2 517× 16 8 272 1 040 MP - - - 258× 16 4 128 0 Conv1d_2 4 64 2 129× 16 2 064 4 160 Conv1d_3 4 64 2 65× 64 4 160 16 448 MP_1 - - - 32× 64 2 048 0 Conv1d_4 4 256 2 16× 256 4 096 65 792 Conv1d_5 4 256 2 8× 256 2 048 262 400 MP_2 - - - 4× 256 1 024 0 GAP - - - 256 256 0 Dense - - - 10 10 2 570 合计 - - - - 46 682 352 490

表1 1D-CNN网络各项参数 Table 1 Parameters of 1D-CNN network

数据集按比例划分为两个部分, 70%为训练集用于训练神经网络权重神经元, 30%为测试集用于测试已训练后的神经网络性能。 在训练1D-CNN模型过程中, 可以不划分子问题, 直接将其整个网络模型当作一个复杂的函数求全局最优解问题。 如图1所示为反向传播算法来训练CNN网络模型的整体流程。

卷积神经网络的训练和优化依赖于损失函数, 损失函数用来表达预测值和真实值间的误差, 经过反向传播算法将误差从最后一层反向传播到卷积网络的各层并更新各层的权值。 更新后的参数继续参与训练, 循环往复, 在训练过程中将其最小化, 以便衡量当前任务完成的进展。 所以选择合适的损失函数是一件重要的事。 本文属于多分类问题, 因此选用softmax来解决多分类输出, 对CNN模型的训练采用交叉熵损失函数, 其表达式如式(1)所示

J=-∑i=1Nyilog(pi)(1)

式(1)中, N为种类数量, y_i为如果类别是i的标签, 则y_i=1, 否则为0, p_i为类别为i的神经网络输出概率。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 反向传播算法训练1D-CNN模型整体流程Fig.1 The overall process of training the 1D-CNN model with the back-propagation algorithm

损失函数的下降采用Adam优化器, 其学习率设置为0.002, 为了使1D-CNN模型能有序的参数更新和快速收敛, 训练样本被分成多个批次(batch), 其中批处理样本数目(Batchsize)设为30。

实验代码采用python3.7编写, 模型基于Kears框架, 硬件环境CPU型号为11th Gen Intel Core i5-1135G7, 系统环境中配置了Pandas, Numpy, Sckit-learn等Python三方库。

水质检测系统核心为Ocean Optics生产的Maya2000 pro光谱仪, 如图2所示, 系统主要由氘卤灯光源, 衰减器, 样品支架, 光谱仪及安装了采集控制软件的PC组成, 为避免环境光对测试结果的影响, 保证采集环境一致性, 测量全程都有特制的样品支架进行遮光处理。 经过多次采集和实验, 设置积分时间80 ms, 平均扫描次数为10。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 水质CODmn检测系统Fig.2 Water quality CODmn detection system

如图3为重庆某长江流域取样点的地理方位示意图, 假设A/B₁/B₂/C/D/E为模拟监测站点, 在A/B₁/D点实际取样, C/E点为模拟污染源, 用浓度为500 mg· L^-1的邻苯二甲酸氢钾溶液和生活污水模拟实际污染源。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 某流域取样点示意图Fig.3 Schematic diagram of sampling points in a watershed

将采集的长江上游水、 某河水、 嘉陵江水、 生活污水、 邻苯二甲酸氢钾的水样来模拟当天流域的情况。 模拟水样与实际水体会存在一定偏差, 通过实地采集样品, 尽可能减小两者间的差距。 用卷积神经网络模型训练需要大量数据, 采用模拟水样不仅可以增加样本数据集, 同时也能增强模型的泛化能力。 将各种水样按一定比例配比用于模拟水域污染源变化情况如表2所示。

表2

Table 2

表2(Table 2)

表2 水样配比情况 Table 2 Water sample ratio 水样 类别 长江水 0 某河水 1 嘉陵江 2 邻苯二甲酸氢钾(500 mg· L-1) 3 生活污水 4 40 mL长江水、 4 mL某河水 5 40 mL长江水、 4 mL某河水、 16 mL嘉陵水、 4 mL生活污水 6 40 mL长江水、 4 mL某河水、 16 mL嘉陵江、 4 mL邻苯二甲酸氢钾(500 mg· L-1) 7 40 mL长江水、 4 mL某河水、 16 mL嘉陵江、 4 mL生活污水、 4 mL邻苯二甲酸氢钾(500 mg· L-1) 8 40 mL长江水、 4 mL某河水、 16 mL嘉陵江 9

表2 水样配比情况 Table 2 Water sample ratio

其中类别0为长江上游水, 类别1为某河水, 类别2为嘉陵江水, 类别3为模拟化学废液的邻苯二甲酸氢钾溶液, 类别4为生活污水, 类别5为某河水和长江交汇处, 类别6为由于生活污水排放而COD_mn含量超标的长江下游水, 类别7为由于化学废液排放COD_mn含量超标的长江下游水, 类别8为化学废液排放和生活污水排放COD_mn含量超标的长江下游水, 类别9为COD_mn未超标的长江下游水。 如图4为各类水样原始光谱图, 可以观察到不同水样由于所含物质不同其光谱特征曲线具有明显差异, 而污染源一样的水样具有类似的光谱特征峰, 如类别3, 7和8相似, 类别4, 6和8相似, 类别0和9相似。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 不同水样原始光谱图Fig.4 Original spectra of different water samples

建立的1D-CNN水样分类模型, 能够根据污染物的特征峰对实验水样较为精确的分类, 训练过程中训练集和测试集的损失函数值下降曲线与分类准确率变化曲线如图5所示。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 模型的准确率变化曲线和损失函数下降曲线Fig.5 The accuracy change curve and the loss function drop curve of the model

当确定为哪一类水后就能清楚是何种污染物排放超标, 从而缩小监测范围, 准确溯源到污染源。 如图6所示为各类水样分类的混淆矩阵结果, 用测试集的105条光谱数据来做混淆矩阵检测, 可以观察到除了第5类水识别效率不高外, 其他水样准确率达100%。 0— 4类水和6— 9类水都有其各自明显的特征光谱峰, 可以很清晰的将其区分, 第5类水识别准确率仅50%, 与第9类水识别相混淆, 混淆矩阵中分类准确率达99.0%。 因此, 如果在下游监测到COD_mn含量超标后可以较为精准的定位污染来源, 为流域的实际污染情况溯源提供依据。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 混淆矩阵检测结构Fig.6 Confusion matrix detection structure

采用K近邻(K-nearest neighbor, KNN)、 支持向量机(support vector machine, SVM(linear) & SVM(rbf))、 一维卷积神经网络(1D-CNN)三种分类方法来对不同水样的光谱数据进行分类处理。 由于光谱的不稳定性和实际水样的复杂性, 利用传统的分类算法需要对光谱数据进行有效的降噪和特征提取。 以原始光谱数据、 PCA降维光谱数据以及经平滑滤波处理后的三种紫外-可见光谱数据为实验对象, 来验证1D-CNN模型对不同水样的定性分析结果。

将以上三种分类算法对各类水样光谱数据分别实验, 并记录分类准确率。 分别利用PCA算法来提取光谱特征信息以及运用Savitzky-Golay滤波器对光谱信号进行平滑滤波处理以减小噪声干扰, 实验结果如表3所示。

表3

Table 3

表3(Table 3)

表3 不同算法的分类准确率 Table 3 Classification accuracy of different algorithms 算法 原始光谱数据 PCA降维 SG平滑滤波 KNN 86.67% 92.38% 89.52% SVM(rbf) 74.29% 93.33% 90.48% SVM(linear) 86.67% 95.24% 92.38% 1D-CNN 99.0% - 99.0%

表3 不同算法的分类准确率 Table 3 Classification accuracy of different algorithms

由表3所示, 通过对以上三种分类算法的准确率比较得出, 1D-CNN模型运用原始光谱数据分类结果最佳, 可达到99.0%, 不同的分类算法经过PCA降维特征提取和SG平滑滤波后准确率都有不同程度的提高。 其中分类算法准确率提升最显著的是经过PCA降维SVM(rbf)分类器, 由74.29%提升至93.33%。

通过以上实验对比, 紫外-可见光谱经过数据降维特征提取和去噪平滑滤波光谱预处理后可以明显提升传统光谱分类算法的分类准确率。 由于CNN模型用于处理大型数据集, 且本身就能够对数据进行特征提取和数据降维, 仅对原始光谱数据进行了去噪平滑, 经过平滑滤波处理后其分类正确率没有太大变化。 因此在训练CNN模型时不需对光谱数据预处理, 直接用原始光谱数据即可。 而用传统光谱分类算法分析光谱, 先应对原始紫外-可见光谱进行降维和降噪预处理。

有效的特征提取和降噪都是紫外-可见光谱预处理的重要步骤, 为了研究预处理步骤对于不同分类算法的影响, 将原始光谱数据以及经过完整光谱预处理的光谱数据进行分析对比。 其结果如表4所示。

表4

Table 4

表4(Table 4)

表4 不同分类算法准确率对比 Table 4 Accuracy comparison of different classification algorithms 算法 原始光谱数据 预处理后光谱数据 KNN 86.67% 95.24% SVM(rbf) 74.29% 94.29% SVM(linear) 86.67% 93.33% CNN 99.0% 99.0%

表4 不同分类算法准确率对比 Table 4 Accuracy comparison of different classification algorithms

经过完整的降维和去噪光谱预处理步骤后, KNN, SVM(rbf), SVM(linear)模型的分类准确率分别为95.24%, 94.29%和93.33%, 都能对10类不同水样的光谱数据进行准确区分。 而1D-CNN在原始光谱上的分类准确率便达到了99.0%, 表现出了卷积神经网络强大的学习能力和分类能力。

以上的实验结果证明, 传统的紫外-可见光谱分析方法对光谱预处理有着极强的依赖性, 预处理过程比较繁杂且在提取信息时必定会丢失掉一些有效特征信息。 反观1D-CNN模型可利用原始光谱数据进行模型训练和分类, 略过了繁琐的光谱预处理步骤, 在保障分类准确的同时更加方便简洁并节省了时间和计算成本。