使用紫外光谱仪得到有机污染物的紫外光谱原始数据后, 为了确定污染物类别, 还需要以下三个步骤:

(1)光谱数据预处理, 通过预处理方法消除紫外-可见光光谱数据中的噪声和基线漂移干扰。

(2)特征提取, 由于部分有机物的紫外-可见光光谱的相似度较高, 吸收峰所在波长范围部分重叠, 因此需要对紫外-可见光光谱数据进行特征提取, 增大不同污染物之间的差别。

(3)建模与预测, 根据特征光谱数据构建分类模型, 基于分类模型对未知样本进行分类。

基于紫外-可见光光谱的有机污染物分类方法的流程如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 基于紫外-可见光光谱的有机污染物分类的一般流程Fig.1 General procedure for classification of organic contaminants based on the UV-Vis spectra

SPA是一种使矢量空间共线性最小化的前向变量选择算法, 在有效信息获取和降低共线信息的研究中取得了较好的效果^{[9, 10]}。 最初的应用场景是近红外光谱的定量模型中光谱变量的选取, 通过投影方式选取线性关系最小的波长组合, 从光谱信息中寻找含有最低冗余信息的变量组, 使得变量之间的共线性达到最小, 同时保留原始数据的绝大部分特征, 被选取的特征波长物理意义明确, 具有很强的解释能力, 因此, 可以有效的提高建模的速度以及模型的稳定性, 该算法简要介绍如下:

设x_k(0)为选取的原始光谱矩阵的某个波长的吸光度向量, N为需要选取的特征波长的个数, 初始的光谱矩阵为m列, 每次迭代开始前选取的光谱数据第一列不同, 算法需要对以下的步骤循环m次:

(1) 迭代开始前, 任选光谱矩阵的1列, 用i表示, 即把原始光谱矩阵的第i列x_i赋值给x_k(0);

(2) 把原始光谱矩阵中未选入的列向量位置的集合记为s, 记为s={j, 1≤ j≤ m; j∉{k(0), …, k(n-1)}};

(3) 计算当前的所选变量x_k(n-1)对剩下原始光谱数据的列向量x_i(i∈ s)的投影: Px_i=x_i( xiTx_k(n-1))x_k(n-1)( xk(n-1)Tx_k(n-1))^-1;

(4) 提取投影最大值的波长变量序号, k(n)=arg[max(‖ Px_i‖ )];

(5) 令x_i=Px_i, i∈ s;

(6) n=n+1, 如果n< N, 回到步骤(2)循环计算。

最后, 提取的特征波长变量为{x_k(n), n=0, …, N-1}。 对应于每一个k(0)和N, 每循环一次算法, 对提取的特征波长处的光谱吸光度进行多元线性回归分析, 计算验证集的预测标准偏差, 其中最小预测标准偏差对应的k(0)和N就是最优的特征波长组合。

大多数有机物的紫外-可见光光谱具有专属特点, 称为指纹特性^[11], 可以根据有机物的紫外-可见光光谱的指纹特性确定类别。 本文选择多分类SVM对不同浓度有机污染物的紫外-可见光光谱数据进行分类。

SVM是基于统计学习理论的一种模式识别方法^[12]。 SVM算法最初是针对二分类问题设计的, 由于饮用水有机污染物分类是一个多分类问题, 因此, 需要对SVM进行适当变化, 从而构造多分类器^[13]。 本文选用一对一方法构造多分类SVM模型, 该方法与样本分布无关, 分类器组合比较方便^[14]。 主要算法流程如下:

(1) 对于不同的污染物样本, 需要在任意两类样本之间构造一个SVM, k类样本就需要设计k(k-1)/2个分类器;

(2) 对一个新样本进行分类时, 通过多个分类器投票决定分类结果。

为了验证基于紫外-可见光光谱的有机污染物分类的可行性, 选取了四种典型的有机污染物, 分别是苯酚、 对苯二酚、 间苯二酚和间苯二胺。 这些物质在工业生产中使用较为广泛, 被列入2017年公布的《世界卫生组织国际癌症研究机构致癌物清单》中, 尤其值得关注。 配置多浓度梯度的四种污染物水溶液, 浓度依次为30, 40, 50, 100和200 μ g· L^-1。 训练集中每个浓度的紫外-可见光光谱数据为10个。 测试集中苯酚71个, 对苯二酚58个, 间苯二酚72个, 间苯二胺79个。 考虑到水质波动的影响, 训练集与测试数据的采集时间间隔一周。

根据朗伯-比尔定律, 紫外-可见光光谱的吸光度会随着特征污染物浓度的增大而增大, 如果该点的吸光度与特征污染物的浓度阵之间的关系为正相关, 说明特征污染物在该波长点会对光子产生吸收。 将特征污染物的紫外-可见光光谱的每个波长对应的吸光度向量x与浓度向量y进行相关性分析, 计算公式如下所示

R=∑i=1N(xi-x̅)(yi-y̅)/∑i=1N(xi-x̅)(yi-y̅)

式中, x̅= ∑i=1Nxi/N, y̅= ∑i=1Nyi/N, 其中, N为光谱的数量。

四种特征污染物的浓度与各个波长的吸光度之间的关系如图2所示, 其中正相关关系所在的波长范围与吸收峰所在位置基本一致。 苯酚与间苯二酚、 对苯二酚与间苯二胺的相关关系对比图如图3所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 四种有机污染物浓度与各波长吸光度相关关系图Fig.2 Correlation between the concentration of four organic contaminants and the absorbance at each wavelength

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 四种有机污染物的相关关系对比图Fig.3 Comparison of the correlation between four organic contaminants

从图2和图3可以看出, 四种特征污染物之间存在部分谱峰重叠, 其中苯酚和间苯二酚的谱峰重叠比较严重, 原因是两者的分子结构相似, 其生色团基本一致, 只是助色团的数量和位置不一样, 分类时容易相互干扰。 对苯二酚和间苯二胺的助色团差别较大, 存在部分谱峰重叠, 分类决策容易受到浓度的干扰^[15]。 此外, 四种特征污染物的紫外-可见光光谱存在部分谱峰重叠, 相互之间存在一定的干扰, 需要选择合适的方法提取光谱数据的特征, 增大光谱数据之间的差别。

使用PCA对四种有机污染物分别提取前三主成分, 四种有机污染物的前三主成分如图4所示。 从图中可以看出, 有机污染物的主成分分布比较相似。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 四种有机污染物的前三主成分的散点图Fig.4 Scatter plot of the top three principal components of four organic contaminants

采用SPA方法对训练集数据进行特征波长选取时, 由于200和100 μ g· L^-1的数据浓度较高, 光谱数据的吸光度与污染物浓度存在一定的非线性, 30 μ g· L^-1数据中的干扰较大, 因此在选取特征波长时, 采用的浓度为50和100 μ g· L^-1。 对不同特征波长个数下的四种污染物紫外-可见光光谱吸光度进行多元线性回归分析, 计算得到的RMSE分布曲线如图5所示, 图中红色方框表示SPA算法选择的污染物紫外-可见光光谱特征波段的数量。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 SPA不同特征波长个数时RMSE分布曲线Fig.5 RMSE distribution curve of SPA with different characteristic wavelengths

最后选取的特征波长数为9个, 根据重要性排序, 波长依次为277.5, 382.5, 295, 322.5, 252.5, 260, 337.5, 310和315 nm, 这些波长基本都是四种有机污染物的吸收峰所在。 四种有机污染物各个波长段的吸光度分布如图6所示。 从图中可以看出, 所选取的波长处的相似有机污染物的吸收光谱的重叠度较低。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 SPA选取的特征波长处的有机污染物的吸光度分布Fig.6 Absorbance distribution of organic contaminants at characteristic wavelengths selected by SPA

根据特征光谱波段数据构建KNN模型和多分类SVM模型, 其中PCA方法选取前三主成分, SPA选取9个特征波长, 根据特征提取方法对训练集和测试集的数据进行特征提取, 构建对应的训练集和测试集。 为了对比研究, 也使用基于原始光谱的65维的数据建立了相应的分类模型。 表1显示三者对训练集数据以及测试集数据的分类准确度。

表1

Table 1

表1(Table 1)

表1 有机污染物在不同特征提取方法下的分类效果 Table 1 Classification effect of organic contaminants under different feature extraction methods 建模方法 变量数 训练集/% 测试集/% 全光谱+KNN 65 94.51 85.36 全光谱+多分类SVM 65 100 87.14 PCA+KNN 3 89.20 60.70 PCA+多分类SVM 3 97.44 61.07 SPA+KNN 9 91.48 88.21 SPA+多分类SVM 9 99.15 95.36

表1 有机污染物在不同特征提取方法下的分类效果 Table 1 Classification effect of organic contaminants under different feature extraction methods

通过对比表1中不同特征提取方法的分类效果, 可以得出以下结论: 基于全光谱的分类模型对训练集的分类精度较高, 但是对于测试集的分类精度相对较低, 说明模型的预测能力较差, 原因是全光谱中存在较多的干扰信息和冗余信息; 基于PCA的特征光谱数据模型对训练集和测试集的分类精度相对较低, 原因为在PCA提取特征的过程中, 根据协方差对数据进行降维, 引入了干扰信息, 相似污染物之间的干扰比较严重, 因此分类的准确度不高; 基于SPA筛选的特征波长模型对训练集和测试集的分类精度都较高, 说明模型的稳定性和预测能力都较好。 SPA仅选取了全光谱的13.8%的变量, 变量之间的共线性更小, 有助于构建一个相对简单、 稳定的分类模型, 并且SPA在两种分类方法下的分类准确率都很高, 表明该方法的适用性较强。

整体分类准确率虽然可以反映多分类SVM模型整体的分类效果, 但是无法反映有机污染物之间的相互干扰, 因此, 需要通过混淆矩阵分析多分类SVM模型对有机污染物的分类结果。 基于全光谱的四种有机污染物分类效果如图7所示; 基于PCA特征提取的分类效果如图8所示; 基于SPA特征提取的分类结果如图9所示。 混淆矩阵图中, 颜色越深代表对应的两种污染物相似度越高, 所有的正确分类都集中在矩阵的对角线上。 如果一张混淆矩阵的图呈现出对角线相似度很高的特征, 则认为该模型分类效果较好^[16]。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 基于全光谱的有机污染物分类效果Fig.7 Classification effect of organic contaminants based on full spectrum

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 基于PCA特征提取的有机污染物分类效果Fig.8 Classification effect of organic contaminants based on PCA

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 基于SPA特征提取的有机污染物分类效果Fig.9 Classification effect of organic contaminants based on SPA

通过对比可以看出, 基于SPA的四种污染物分类混淆矩阵对角线相似度最高, 说明该模型下四种污染物之间的相互干扰最小, 分类性能比较稳定; 而基于全光谱和基于PCA的分类模型中, 混淆矩阵相似度分布相对更加平均, 表明污染物之间相互干扰严重, 性能不够稳定。

为了分析浓度的干扰, 需要分析不同浓度下有机污染物的分类准确率, 从而评估其分类性能。 基于全光谱的不同浓度有机污染物分类准确率如表2所示; 基于PCA特征提取的不同浓度有机污染物分类准确率如表3所示; 基于SPA特征提取的不同浓度有机污染物分类准确率如表4所示。

表2

Table 2

表2(Table 2)

表2 基于全光谱的不同浓度有机污染物分类准确率(%) Table 2 Classification accuracy of organic contaminants at different concentrations based on full spectrum (%) 类别 浓度/(μ g· L-1) 总准 确率 30 40 50 100 200 苯酚 92.86 100 92.86 100 100 97.18 对苯二酚 0 0 100 83.33 16.67 41.38 间苯二酚 100 100 100 100 100 100 间苯二胺 100 100 100 100 100 100

表2 基于全光谱的不同浓度有机污染物分类准确率(%) Table 2 Classification accuracy of organic contaminants at different concentrations based on full spectrum (%)

表3

Table 3

表3(Table 3)

表3 基于PCA特征提取的不同浓度有机污染物分类准确率(%) Table 3 Classification accuracy of organic contaminants at different concentrations based on PCA (%) 类别 浓度/(μ g· L-1) 总准 确率 30 40 50 100 200 苯酚 85.71 73.33 57.14 64.29 78.57 71.83 对苯二酚 36.36 18.18 8.33 16.67 33.33 22.41 间苯二酚 40.00 64.29 73.33 71.43 85.71 66.67 间苯二胺 86.67 100 100 0 93.75 74.68

表3 基于PCA特征提取的不同浓度有机污染物分类准确率(%) Table 3 Classification accuracy of organic contaminants at different concentrations based on PCA (%)

表4

Table 4

表4(Table 4)

表4 基于SPA特征提取的不同浓度有机污染物分类准确率(%) Table 4 Classification accuracy of organic contaminants at different concentrations based on SPA (%) 类别 浓度/(μ g· L-1) 总准 确率 30 40 50 100 200 苯酚 100 93.33 100 98.71 100 95.77 对苯二酚 100 100 100 100 100 100 间苯二酚 100 100 93.33 85.71 100 95.83 间苯二胺 100 100 100 58.82 100 91.44

表4 基于SPA特征提取的不同浓度有机污染物分类准确率(%) Table 4 Classification accuracy of organic contaminants at different concentrations based on SPA (%)

上述不同浓度分类准确率的结果表明, 全光谱+多分类SVM模型对低浓度和高浓度的对苯二酚分类效果较差, 对其他三种有机污染物的分类效果较好; PCA+多分类SVM模型对各浓度梯度的有机污染物分类精度较差; SPA+多分类SVM对各浓度梯度的有机污染物分类效果较好, 对四种有机污染物的分类精度可以达到90%以上, 稳定性较好。