小波阈值去噪的实质为保留有用信号、 去除无用冗余信号的过程^[13]。 阈值函数是影响去噪效果的重要因素^[14]。 常用于去噪的阈值函数主要有硬阈值和软阈值两种。 为提高荧光信号的去噪效果, 本文提出一种改进的阈值函数, 结合了二次函数线性收缩和类双曲线的线性逼近的优势, 使该函数兼有保持阈值处连续性、 高阶可导性等优点, 又能有效地减小量化前后的系数差值, 使重构后的信号更加还原真实地原始信号。 如式(1)所示

ω^i, k=sgn(ωj, k)(|ωj, k|-(1-a)λbωj, k2-λ2)ωj, k≥λsgn(ωj, k)a(2|ωj, k|-λ)2λωj, k< λ(1)

式(1)中, a(0< a< 1)、 b(0< b< 1)均为常数, a为阈值调节参数, 当a→ 1时, 式(1)处理方式近似于硬阈值函数, 当a→ 0时, 式(1)处理方式近似于软阈值函数。 该阈值函数在两方面进行了改进:

①连续性改进。 如式(2)所示, 改进后的 ω^i, k在阈值+λ 处连续, 克服了硬阈值函数阈值处不连续的缺陷。

limωj, k→λ+sgn(ωj, k)(|ωj, k|-(1-a)λbωj, k2-λ2)=aλlimωj, k→λ-sgn(ωj, k)a(2|ωj, k|-λ)2λ=aλ(2)

同理可证, 改进后的 ω^i, k在阈值-λ 处同样连续。

②偏差缩小改进。 如式(3)所示, ω _{j, k}→ ∞ 时, 改进后的 ω^i, k与ω _{i, k}间的偏差逐渐减小, 有效改进软阈值的缺陷。 改进后的新阈值函数与软、 硬阈值函数对比图如图1所示。

limωj, k→-∞ω^i, kωj, k=limωj, k→+∞ω^i, kωj, k=sgn(ωj, k)(|ωj, k|-(1-a)λbωj, k2-λ2)ωj, k=1limωj, k→∞ω^i, k-ωj, k=0(3)

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 三种阈值函数对比图Fig.1 Comparison of three threshold functions

BP神经网络是一种多层前馈感知网络, 其基本思想主要由两部分组成: 信号的正向传输和误差的反向修正。 因其具有较高的多维函数映射能力和任意复杂的模式分类能力, 广泛成为神经网络应用类型之一^[15]。 BP神经网络在结构上由输入层、 隐含层和输出层组成, 具体的结构模型如图2所示, 其中, X=[x₁, x₂, …, x_n]^T为输入值; Y=[y₁, y₂, …, y_t]^T为隐含层; O=[o₁, o₂, …, o_m]^T为输出值; W_ij为输入层i节点和隐含层j节点之间的连接权值, V_jk为隐含层j节点与输出层k节点间的权值系数; Z为输出值与期望输出的目标值间的差值。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 BP神经网络模型Fig.2 BP neural network model

其算法流程如图3所示: 输入数据经隐含层和输出层权值向量的修正和非线性变换得到输出信号, 根据误差梯度下降的原则, 输出值与目标值间的差值信号将以隐含层向输入层反向传播这一修正过程作为调整各层权值和阈值的依据, 循环训练直到误差达到设定的精度值后停止训练, 此时输出值最为接近目标值。 训练后将类似样本输入, 其输出层的输出值即为经过非线性转换后的误差最小数据。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 BP神经网络算法流程Fig.3 BP neural network algorithm flow

1.3.1 三线性成分模型

三线性分解理论是多阶校正方法的理论基础, 满足分解的唯一性。 可将光谱数据构成的三维数据阵X(I× J× K)分解为一个得分矩阵A和两个载荷矩阵B、 C, 三线性模型如式(4)所示

xijk=∑f=1Faifbjfckf+eijk(i=1, 2, …, I, j=1, 2, …, J, k=1, 2, …, K)(4)

式(4)中, x_ijk为第k个样本在第i个激发波长和第j个发射波长处的荧光强度值, a_if、 b_jf、 c_kf分别为得分矩阵A(激发光谱矩阵)和两个载荷矩阵B(发射光谱矩阵)、 C(浓度矩阵)中的一个元素, e_ijk为残差矩阵E(I× J× K)中的元素。

1.3.2 SWATLD算法

自加权交替三线性分解^[16]算法是在交替三线性分解(ATLD)基础上进行的优化, 基于最小二乘原理引入了加权项, 在保证收敛速度快和不受组分数影响的基础上兼具稳定性好的优势, 通过最小化三个目标函数解决数据间的共线问题。 根据三线性分解原理^[17]计算出目标函数值, 即残差平方和(SSR), 具体算法如式(5)所示

SSR=∑i=1I∑j=1J∑k=1Kxijk-∑n=1Nainbjnckn2(5)

式(6)为结合最小二乘法优化后的三矩阵的迭代公式

aTi=12(diagm(C+Xi..B)/diagm(BTB)+ diagm(B+Xi..C)/diagm(CTC)) (i∈[1, I])bTj=12(diagm(A+X.j.C)/diagm(CTC)+ diagm(C+X.j.A)/diagm(ATA)) (j∈[1, J])cTk=12(diagm(B+X..kA)/diagm(ATA)+ diagm(A+X..kB)/diagm(BTB)) (k∈[1, K])(6)

实验仪器为日本Hitachi公司的F-7000荧光光谱仪, 设置激发波长范围为250~430 nm, 发射波长扫描范围为310~520 nm, 激发、 发射狭缝宽度均为10 nm, 激发、 发射步长均为5 nm, 扫描速率为12 000 nm· min^-1, 设置自动响应模式。 按上述仪器设置对样品进行3次测量, 取平均值作为采样数据。

采用市场购置的95^#汽油、 0^#柴油和煤油, 选用四氯化碳(CCl₄)作为溶剂。 首先, 用精度为0.1 mg的电子天平称取95^#汽油、 0^#柴油、 煤油各1 g于3支100 mL容量瓶中, 经CCl₄稀释定容后得到浓度为10⁴ mg· L^-1的三种油的一级储备溶液。 之后, 取适量三种油的储备溶液, 分别加入到三只100 mL容量瓶中, 继续加入CCl₄稀释定容, 即可得到3种100 mg· L^-1的二级储备溶液, 将其放置于常温下保存。

分别量取不同体积的一级或二级储备溶液于16支50 mL容量瓶中, 加入CCl₄溶剂充分混合后定容, 配置成16个不同浓度的实验样品并对其标号(编号: 1^#— 16^#)。 如表1所示, 其中1^#— 12^#为训练样本, 13^#— 16^#为测试样本。

表1

Table 1

表1(Table 1)

表1 矿物油混合物样品配制浓度表(mg· L-1) Table 1 Sample preparation concentration table of mineral oil mixture Sample 0# Diesel 95# gasoline Kerosene 1 100 0 0 2 0 100 0 3 0 0 100 4 80 10 20 5 85 25 15 6 90 40 25 7 10 20 80 8 25 15 85 9 10 75 30 10 15 90 10 11 20 85 15 12 70 15 35 13 30 24 45 14 15 35 60 15 5 50 80 16 50 25 30

表1 矿物油混合物样品配制浓度表(mg· L-1) Table 1 Sample preparation concentration table of mineral oil mixture

一般地, 受光谱仪中激发光源、 激发单色仪等仪器系统偏差的影响, 未经校正直接测得的荧光光谱与真实光谱在峰值位置和荧光强度等方面会存在一定的偏差, 因此, 在荧光检测前需要先对仪器进行激发、 发射校正。 另外, 受待测样品溶剂的干扰和光散射等因素的影响, 采集到的光谱数据会存在瑞利(Rayleigh)散射和拉曼(Raman)散射的干扰。 以0^#柴油标准溶液所测光谱为例, 如图4(a)、 (b)可看出, 散射的存在会掩盖样品自身的光谱特征, 在数据分析前必须进行去散射处理, 采用空白扣除结合缺损数据重构(MDR)法可以很好去除散射干扰, 如图4(c)、 (d)所示, 经校正和散射处理后的光谱荧光假峰被去除, 被掩盖的荧光峰和光谱特征得到了很好的凸显。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 0#柴油标准溶液三维荧光光谱 (a), (b): 去散射和校正前; (c), (d): 去散射和校正后Fig.4 The three-dimensional fluorescence spectrum of 0# diesel (a), (b): Before descattering and correction; (c), (d): After descattering and correction

从图4(c)、 (d)可以看出去散射和校正后的三维荧光光谱图和等高线图存在边缘信号不平滑的现象, 采用表2所示的6种不同的小波基结合改进的小波阈值函数对采样信号进行3层小波分解。 分别计算对应的信噪比(SNR)和均方误差(MSE), 由实验数据可知, 选择sym4去噪效果最好。 计算过程如式(7)和式(8)所示

MSE=1N∑i=1N(Yi-Y^i)2(7)

SNR=10log∑i=1n[x(i)-x^(i)]2∑i=1nx2(i)(8)

其中, x(i)为原始荧光信号, x^(i)为经消噪和重构后的荧光数据; N为采样长度。

表2

Table 2

表2(Table 2)

表2 改进阈值函数结合不同小波基去噪效果对比 Table 2 Comparison of denoising effects of improved threshold function combined with different wavelet bases 小波基 信噪比(SNR) 均方误差(MSE) db2 18.020 2 11.195 3 db4 17.862 7 11.280 3 db8 14.797 7 23.959 3 sym4 18.354 7 10.261 7 sym8 16.131 2 17.487 3 haar 8.608 9 91.632 9

表2 改进阈值函数结合不同小波基去噪效果对比 Table 2 Comparison of denoising effects of improved threshold function combined with different wavelet bases

最后, 分别用式(1)提出的改进阈值函数和软、 硬阈进行去噪实验, 以样本8为例, 处理后效果如图5中的等高线图所示。 从图5(b)中可以看出, 虽然对比(a)中的原始信号, 经硬阈值函数去噪后的信号边缘无用的干扰噪声信息得以去除, 但是边缘信息还不够平滑, 震荡较为明显, 这是因为硬阈值函数自身不连续的缺陷造成的。 相比图5(b)而言, 软阈值函数去噪后的图5(c)边缘波形明显光滑很多, 但右下角处重构后的信号存在明显的失真现象。 经改进阈值函数处理后的图5(d)结果最为理想, 在保证光谱峰值位置不变的前提下边缘噪声信息平缓程度比软、 硬阈值函数处理得更好, 并且有效还原了真实信号。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同阈值函数去噪效果对比 (a): 原始含噪信号; (b): 硬阈值函数去噪效果; (c): 软阈值函数去噪效果; (d): 改进新阈值函数去噪效果Fig.5 Comparison of different threshold function denoising effect (a): Original noisy signal; (b): Hard threshold function denoising effect; (c): Soft threshold function denoising effect; (d): Improved denoising effect of new threshold function

三种阈值函数的去噪效果对比如表3所示。

表3

Table 3

表3(Table 3)

表3 三种阈值函数的去噪效果对比表 Table 3 Comparison table of denoising effects of three threshold functions 阈值处理函数类型 信噪比(SNR) 均方误差(MSE) 硬阈值函数 17.574 3 11.079 1 软阈值函数 15.504 7 12.280 3 改进新阈值函数 18.354 7 10.261 7

表3 三种阈值函数的去噪效果对比表 Table 3 Comparison table of denoising effects of three threshold functions

3.3.1 参数设置

BP神经网络的隐含层可以设置多层, 训练精度随隐含层层数的增加相应提高, 但隐含层层数越多网络就会越复杂, 也会相应的增加训练时长, 本文采用一个隐含层。 将16个采样样本分成两组, 其中1^#— 15^#为训练集, 16^#为测试集, 根据激发、 发射波长的设置, 预处理后的样本均为43× 37的二维矩阵。 BP神经网络是按列进行训练的, 即把每个样本的37列看成37个小样本, 并对1^#— 16^#样品进行3.1、 3.2节所述的改进小波阈值函数去噪和去散射处理, 将预处理后的15个43× 37的二维矩阵作为训练目标值。 具体的输入、 输出分配如表4所示, 前555个样本为测试样本, 后37个样本为训练样本。

表4

Table 4

表4(Table 4)

表4 BP神经网络训练输入、 输出样本分组 Table 4 Neural network training input and output sample grouping 输入样本号 输入样本分组 输出样本分组 1 x1-1、 x1-2、 …、 x1-43 y1-1、 y1-2、 …、 y1-43 2 x2-1、 x2-2、 …、 x2-43 y2-1、 y2-2、 …、 y2-43 ︙ ︙ ︙ 16× 37=592 x592-1、 x592-2、 …、 x592-43 y592-1、 y592-2、 …、 y592-43

表4 BP神经网络训练输入、 输出样本分组 Table 4 Neural network training input and output sample grouping

设置输入层和输出层的神经元个数均为43, 隐含层神经元个数根据经验公式和最小误差等不断测试最终设置为19, 最大训练次数为1 000, 学习速率设置为0.01, 训练目标最小误差设置为0.001。

3.3.2 网络训练效果

如图6所示, 训练次数在达到56次时, 均方误差就满足了设定最小误差0.001的目标, 0.001训练目标的设置既不会因精度过高影响网络训练速度, 也不会过大导致训练精度不佳, 影响小波阈值的去噪效果。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 均方误差随训练次数变化曲线Fig.6 The variation curve of mean square error with training times

神经网络的训练过程具有一定的随机性, 需对网络进行多次训练, 通过查看输出值与目标值间的拟合程度判定网络的训练效果。 如图7所示, 输出值与目标值间的相关系数R为0.995, 拟合程度与1越接近, 训练效果越好, 输出值越接近小波阈值去噪后的目标值。 将样本16^#中37个测试集输入神经网络训练, 图8所示为16^#样本真实值与预测值的激发、 发射光谱曲线, 二者之间拟合程度较高, 可见, 改进小波阈值去噪结合神经网络能实现采样样本的快速、 平滑去噪。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 线性拟合训练曲线Fig.7 Linear fitting training curve

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 荧光峰处预测值与真实值拟合曲线Fig.8 Fitting curve between predicted value and real value at fluorescence peak

1^#— 16^#采样样品预处理后构成大小为16× 43× 37的三维数据阵X₁, 通过核一致法和残差平方和确定因子数, 组分数为1、 2时, 核一致值均为100%, 组分数为3时, 其值为85%, 组分数为4时降到57%, 因SWATLD分析法对组分数不敏感, 故选择3因子数对小波软、 硬阈值处理和改进阈值函数结合BP神经网络训练这两种不同方法处理后的样本数据进行分解, 由图9(c)、 (d)对比(a)、 (b)可以看出, 经改进阈值函数结合BP神经网络处理后的三组分的解析光谱与三种油的真实光谱拟合程度更好。 用SWATLD分析法对13^#— 16^#三种油的混合样品进行浓度预测, 预测结果如表5和表6所示, 对比软、 硬阈值函数处理后分析结果, 改进阈值函数结合BP神经网络处理后SWATLD算法对0^#柴油、 95^#汽油和煤油的平均识别率分别为103.64%、 99.33%和97.85%。 数据分析表明, 经改进小波阈值函数和BP神经网络处理后的预测浓度与真实浓度的偏差较小, 该方法是一种有效的数据预处理方法, 结合SWATLD分析能够实现混合油种的准确检测。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 混合油激发、 发射光谱解析与真实对比图 (a), (b): 软、 硬阈值函数处理后SWATLD解析效果; (c), (d): 改进新阈值函数结合BP神经网络处理后SWATLD解析效果Fig.9 Mixed oil excitation, emission spectrum analysis and real comparison (a), (b): SWATLD analysis effect after soft and hard threshold function processing; (c), (d): SWATLD analysis effect after improved new threshold function combined with BP neural network processing

表5

Table 5

表5(Table 5)

表5 软、 硬阈值函数处理后SWATLD解析效果 Table 5 SWATLD analysis effect after soft and hard threshold function processing Sample Predict concentration/(mg· L-1) Recovery rate/% Average recovery rate/% 0# Diesel 95# Gasoline Kerosene 0# Diesel 95# Gasoline Kerosene 0# Diesel 95# Gasoline Kerosene 13 27.92 24.37 43.29 93.07 101.54 96.20 97.86 97.89 96.59 14 15.49 33.05 58.49 103.27 94.43 97.48 15 4.93 51.87 77.95 98.60 103.74 97.44 16 48.25 22.96 28.57 96.50 91.84 95.23

表5 软、 硬阈值函数处理后SWATLD解析效果 Table 5 SWATLD analysis effect after soft and hard threshold function processing

表6

Table 6

表6(Table 6)

表6 改进新阈值函数结合BP神经网络处理后SWATLD解析效果 Table 6 SWATLD analysis effect after improved new threshold function combined with BP neural network processing Sample Predict concentration/(mg· L-1) Recovery rate/% Average recovery rate/% 0# Diesel 95# Gasoline Kerosene 0# Diesel 95# Gasoline Kerosene 0# Diesel 95# Gasoline Kerosene 13 28.88 24.89 44.31 96.27 103.71 98.47 103.64 99.33 97.85 14 16.85 32.29 61.39 112.33 92.26 102.32 15 5.48 53.92 75.18 109.60 107.84 93.98 16 48.18 23.38 28.99 96.36 93.52 96.63

表6 改进新阈值函数结合BP神经网络处理后SWATLD解析效果 Table 6 SWATLD analysis effect after improved new threshold function combined with BP neural network processing