直接紫外-可见光谱法水质检测技术现已广泛应用于在线水质检测领域, 其具有实时、 在线、 原位测量、 无二次污染等优点。 检测系统主要由光源、 光路、 光电转换和数据处理四部分组成。 实际应用中, 考虑到系统运行成本、 稳定性和使用环境等因素, 在线水质检测系统通常采用长寿命、 无需预热的脉冲氙灯和适用于复杂检测环境的工业级光谱探测装置, 可快速检测水质的光谱数据。 但是, 整个系统受测量仪器本身和外界环境的严重影响, 检测到的光谱数据含有大量噪声。 噪声分为低频噪声和高频噪声, 由低频噪声引起光谱数据的基线干扰可通过浊度进行校正^[1], 本文主要针对消除高频噪声对水质光谱数据的干扰问题。 高频噪声是由光谱仪和光源等器件引起: 工业级光谱仪的输出信号受光子噪声、 散射噪声、 肥零噪声、 转移噪声和暗电流噪声影响^[2], 光源的不稳定也会带来信号的高能量突变。 高频噪声干扰在实时测量时主要表现为不断跳变的非平稳信号^[3], 严重影响了水质光谱数据的进一步处理, 进而降低了水质参数建模分析的准确性和精度, 因此, 水质光谱数据的去噪处理成为了近年来水质光谱数据处理的研究热点。

鉴于小波具有较好的时频分辨特性^[4], 因此被广泛应用于水质光谱数据的去噪处理。 小波去噪方法中应用最多的是小波阈值去噪, 其思想为用Mallat算法将含噪信号分解为一系列不同层次的小波系数, 噪声和有用信号的小波系数在幅值上表现不一, 然后利用适当的阈值将噪声区分开来。 小波阈值去噪的方法虽然被广泛应用, 但也存在一定的局限性, 即小波阈值的选取具有不确定性。 不同的阈值决定着不同的去噪效果, 因此, 阈值的精确计算被认为是整个去噪过程的关键技术。 目前, 大多数研究都集中在小波阈值的最优选择和计算上^[5], 从而限制了小波去噪的研究空间。

近年来, 压缩感知理论的提出为信号处理带来了新的研究思路。 压缩感知理论^[6]由Candes和Tao在2006年提出, 其核心思想是通过采集信号的非自适应线性投影, 然后由测量值通过最优化算法重构原始信号^[7]。 压缩感知信号处理的前提是该信号在某个变换域内可以被稀疏表示, 先将信号在小波域内用小波分解, 得到不同层次的小波系数。 由于无噪声信号的小波系数是稀疏的, 但是噪声的存在, 大大降低了整体系数的稀疏性。 故利用压缩感知理论恢复小波系数的稀疏性, 可以达到去噪的目的^[8]。 由此, 基于小波变换的压缩感知去噪算法, 不仅避免了复杂繁琐的小波阈值的选取, 且该方法用远少于传统奈奎斯特采样定理的采样信号, 在重构过程中抑制噪声, 达到去噪的目的。

庄佳衍等^[9]在传统的压缩感知理论基础之上, 提出了一种改进算法, 用以去除成像系统中的动态背景噪声, 结果表明该方法能够帮助成像系统减少背景噪声, 大幅度提高了成像效率。 田文飚等^[10]引入了卡尔曼滤波, 在不需要知道稀疏度的情况之下, 以最小均方根误差作为重构信号的最佳准则, 提高了压缩感知的重构精度, 更为精确地去除了噪声。 李会娟等^[11]利用压缩感知理论进行了图像的去噪处理, 采用非参数贝叶斯字典学习的方法, 使去噪效果大幅度提升, 但是复杂的推理过程使整个计算比较费时。 Metzler等^[12]为了解决在压缩感知重建算法中如何有效地使用通用去噪器, 搭建了一个近似消息传递的框架, 使其在与自然图像的高性能去噪器一起使用时, 提供最先进的压缩感知恢复性能, 比其他方法快数十倍。 Wang等^[10]针对传统的去噪方法可能模糊锐化特征并缩小对象且不稳定的问题, 利用压缩感知方法消除噪声和提取3D形状的尖锐特征。 Lopes^[14]针对压缩感知实际应用中未知信号稀疏度是未知的问题, 提出了一种新的基于反卷积的未知稀疏估计方法, 该方法具有更广泛的适用性和更高的理论保证。 Majumdar^[15]提出了一种盲压缩感知方法, 经验性地学习空间和光谱稀化词典, 从高光谱图像中去除稀疏脉冲噪声, 使峰值信噪比(peak signal to noise ratio, PSNR)比其他方法提高了5 dB以上。 压缩感知理论用于去噪的领域大多数是对于图像的处理, 对一维信号的处理相对较少, 而将压缩感知理论应用于紫外-可见光谱数据的去噪研究更鲜有报道。

基于此, 本工作提出一种基于小波变换的压缩感知去噪算法, 对紫外-可见光谱法的水质检测信号进行去噪处理, 并与小波阈值去噪方法做了实验对比。 为实现压缩感知去噪方法, 首先将信号分解为不同尺度下的小波系数, 分为低频系数和高频系数, 而噪声被包含在高频系数中。 然后利用观测矩阵采集含噪高频系数的观测值, 再选择适当的重构算法, 得到稀疏的高频小波系数。 最后利用小波逆变换恢复去噪后的信号。 实验结果表明, 基于小波变换的压缩感知去噪算法去噪效果优于小波阈值去噪, 同时避免了小波阈值的选取, 在重构过程中就可以抑制噪声, 充分体现了该方法的优越性。

设ω ∈ R^N为含噪信号在不同尺度下的小波分解系数, 它们整体的稀疏度由于噪声的存在大大降低。 低频系数ω _i∈ R^N(i=1, 2, …, I)包含了大多数光谱数据的有用信息, 它们具有稀疏性。 噪声只存在于高频系数ω _j∈ R^N(j=1, 2, …, J)中, 它们不具有稀疏性。 根据压缩感知理论, 存在一个与信号不相关的观测矩阵Φ ∈ R^{M× N}(M≪N), 得到高频系数在观测矩阵下的投影, 即观测值y_j∈ R^M, 则

yj=Φωj(1)

观测过程就是捕捉信号中的有用信息, 将高维信号压缩为低维观测信号的过程。 其中观测矩阵Φ 必须满足有限等距性质(restricted isometry property, RIP)^[16]

(1-δK)‖x‖22≤Φx‖22≤(1+δK)‖x‖22(2)

式(2)中, x为K_项稀疏信号, 若δ _k< 1, 则称观测矩阵满足K阶有限等距性质。 RIP性质保证了观测矩阵Φ 满足原空间到稀疏空间的一一映射关系。

式(1)中, ω _j是N维信号, 而y_j维数为M, M≪N, 可知(1)方程是个欠定问题, 有无穷多个解。 理论证明, 重构系数 ω˙j可由y_j通过求解最优l₀范数精确重构, 即式(3)

ω˙j=argmin‖ωj‖0 s.t. yj=Φωj(3)

l₀范数问题的求解十分困难, 所以专家们研究了许多求解次最优算法来重构信号。 信号的重构算法可分为3大类^[17]: 贪婪追踪算法、 凸松弛法和组合算法。 目前应用较多的是前两种重构算法。

本研究采用的是贪婪算法中的正交匹配追踪算法(or-thogonal matching pursuit, OMP)。 该算法是以不断更新余量的方式, 找到观测矩阵中和当前冗余最为匹配的向量, 再单位化正交, 最后更新当前余量, 一直循环以上步骤, 直到迭代次数达到稀疏度K。 具体步骤如下:

(1)初始化, 使观测值余量r_n₀=y₀, 循环次数times=1;

(2)计算观测值余量与观测矩阵的内积, |< r_-n₀Φ _j> |, 找到使内积最大的那一列Φ _j, 并记录下标Φ _at, 更新矩阵Φ _at=[Φ _at-1Φ _at];

(3)根据最小二乘法, 找到最小系数值, 即小波高频稀疏系数的最优估计值

ωt=argmin‖y-Φatωt‖2=(ΦatHΦat)-1ΦatHy

(4)y的近似值如下

yt=Φatωt=Φat(ΦatHΦat)-1ΦatHy

更新余量为r_n_t=y-y_t;

(5)times=times+1, 如果times< K, 转至步骤(2), 直到循环次数为K。

基于小波变换的压缩感知去噪算法的核心思想为如果光谱信号没有噪声, 那么小波分解之后的各个尺度下的小波系数是稀疏的。 但是在存在噪声的情况下, 整个小波系数是非稀疏的。 有用信号表现为小波系数的近似分量, 具有一定的结构, 通过压缩感知可以被重构出来。 而噪声主要包含在较高频率的细节分量中, 它没有结构, 不具有稀疏性, 不能被重构出来。 所以, 将信号经小波分解后, 保留低频系数, 通过恢复高频系数的稀疏性, 从而达到去噪的目的。 通过采用基于小波变换的压缩感知去噪算法, 不仅避免了小波阈值去噪中的阈值选取问题, 还从小波系数整体结构特性中估计出不丢失重要信息且具有最稀疏性的小波系数^[18]。 基于小波变换的压缩感知光谱数据去噪流程如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 基于小波变换的压缩感知去噪流程Fig.1 Compressed sensing denoising process based on wavelet transform

紫外-可见光谱法的水质检测系统如图2所示。 为了验证基于小波变换的压缩感知去噪算法的理论可行性, 采用科研级光谱仪QE65000和氘-钨卤组合式光源DH2000实测化学需氧量(chemical oxygen demand, COD)为200 mg· L^-1的邻苯二甲酸氢钾标液的紫外-可见光谱图, 如图3(a)所示。 考虑到紫外-可见光源的有效波长响应范围, 设定200~780 nm为有效数据区间。 从图3(a)中可以看到, QE65000光谱仪采集的光谱信号符合邻苯二甲酸氢钾标液的吸收特征, 在200~300 nm区域出现了两个特征吸收峰, 光谱数据基本不含噪声。 在600 nm后的少许噪声是因为外界杂散光引起, 可简单消除。 为了清晰显示压缩感知去噪效果, 在QE65000的光谱信号上人为的加噪, 而原始QE65000的光谱信号作为标准光谱信号。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 紫外-可见光谱法水质检测系统框图Fig.2 UV-Visible spectrum water quality detection system block diagram

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 邻苯二甲酸氢钾标液的紫外-可见 光谱数据加噪前后对比 (a): QE65000原始信号; (b): QE65000加噪后信号Fig.3 Comparison of UV-Vis spectral data of phthalic acid hydrogen standard solution before and after noise (a): QE65000 original signal; (b): QE65000 signal after noise

实验中加入噪声的强度为30 dB, 加噪后信号如图3(b)所示, 从图(b)中可以看到, 光谱信号几乎被噪声淹没。 实验分别采用所提出的方法和小波阈值去噪方法对含噪信号进行处理。

对于小波阈值去噪, 经过实验对比, 采用光滑误差小的daubechies4作为小波基, 对加噪信号进行4尺度分解。 若对信号进行五层分解, 第五层的近似分量会出现失真情况。 其次, 选用去噪后信号局部抖动较小的软阈值滤波方法对信号进行去噪处理。 不同尺度下的近似分量和细节分量如图4所示, 近似分量代表了光谱的整体轮廓特征, 而细节分量含有大量噪声, 杂乱无章。 小波阈值的去噪过程是将信号在小波域内分解得到低频和高频小波系数, 有用信号的小波系数被认为是大于噪声的小波系数, 通过选择恰当的阈值, 保留有用信号的小波系数, 再经过小波逆变换得到去噪后的信号。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 不同尺度下的小波分解Fig.4 Wavelet decomposition at different scales

基于小波变换的压缩感知去噪算法, 采用去噪后信噪比(signal to noise ratio, SNR)变化比较明显的高斯随机矩阵作为观测矩阵, 压缩比设置为2, 对含噪信号进行去噪处理。 基于小波变换的压缩感知对邻苯二甲酸氢钾标液的紫外-可见光谱数据的去噪流程如下:

(1)采用mallat算法将光谱信号在小波域内分解, 得到小波低频系数ω _i和高频系数ω _j;

(2)选择高斯随机矩阵作为观测矩阵Φ , 对高频系数进行压缩, 得到低维观测值y_j;

(3)已知压缩之后的观测值, 再选择OMP重构算法, 对高频系数进行重构, 得到重构后的稀疏系数 ω˙j, 恢复了小波高频系数的稀疏性;

(4)将低频系数和重构后的高频稀疏系数整体经小波逆变换得到去噪后的光谱信号。

采用两种方法对邻苯二甲酸氢钾标液的紫外-可见光谱数据去噪后如图5所示。 横坐标为100~800 nm的波长范围, 纵坐标为不同波长下标液的吸光度值, 物理意义为溶液单位浓度, 液层单位厚度下的吸光度数值。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 两种不同的去噪方法对邻苯二甲酸氢钾标液的紫外-可见光谱数据去噪前后对比 (a): 小波阈值去噪; (b): 压缩感知去噪.Fig.5 Comparison of two different denoising methods before and after de-noising of the UV-Vis spectra data of potassium hydrogen phthalate standard solution (a): Wavelet threshold denoising; (b): Compressed sensing denoising.

结果显示, 两种去噪方法均能去除大部分噪声, 波形都比较清晰。 但是基于小波变换的压缩感知去噪算法的去噪效果明显优于小波阈值去噪。 在200~280 nm处的紫外光段, 经压缩感知去噪后的光谱信号, 其吸收特征与去噪前的光谱信号的吸收特征是一致的。 而采用小波阈值去噪方法对含噪信号去噪后, 在200 nm处的吸光度值相比去噪前略有上升。 并且第一个吸收峰处的特征尖峰在去噪后略有失真, 而在第二个吸收峰处也是如此。 相反, 压缩感知的去噪方法在两个吸收峰处都是完整地还原邻苯二甲酸氢钾标液的光谱吸收特征, 不存在失真现象, 保留了有用信息的完整性。 但是该方法在650~780 nm处去噪后的光谱信号仍存在少许噪声, 可见, 此方法对于末端噪声的去噪处理还存在需要改进的地方。 此外, 评价去噪效果的参数有信噪比、 均方根误差(root mean square error, RMSE)和峰值信噪比。 其中, 去噪后的SNR越大, 表示去噪的效果越好。 而RMSE表示原始信号与去噪后信号之间的方差的平方根, 越小测量精度越高。 PSNR是衡量失真的指标, 越大失真度越小, 公式如式(4)— 式(6)。 x(j)是原始光谱信号, x( j˙)是去噪后的光谱信号, 其中j=1, …, N, N为信号长度。 两种方法去噪后的信噪比、 均方根误差、 峰值信噪比, 和与QE65000光谱仪原始标准光谱信号的相关系数R如表1所示。 通过对比可知, 基于小波变换的压缩感知去噪算法在保留了标液光谱吸收特征的情况下, 提高了信噪比、 峰值信噪比和相关系数, 减小了均方根误差。

RMSE=1N∑j=1N[x(j)-x(j˙)]212(4)SNR=10lg∑j=1Nx2(j)∑j=1N[x(j)-x(j˙)]2(5)PSNR=10lgx2(j)max×length(x)∑j=1N[x(j)-x(j˙)]2(6)

表1

Table 1

表1(Table 1)

表1 不同去噪效果的比较 Table 1 Comparison of different denoising effects SNR /dB RMSE PSNR /dB R Wavelet threshold denoising 64.679 0 0.020 5 180.016 7 0.999 0 Compressed sensing denoising 76.880 5 0.011 2 185.315 7 0.999 7

表1 不同去噪效果的比较 Table 1 Comparison of different denoising effects

对于不同的压缩比值, 即原始数据长度和观测值长度之比, N/M, 表2分析了压缩感知去噪方法在不同压缩比的情况下去噪效果比较。 对比显示, 压缩比并不是越大越好, 只有适当的比例才会达到最优效果, 其值为2时效果最佳。 压缩比在2之后, 由于压缩比太大, 观测值太少, 会导致部分有用信息丢失, 造成重构后与原信号的相关系数偏小, 均方根误差变大, 使去噪性能下降。

表2

Table 2

表2(Table 2)

表2 不同压缩比的去噪效果比较 Table 2 Denoising with different compression ratios effect comparison N/M SNR/dB RMSE PSNR/dB R 1 76.880 5 0.011 2 185.315 7 0.999 7 2 77.371 3 0.010 9 185.528 9 0.999 7 3 75.246 3 0.012 1 184.606 0 0.999 7 4 73.535 7 0.013 2 183.863 1 0.999 6

表2 不同压缩比的去噪效果比较 Table 2 Denoising with different compression ratios effect comparison

对于不同的观测矩阵, 分别用伯努利矩阵、 部分傅里叶矩阵、 托普利兹矩阵、 高斯随机矩阵对含噪信号的小波高频系数进行观测。 图6分析了采用不同观测矩阵, 压缩感知去噪方法的不同去噪效果对比。 结果表明, 在同一压缩比下, 采用托普利兹观测矩阵作为观测矩阵, 降噪后光谱信号的信噪比整体优于其他观测矩阵。 四种观测矩阵随着压缩比的单调增大, 信噪比并没有与压缩比呈现明显的线性关系。 不同的观测矩阵对于光谱信号的去噪效果不同。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 不同压缩比, 各观测矩阵的信噪比值Fig.6 SNR of each observation matrix with different compression ratios

为了验证基于小波变换的压缩感知去噪方法的实际可行性, 采用工业级光谱仪USB2000+和使用长寿命、 无需预热的脉冲氙灯光源, 采集某溪水和城市生活污水的光谱信号, 进行去噪处理。 因为在实际测量中, 在线水质检测系统使用的是能现场实时反映水质情况的工业级光谱仪, 不仅成本低, 而且适用于复杂的检测环境, 可在线检测。 相反, 科研级光谱仪成本高, 使用环境严苛, 只能离线使用, 更适合实验室研究。 所以, 本工作使用科研级光谱仪QE65000论证基于小波变换的压缩感知去噪方法的理论可行性, 之后用工业级光谱仪USB2000+来论证该方法的实际可行性。 基于小波变换的压缩感知去噪方法对两种不同水质的光谱信号去噪后如图7所示。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 基于小波变换的压缩感知对不同水样去噪 (a): 某溪水紫外-可见光谱数据去噪前后对比; (b): 某城市生活污水紫外-可见光谱数据去噪前后对Fig.7 Compressed sensing based on wavelet transform for different water sample denoising (a): Comparison of ultraviolet visible spectrum data of a stream before and after denoising; (b): Comparison of ultraviolet visible spectrum data of a city sewage before and the after denoising

结果表明, 基于小波变换的压缩感知去噪算法适用于实时在线水质检测系统, 可有效地去除工业级光谱仪的信号噪声。 溪水受污染程度较小, 紫外-可见光谱图中吸收度最大为0.15。 使用本方法可以有效去除溪水水样光谱数据的噪声。 而城市生活污水受污染程度大, 最大吸光度超过0.35, 水样光谱数据由于受高频噪声的影响, 数据的非平稳跳变十分明显。 使用本方法可以明显去除光谱数据的高频噪声影响。 总之, 对于两种不同的水质, 该方法均能对其有效地去噪, 且保留了水样原始光谱信号的吸收特征。

将基于小波变换的压缩感知去噪算法应用到在线水质检测系统的紫外-可见光谱数据的去噪研究, 并与直接小波阈值去噪做了对比实验。 对于小波阈值去噪, 采用daubechies4作为小波基, 对含噪信号进行4尺度分解, 选用软阈值滤波方法去噪。 针对小波阈值的选取具有不确定性这一缺点, 提出了基于小波变换的压缩感知去噪算法, 对邻苯二甲酸氢钾标液的紫外-可见光谱数据进行了去噪处理, 并对同一含噪信号的不同压缩比和不同观测矩阵做了去噪效果的对比分析。 其结果是: 基于小波变换的压缩感知去噪算法能有效地对含噪光谱信号进行去噪处理, 且去噪效果明显优于小波阈值去噪方法, 该法不仅很好地保留了水样原始光谱信号的吸收特征, 提高了信噪比和峰值信噪比, 还巧妙地避免了阈值选取的不确定性问题, 仅在重构过程中就有效抑制了噪声。 这一方法弥补了小波阈值去噪的不足, 为实时在线水质检测系统的光谱数据去噪处理提供了一种全新的思路, 对仪器降噪具有重要的指导意义。