基于提升小波变换的阈值改进去噪算法在紫外可见光谱中的研究
周风波1,3, 李长庚1, 朱红求2,*
1. 中南大学物理与电子学院, 湖南 长沙 410083
2. 中南大学信息科学与工程学院, 湖南 长沙 410083
3. 邵阳学院信息工程学院, 湖南 邵阳 422000
*通讯联系人 e-mail: hqcsu@csu.edu.cn

作者简介: 周风波, 1985年生, 中南大学物理与电子学院博士研究生 e-mail: fbzhou5018@126.com

摘要

在紫外可见光谱定量分析中, 由于分光光度计内部的光学系统、 光源、 检测器、 电子元器件, 电路设计以及外部环境干扰等因素产生的随机噪声, 严重影响光谱定量分析结果的准确性, 为提高紫外可见光谱分析精度, 需要对光谱数据进行去噪预处理。 由于小波分析具有多分辨率, 低熵性、 去相关性等特点, 基于小波分析的去噪算法优于传统的去噪算法, 目前基于小波去噪的方法主要有模极大值去噪算法, 系数相关去噪算法, 阈值去噪算法, 工程实际应用以Donoho的阈值去噪法最为常用。 根据Donoho阈值消噪原理, 提出一种基于提升小波变换的阈值改进算法, 一方面使用提升小波变换, 提升小波变换是第二代小波变换, 继承了小波的多分辨率特性, 并且不需要进行傅里叶变换, 从而具有算法简单, 速度快, 实现简单的优点; 另一方面提出了一种新的阈值函数, 克服了硬阈值函数在阈值处不连续以及软阈值函数存在恒定偏差的问题, 同时对阈值估计进行了调整, 有利于信号小波系数的保留和噪声小波系数的剔除。 对三组多金属离子混合溶液的实测紫外可见光谱信号, 添加随机噪声后使用该方法进行去噪处理, 并使用信噪比(SNR)和均方根误差(RMSE)进行去噪性能评价。 试验结果表明, 提出的算法优于Donoho的软硬阈值去噪算法, 能够有效提高光谱信噪比和降低均方根误差, 从而更好地消除光谱信号中的噪声和保留光谱信号中一些重要的细节特征, 比较适合用于紫外可见光谱数据建模之前的去噪预处理, 在紫外可见光谱信号分析中具有较好的应用前景。

关键词: 提升小波; 阈值函数; 阈值去噪
中图分类号:O657.3 文献标志码:A
Research on Threshold Improved Denoising Algorithm Based on Lifting Wavelet Transform in UV-Vis Spectrum
ZHOU Feng-bo1,3, LI Chang-geng1, ZHU Hong-qiu2,*
1. School of Physics and Electronics, Central South University, Changsha 410083, China
2. School of Information Science and Engineering, Central South University, Changsha 410083, China
3. School of Information Engineering, Shaoyang University, Shaoyang 422000, China
Abstract

In the quantitative analysis of UV-Vis spectroscopy, the random noisewhich affects the accuracy of the spectral quantitative analysis resultsseriously, is caused by spectrophotometer internal optical systems, light sources, detectors, electronic components, circuit design and external environmental interference and other factors. In order to improve the accuracy of UV-Vis spectral analysis, the spectral data need to be denoised firstly. Because wavelet analysis has the characteristics of multiresolution, low entropy and decorrelation, the denoising algorithm based on wavelet transform is superior to the traditional denoising algorithm. Currently there are threshold denoising method, coefficient correlation denoising method and modulus maxima denoising method in wavelet transform domain. In these method, the threshold denoising method proposed by Donoho is the most commonly used in engineering application. According to Donoho threshold denoising principle, this paper proposes a threshold improved algorithm based on lifting wavelet transform. On the one hand, the lifting wavelet transform is the second generation wavelet transform, inherits the multi-resolution characteristic of the wavelet transform, and does not need the Fourier transform, which has the characteristics of small computation, fast speed and simple realization. On the other hand, a new threshold function is proposed to overcome the discontinuous shortcoming in the hard threshold method and reduce the constant deviation in the soft threshold method. At the same time, the threshold estimation is adjusted to facilitate the retention of the signal wavelet coefficients and the elimination of the noise wavelet coefficients. The UV-Vis spectrum of three groups poly-metal ions were used to test the performance of the proposed denoising method. In the experiment, random noise was first added to the spectrum, and then removed by the proposed denoising method. The signal to noise ratio(SNR) and the root mean square error(RMSE) were used to evaluate the performance of the proposed denoising method. The experimental results showed that the proposed method was superior to the soft threshold method and the hard threshold method in improving SNR and decreasing RMSE, which can effectively eliminate the spectral noise and keepsome important detail features in the spectral signal. So, this proposed method is more suitable for the denoising pretreatment before the UV-Vis spectral data modeling, and will have a good application prospect in UV-Vis spectroscopic analysis.

Keyword: Lifting wavelet transform; Threshold function; Threshold denoising

引 言

紫外可见光谱法是历史悠久、 应用广泛的一种光学分析方法。 它的原理是对分子或离子吸收入射光中特定波长的光而产生的吸收谱线进行分析, 波长范围为200~800 nm, 具有分析速度快, 成本低, 灵敏度高等优点, 目前广泛应用于物质的定性分析、 定量分析、 纯度检测、 化合物结构的推测、 氢键强度的测定等领域[1, 2]。 然而, 在紫外可见光谱定量分析中, 由于分光光度计内部的光学系统、 光源、 检测器、 电子元器件, 电路设计以及外部环境干扰等因素产生的随机噪声, 严重影响光谱数据分析的精确性和准确性。 因此, 在对光谱数据进行模型预测之前, 有必要对光谱数据进行消噪预处理, 从而有效的滤除噪声, 提升光谱分析的精度。 目前, 光谱信号去噪已经成为光谱分析领域的一个重要研究方向[3, 4]

如何有效的从信号中消除噪声, 人们开展了大量研究工作, 设计了许多去噪方法, 但也存在一些局限性。 平滑处理法虽然简单, 但是容易导致信号失真; 傅里叶变换滤噪法, 在有用信号和噪声频谱重叠部分消噪效果不好; 卡尔曼滤波法, 建立准确的状态方程需要知道系统的运动规律; 维纳滤波法, 仅适用于平稳过程。 小波分析是近20年发展起来的广泛应用于数字信号处理方面, 目前也逐步应用于分析化学领域。 小波分析具有多分辨率, 低熵性、 去相关性等特点, 相比于传统去噪算法, 在分析处理光谱信号等非平稳信号方面具有明显优势[5, 6, 7]。 提升小波变换是第二代小波变换, 继承了小波的多分辨率的特性, 并且不需要进行傅里叶变换, 从而具有算法简单, 速度快, 实现简单的优点[8]

近些年产生了许多基于小波分析的去噪方法, 有基于模极大值去噪算法, 空域相关去噪算法, Donoho提出的阈值去噪算法, 工程实际应用以Donoho的阈值去噪法最为常用。 Donoho提出的阈值去噪算法主要有硬阈值和软阈值去噪, 这两种算法都有一些固定缺陷, 如硬阈值法在阈值处不连续以及软阈值法存在恒定偏差的问题。 根据Donoho阈值消噪方法的不足, 本文提出一种基于提升小波变换的阈值改进算法, 一方面使用提升小波变换, 与小波变换相比, 计算量小, 速度快, 实现简单; 另一方面提出了一种新的阈值函数, 克服了硬阈值函数在阈值处不连续以及软阈值函数存在恒定偏差的问题, 同时对阈值估计进行了调整, 有利于信号小波系数的保留和噪声小波系数的剔除。 仿真结果表明, 与软阈值法与硬阈值法相比, 该方法能更有效地消除光谱信号中的噪声和保留有用信息, 提高光谱信噪比, 降低均方根误差, 具有较好的去噪效果。

1 提升小波算法

提升小波变换是第二代小波变换, 继承了小波的多分辨率的特性, 同时具有算法简单, 速度快, 实现简单的优点。 提升小波变换分解包括三个过程[8]:

(1)分解

将原始信号sj分为两个互补的子集, 一般将信号根据奇偶性分为偶数序列ej-1和奇数序列oj-1, 即: ej-1(k)=sj(2k), oj-1(k)=sj(2k+1)。

(2)预测

根据原始数据的相关性, 通常用偶序列ej-1来预测奇数序列oj-1。 奇序列oj-1与预测值P(ej-1)的差值dj-1称为小波系数, 预测过程如下: dj-1=oj-1-P(ej-1), 其中P为预测算子。

(3)更新

更新过程是为了保持原始数据的整体特征, 其过程如下: sj-1=ej-1+U(dj-1), U为更新算子。 显然, PU取不同的函数, 则可以构造不同的提升算法。

提升小波的重构则是分解的一个逆过程, 根据PU函数求得奇数序列oj-1和偶序列ej-1, 将奇偶序列合并即可求得重构信号sj

2 改进的阈值函数

根据信号与随机噪声在不同尺度小波变换下具有不同的性质和机理, Donoho[9]和Johnstone等学者提出了阈值消噪法, 常用的为硬阈值和软阈值消噪法。 硬阈值函数为

w˙j, k=wj, k, |wj, k|λ0, |wj, k|< λ(1)

式(1)中, λ 表示阈值, wj, k表示信号在第jk处分解的小波系数。 从硬阈值函数的定义可以看出, 硬阈值函数在阈值± λ 处存在突变点, 从而导致信号重构时产生振荡。

软阈值函数为

w˙j, k=sign(wj, k)(|wj, k|-λ), |wj, k|λ0, |wj, k|< λ(2)

从式(2)可以看出, 软阈值函数在小波域是连续的, 但是在小波域绝对值大于λ 的区域, 小波估计系数与实际小波系数相差λ , 从而导致去噪后的信号与真实信号之间不可避免存在偏差。

针对软硬阈值函数的固有缺陷, 本文提出一种改进的阈值函数

w˙j, k=wj, k-sign(wj, k)λ(1-α), |wj, k|λwj, kα|wj, k|λ1/α, |wj, k|< λ(3)

式(3)中, α 为阈值函数的调整因子, 当α 趋近于0时, 改进的阈值函数近似于软阈值函数, 当α 趋近于1时, 改进的阈值函数近似于硬阈值函数, 因此, α 取值范围为(0, 1], 可以根据实际需要灵活设置。 这种改进的阈值函数既保留了软硬阈值法的优点, 又克服了其固有的缺陷, 从而使得重构信号比较光滑, 同时较好的保留了有用信息, 具有较好的去噪效果。

3 阈值估计的调整

Donoho[9]提出了统一阈值方法, 将阈值λ 定义为

λ=σ2lnN(4)

在式(4)中, N为信号的长度, σ 为噪声的标准方差, 可由提升小波在第一层分解的小波系数的中位数估计得到, 若用ν 1, n表示第一层的小波系数, 则

σ=median(|ν1, n|)/0.6745(5)

这种阈值估计能够将大部分的信号和噪声分离, 但是当信号幅度和噪声相近或小于噪声时, 信号容易被当做噪声滤除, 影响消噪效果。 本文结合Xu[10]提出的空域相关去噪思想, 对阈值估计进行调整。

假设w(m, n)表示在m尺度的提升小波变换值, 计算其与相邻尺度的相关值, 定义: corr(m, n)=w(m, n)w(m+1, n), 并对其归一化处理。

k(m, n)=corr(m, n)Pw(m)/Pcorr(m)/w(m, n)(6)Pw(m)=nw(m, n)2(7)Pcorr(m)=ncorr(m, n)2(8)

由于信号与噪声在小波不同尺度变换下具有不同的性质, 信号小波系数的模值随着分解尺度的增大而相应增大, 而噪声小波系数的变化趋势则正好相反[10]。 因此, 由公式(6)可知, 对于信号成分, k(m, n)> 1, 对于噪声成分, k(m, n)< 1, 本文根据这一机理, 对阈值进行了调整

λnew(m, n)=λ/k(m, n)(9)

为了保证程序稳健性, 当k(m, n)≥ 2, k(m, n)=2, 当k(m, n)≤ 0.5, k(m, n)=0.5。 对于信号成分, k(m, n)> 1, 因此阈值λ new小于阈值λ , 有利于小幅度信号通过, 对于噪声成分, k(m, n)< 1, 因此阈值λ new大于阈值λ , 有利于噪声成分的剔除, 从而在Donoho基础上进一步提高阈值滤噪效果。

4 基于提升小波变换的阈值改进去噪算法流程

本文提出了一种基于提升小波变换联合改进阈值函数及阈值估计的方法, 该方法用于紫外可见光谱信号去噪的具体流程如下[11, 12]:

(1)对被处理的光谱信号进行一维离散提升小波分解, 获取其小波系数;

(2)计算每层分解尺度的调整因子k(m, n), 确定阈值λ new(m, n);

(3)根据本文提出的阈值函数以及阈值λ new(m, n), 获得新的小波系数;

(4)进行提升小波逆变换, 获得重构信号, 实现光谱信号的去噪。

5 结果与讨论

实验配置三组不同浓度的Zn2+, Co2+和Cu2+混合标准溶液, 测试仪器采用T9双光束紫外可见分光光度计(北京普析通用仪器有限责任公司), 扫描步长为1 nm, 扫描范围为400~800 nm, 三种金属离子混合溶液的实测紫外可见光谱信号如图1所示。 为了说明本文提出的方法在紫外可见光谱信号去噪的有效性及优越性, 对光谱信号添加随机噪声模拟含噪光谱信号, 其谱图如图2所示。 采用” db4” 小波函数对含噪光谱信号进行5层的提升小波分解, 通过对改进阈值函数参数α 选取不同的值, 将重构信号与原始信号的均方根误差(RMSE)进行比较, 当RMSE最小则α 的取值最佳, 从图3可知, α 的最佳值为0.72。 然后分别使用硬阈值去噪法, 软阈值去噪法和本文提出的方法进行去噪处理, 去噪后的光谱信号如图4— 图6所示。

图1 原始光谱信号Fig.1 The original spectrum signal

图2 添加噪声的光谱信号Fig.2 Noisy spectrum signal

图3 选择提出的阈值函数的参数α Fig.3 Select parameter a of the proposed threshold function

图4 硬阈值去噪后的信号Fig.4 The hard threshold denoised signal

图5 软阈值去噪后的信号Fig.5 The soft threshold denoised signal

图6 提出的阈值去噪后的信号Fig.6 The proposed threshold denoised signal

对光谱信号去噪的目的是把噪声成分尽可能滤除, 同时尽可能保留信号的有用信息, 为了检验本文提出方法的去噪效果, 将去噪后光谱信号的信噪比(signal to noise ratio, SNR)和均方根误差(root mean square error, RMSE)作为评价标准。 设X(n)为原始信号, S(n)为含噪信号, X̅(n)为去噪后的估计信号, 则

SNR=10log10n=1NX̅2(n)n=1N[S(n)-X(n)]2(10)RMSE=1Nn=1N[X(n)-X̅(n)]2(11)

由式(10)和式(11)可知, 当信噪比SNR越高, 均方根误差RMSE越小, 表明 X̅(n)越接近X(n), 去噪效果越好。 使用硬阈值去噪法, 软阈值去噪法和本文提出的方法进行去噪后的性能指标如表1所示。

表1 不同去噪方法的均方根误差和信噪比 Table 1 RMSE and SNR of different denoising methods

从图4— 图6可以看出, 硬阈值法, 软阈值法以及本文提出的去噪方法都能消除大部分噪声, 但是硬阈值去噪后的重构信号不光滑, 尤其在450~500 nm区间非常明显, 软阈值去噪后的重构信号比较光滑, 但是与原始信号相比有些失真, 在500~600 nm区间比较明显, 本文提出的去噪方法则不仅信号比较光滑, 而且信号的曲线形状非常逼近原始信号。 根据表1的评价指标也进一步验证, 相比较于硬阈值和软阈值去噪法, 本文提出的去噪方法不仅信噪比高, 而且均方根误差小, 因而能更好的消除光谱信号的噪声, 同时保留光谱信号一些重要的细节特征, 比较适合用于紫外光谱数据建模之前的去噪预处理过程。

6 结 论

在紫外可见光谱定量分析中, 噪声严重影响光谱定量分析结果的准确性, 为提高紫外可见光谱分析精度, 需要对光谱数据进行去噪预处理。 由于小波分析具有多分辨率, 低熵性、 去相关性等特点, 基于小波分析的去噪算法优于传统的去噪算法, 工程应用一般采用Donoho提出的小波阈值去噪方法。 Donoho 提出的阈值去噪算法主要有硬阈值和软阈值去噪, 这两种算法都有一些固定缺陷, 如硬阈值法在阈值处不连续以及软阈值法存在恒定偏差的问题。 本文在Donoho阈值消噪方法的基础上, 提出一种基于提升小波变换的阈值改进算法, 一方面使用提升小波变换, 计算量小, 实现简单; 另一方面提出了一种新的阈值函数, 克服了硬阈值函数在阈值处不连续以及软阈值函数存在恒定偏差的问题, 同时对阈值估计进行了调整, 有利于信号小波系数的保留和噪声小波系数的剔除。 试验结果表明, 与软阈值法与硬阈值法相比, 该方法能提高光谱信噪比, 降低均方根误差, 有效地消除光谱信号中的噪声和保留光谱信号中一些重要的细节特征, 比较适合用于紫外光谱数据建模之前的去噪预处理过程, 在紫外可见光谱信号分析中具有较好的应用前景。

The authors have declared that no competing interests exist.

参考文献
[1] Chantzis A, Very T, Despax S, et al. Journal of Molecular Modeling, 2014, 20(3): 1. [本文引用:1]
[2] Rather M A, Rather G M, Pand it S A, et al. Talanta, 2015, 131: 55. [本文引用:1]
[3] Hendel T, Wuithschick M, Kettemann F, et al. Analytical Chemistry, 2014, 86(22): 111. [本文引用:1]
[4] Castanho M A R B, Lopes S, Fernand es M, et al. Spectroscopy, 2015, 17(17): 377. [本文引用:1]
[5] Khare A, Khare M, Jeong Y, et al. Signal Processing, 2010, 90(2): 428. [本文引用:1]
[6] FEI Si, KE Ji. The Wavelet Analysis Theory and MATLAB7 Application(小波分析理论与MATLAB7实现). Beijing: Publishing House of Electronics Industry (北京: 电子工业出版社), 2005. 3. [本文引用:1]
[7] Shao X, Cai W, et al. Journal of Chemometrics, 2015, 12(2): 85. [本文引用:1]
[8] WANG Yu-tian, YANG Zhe, HOU Pei-guo, et al(王玉田, 杨哲, 侯培国, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2016, 36(7): 2144. [本文引用:2]
[9] Donoho D L, et al. IEEE Trans. Inform. Theory, 1995, 41(2) : 613. [本文引用:2]
[10] Xu Y S, Weaver J B, Healy D M, et al. IEEE Trans. Image Processing, 1994, 3(6): 747. [本文引用:2]
[11] Ding Y, Selesnick I W, et al. IEEE Signal Processing Letters, 2015, 22(9): 1364. [本文引用:1]
[12] Zhang Bo, Sun Lanxiang, Yu Haibin, et al. Spectrochimica Acta Part B, 2015, 107(1): 32. [本文引用:1]