引用本文
鞠薇, 鲁昌华, 张玉钧, 蒋薇薇, 汪济洲, 鲁一冰. 改进阈值提升小波和自适应滤波器的开放光路红外光谱去噪[J]. 光谱学与光谱分析, 2018,38(6): 1684-1690.
JU Wei, LU Chang-hua, ZHANG Yu-jun, JIANG Wei-wei, WANG Ji-zhou, LU Yi-bing. Open-Path Fourier Transform Infrared Spectrum De-Noising Based on Improved Threshold Lifting Wavelet Transform and Adaptive Filter[J]. Spectroscopy and Spectral Analysis, 2018,38(6): 1684-1690.
Doi:10.3964/j.issn.1000-0593(2018)06-1684-07  
Permissions
Copyright©2018, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
改进阈值提升小波和自适应滤波器的开放光路红外光谱去噪
鞠薇1, 鲁昌华1,2, 张玉钧2, 蒋薇薇1, 汪济洲1, 鲁一冰2
1. 合肥工业大学计算机与信息学院, 安徽 合肥 230009
2. 中国科学院安徽光学精密机械研究所, 安徽 合肥 230031

作者简介: 鞠 薇, 女, 1986年生, 合肥工业大学计算机与信息学院博士研究生 e-mail: juwei@mail.hfut.edu.cn

收稿日期: 2017-06-20
基金: 国家重大科学仪器设备开发专项(2013YQ220643, 2012YQ220119), 国家高技术研究发展计划项目(2014AA06A503)资助
摘要

大气污染物的主要组成成分为挥发性有机物(VOCs), 傅里叶变换红外光谱技术(FTIR)是现阶段应用广泛的挥发性有机物在线测量方法。 开放光路获取到的大气红外光谱(OP-FTIR)易受各种噪声污染, 如何有效、 快速的去除红外光谱中的噪声是大气在线实时监测系统研究的热点。 综合利用提升小波变换结构简单、 运算量低的优点以及最小均方误差自适应滤波器的自动调节参数以达最优化滤波的性能, 提出了一种改进阈值提升小波结合自适应滤波的红外光谱去噪算法。 该算法先通过改进阈值小波系数的提升小波去噪, 在去噪的同时保留更多光谱特征信息, 然后使用提升小波变换分解出的高频系数重构出噪声相关信号, 将其作为最小均方误差自适应滤波器的参考输入进行二次滤波处理, 最终获得的去噪信号很好的去除了与特征光谱频谱重叠的噪声信号。 分别对人工添加噪声的标准红外光谱和合肥市市区上空实测开放光路红外光谱进行去噪处理, 结果显示使用该算法处理后的光谱信噪比(SNR)较离散小波传统阈值去噪方法高出3db, 均方根误差(RSME)平均减少30%左右, 运行时间减少46%。 表明该算法计算简单、 运行速度快, 对于大气环境监测实时消噪系统具有重要的实际应用意义。

关键词: 开放光路红外光谱; 提升小波; 改进阈值; 自适应滤波; 去噪
中图分类号:TN219 文献标志码:A
Open-Path Fourier Transform Infrared Spectrum De-Noising Based on Improved Threshold Lifting Wavelet Transform and Adaptive Filter
JU Wei1, LU Chang-hua1,2, ZHANG Yu-jun2, JIANG Wei-wei1, WANG Ji-zhou1, LU Yi-bing2
1. School of Computer and Information, Hefei University of Technology, Hefei 230009, China
2. Anhui Institute of Optics Fine Mechanics, Chinese Academy of Sciences, Hefei 230031, China
Abstract

The major component of atmospheric pollutants is volatile organic compounds (VOCs), Fourier transform infrared spectroscopy (FTIR) is a widely used VOCs on-line measurement method at the present stage. The infrared spectrum obtained by open path (OP-FTIR) is easily to be polluted by various noise. Therefore, the development of effective and rapid methods to remove the noise in infrared spectrum is a crucial problem in the research of on-line atmospheric real-time monitoring system. The lifting wavelet transform (LWT) has the advantages of simple structure, and low computation; the least mean square algorithm (LMS) adaptive filter has the performance of automatically adjusts parameters to achieve optimal filtering. From above algorithm performance we proposes a infrared spectroscopy denoising algorithm combined with improved threshold LWT denoising and LMS adaptive filter. The algorithm first uses improved threshold LWT denoising preserve more spectral information and then uses the LWT decomposition of the high-frequency coefficients to reconstruct the noise correlation signal. Take this noise as the reference input of the LMS adaptive filter, the final denoising signal is effective for the removal of the noise signal overlap with spectral spectrum. In the experimental part, the standard infrared spectrum plus noise and the measured infrared spectrum of open optical channel over Hefei city were denoised respectively, the results show that the signal-to-noise ratio of the spectral signal processed by the proposed algorithm is about 3dB higher than that of the traditional soft threshold wavelet denoising. The root mean square error (RSME) is also reduced by about 30%,and the running time is reduced by 46% or so. Experimental results show that the algorithm is simple and fast in operation, and has important practical significance for the real-time noise elimination system of atmospheric environment monitoring.

Keyword: Infrared spectrum; Lifting wavelet transform; Adaptive filter; Denoising
引 言

随着国内化工业的迅速发展及居民消费水平的提高, 大气污染问题愈发突显。 挥发性有机物(volatile organic compounds, VOCs)是我国大气污染的主要组成成分, 建立在线实时监测设备获取VOCs浓度及种类对我国空气环境治理具有重要意义[1]。 傅里叶变换红外光谱技术(Fourier transform infrared spectroscopy, FTIR)具有测量速度快、 精度高、 测定波段宽、 杂散光低等优点, 适合于对多种气体污染物的同步自动测量[2, 3]。 相比于实验室封闭气体池FTIR分析, 开放光路傅里叶变换红外光谱(open path FTIR , OP-FTIR)具有动态、 高效及非破坏等特点[4]。 但是由于在开放环境中测量, 光谱获取的过程中受到诸如光照、 温度以及电磁噪声等影响, 获取的光谱强度存在一定的统计误差, 表现为光谱噪声。 将含噪声的光谱信号进行去噪处理, 使其尽可能还原VOCs本身的特征光谱, 消除或减弱后续的光谱识别及浓度反演中的干扰因素, 可以提高光谱分析的精准度[5]。

目前红外光谱去噪方法中效果较好的包括小波变换及小波包变换去噪、 经验模态分解(empirical mode decomposition, EMD)及总体平均经验模态分解(ensemble empirical mode decomposition, EEMD)自适应去噪等; 然而上述方法都存在一定的不足之处: 小波及小波包变换去噪计算复杂, 阈值附近小波系数不连续, 降低重构信号的精度; EMD对信号及噪声交叠的频段进行去噪易产生模态混叠、 EEMD去噪会将高频部分中包含的有用信息当做噪声去除。 针对目前红外光谱去噪的不足, 提出一种综合运用改进阈值提升小波和最小均方误差自适应滤波器的组合去噪算法。 提升小波变换(lifting wavelet transform, LWT)在保留了传统小波运算多分辨率特点的同时简化计算复杂度, 提高了运行速度[6]; 使用改进阈值去噪保证了小波系数在阈值处的连续, 在去噪的同时保留更多特征光谱; 通过LWT分解得到的高频系数重构出噪声相关信号, 利用最小均方误差(least mean square, LMS)自适应滤波器的“ 自我调节” 及“ 跟踪反馈” 功能实现光谱信号的最优化信噪分离。

1 算法原理
1.1 提升小波变换

20世纪90年代 Sweldens等提出了提升算法小波变换, 该算法用数乘运算代替了传统小波变换中的卷积运算, 具有结构简单、 运算量低、 易于硬件实现等特点。 提升算法分别经过分裂(Split)、 预测(Predict)和更新(Update)3个阶段来实现其空间域变换[7]。

(1) 分裂: 将输入信号si分为2个互不相交子集si-1和di-1, 通常按奇偶性分为2组, 即

si-1=s[2n], di-1=s[2n-1](1)

(2) 预测: 由于原始数据具有相关性, 在此基础上, 用偶信号si-1的预测值P(si-1)去预测或者内插奇信号di-1, 也就是使用滤波器P对偶信号进行处理得到了奇信号的预测值。 即

di-1=di-1-P(si-1)(2)

此时di-1比之前包含更少的信息。 经过n次重复进行分裂和预测的过程, 原信号可用{sn, dn, sn-1, dn-1, …, s1, d1}来表示。

(3) 更新: 更新的作用是使子集si-1中保持原信号集的某些全局特性, 可以利用已经得到的小波子集di-1对si-1进行更新, 从而使得si-1保持原信号集的某一标量特性Q(x)。 即构造一个更新算子U去更新si-1, 即

si-1=si-1+U(di-1)(3)

提升小波的重构过程与分解过程相反。 整个提升小波变换分解与重构的过程如图1所示。

图1 提升小波分解与重构Fig.1 Decomposition and reconstruction of the lifting scheme

由上述步骤可知, 提升方法除了需要前级提升步骤的输出之外不需要其他数据, 这样在每个点都可以用新的数据流替代旧的数据流, 重复使用提升滤波器组可以获得提升小波变换系数。

在对含噪信号进行提升小波变换(LWT)后, 获取到大尺度低分辨率的小波低频系数和各尺度高分辨率的小波高频系数, 信号的有用信息主要集中在低频系数中, 而信号的细节特征和噪声主要集中在高频系数中。 LWT去噪原理是根据小波系数的分布特点, 保留全部低频系数和经过阈值收缩的高频系数, 处理后的小波系数经LWT重构得到去噪后的信号。 在实际红外光谱信号中, 光谱特征峰属于细节信息, 经过LWT分解后的系数与噪声的分解系数频谱范围相近。 传统软、 硬阈值去噪对绝对值低于阈值的小波系数全部置0, 这样不仅会造成小波系数不连续, 重构原光谱信号时产生附加震荡, 而且会丢失部分光谱特征峰值, 对后续光谱信号的识别和浓度反演产生不必要的影响。

1.2 LMS自适应滤波器

自适应滤波器去噪的原理是噪声抵消, 可以在噪声的统计特性及先验条件未知的情况下, 通过调节滤波器权值参数从而达到对含噪信号最优化滤波的效果。 1959年Widrow和Hoff提出了最小均方准则(LMS)自适应滤波算法, 其基本思想为: 调整滤波器参数, 使滤波器的输出信号与期望输出信号之间的均方误差最小, 并且根据均方误差的变化来修改权系数, 系统输出即为有用信号的最佳估计[8, 9]。 LMS算法的特点是原理简单, 计算量小, 在硬件系统中易于实现。 LMS自适应滤波器模型如图2所示。

图2 LMS自适应滤波器模型Fig.2 LMS adaptive filter model

其中, s(n)为信号源信号, v(n)为信号获取过程中污染的噪声, 主输入y(n)为两者之和; 参考输入v'(n)作为噪声补偿, 要求与v(n)相关, 与s(n)不相关。 v'(n)经过滤波器的调节后的输出y'(n)的作用是模拟出噪声v(n)。 系统输出e(n)=y(n)-y'(n), 当y'(n)近似等于噪声v(n) 时, e(n)≈ s(n), 由此得到去噪后的信号源信号。 基于最速下降法的LMS迭代公式如下

e(n)=y(n)-y'(n)(4)y'(n)=∑i=1Mωi(n)v'(n-i)(5)ωi(n+1)=ωi(n)+2μe(n)v'(n-i)(6)

其中权系数矩阵ω 根据Widrow-Hoff迭代算法计算获得; 步长因子的选取关系到滤波器的收敛速度和稳态失调, 为保证LMS算法的稳定收敛, 步长因子取值范围为

0< μ< 2λmax(7)

λ max为滤波器输入信号自相关矩阵R的最大特征值, 在实际应用中, λ max值不易计算, 所以采用另一种收敛条件

0< μ< 2∑i=1NE[|v'(n-i)2|] (8)

由上述LMS自适应滤波原理可知, 算法的关键是需要有一个与噪声相关的参考输入, 实际工作中如果信号噪声是未知的, 这个与噪声相关的参考输入很难获取到, 这也就导致了LMS自适应滤波算法虽然简单, 却较少应用于实际噪声消噪系统。

2 基于改进阈值提升小波的自适应去噪算法

针对OP-FTIR噪声统计特性未知, 且特征光谱在频域与噪声有重叠现象等特性, 提出一种基于改进阈值的的提升小波自适应去噪方法。 该方法解决了LMS自适应滤波中噪声相关的参考输入不易获取的问题, 将使用LWT去噪后含少量噪声的光谱信号作为LMS自适应滤波器的主输入; 对主输入选取合适的小波基进行提升小波分解, 提取分解出的高频系数重构出滤波器的参考输入, 该重构信号与噪声信号相关, 符合LMS自适应滤波器参考输入的要求。 最后使用上一步获取到的主输入与参考输入进行LMS 自适应滤波器消噪, 得到最终信噪分离的光谱信号。

具体步骤如下:

(1) 选取合适的小波基, 获取该小波基提升方案, 对含噪信号x(n)进行N层提升方案离散小波变换, 得到信号在各尺度上的分解系数。

(2) 随着小波分解尺度的增大, 噪声的小波系数幅值会变小, 而有用信号的小波系数幅值却恰好相反。 根据这一原理, 对常用的几种阈值计算方法进行比较, 提出了一种改进的阈值计算方法

δ=σ2ln(MN)/log(j+1)(9)

其中σ 为噪声均方差。 改进的阈值算法随着分解层数的增加, 获取的阈值相应减小。 与固定阈值去噪相比, 该方法对分解得到的各层高频系数分别进行计算, 阈值随着小波系数幅值的减小而减小, 这样可以更好的保留有用信号的小波高频系数。

(3) 在比较了软、 硬阈值处理方法优缺点基础上, 提出一种改进的阈值处理方案, 该方案解决了软硬阈值去噪时阈值处不连续的问题, 而且可以根据去噪环境的不同, 对调节系数进行修改从而控制该阈值与软、 硬阈值的逼近程度。 改进阈值表达式如下

ωij=sgn(ωij)[αδ+(|ωij|-αδ)1-e1-|ωij|δ]　　　　　　　　　|ωij|≥δαωij|ωij|< δ (10)

改进阈值的调节系数α 介于(0, 1)之间, 在整个小波系数范围内保持连续, 且保留部分低于阈值的小波系数。 由于下一步自适应去噪需要噪声相关信息, 所以适当保留高频系数有助于消除频谱重叠部分噪声, 并减少有用信息的损失。 当α =0.2时改进阈值与软、 硬阈值函数的对比如图3所示。

图3 软、 硬阈值与改进阈值比较Fig.3 Comparison of threshold methods

(4) 重构阈值化处理后的提升小波系数得到去噪信号s(n) , 将s(n)作为LMS自适应滤波器的主输入, 同时对s(n)再次进行提升小波分解, 对分解后的小波高频系数进行提升小波重构得到自适应滤波器的参考输入。

(5) 选取合适的步长因子与滤波器阶数, 使用LMS自适应滤波器对主输入和参考输入进行滤波处理。 LMS提升小波滤波模型如图4所示。

图4 LWT自适应滤波模型Fig.4 LWT adaptive filtering model

3 结果与讨论

实验分别选用人工加噪的标准光谱和实测OP-FTIR作为去噪对象, 使用matlab作为仿真工具进行去噪实验[10]。 为了验证改进提升小波自适应去噪的有效性, 分别采用不同小波基的传统离散小波软阈值去噪对比去噪效果和运行时间。

3.1 仿真数据去噪实验

通过对Elgenvector研究所提供的玉米标准红外吸光度谱进行加噪处理后, 分别使用离散小波软阈值去噪和本法去噪, 对比去噪效果。 LMS自适应滤波器参数设置为: 迭代步长μ =0.000 1, 阶数n=36。 图5(a)为标准红外光谱图, (b)为加入了信噪比为30 db高斯白噪声的噪声光谱图, (c)为用小波函数db4对信号进行3层软阈值去噪后的光谱图, (d)为使用本方法去噪后的光谱图。 表1为不同小波基函数软阈值去噪后的信噪比(SNR)与均方根误差(RMSE)对比。 由图5和表1可以看到本去噪方法在高斯噪声污染的红外光谱上去噪效果明显好于常用的传统离散小波软阈值去噪效果。

图5 红外光谱去噪结果比较(SNR=30)
(a): 原始光谱; (b): 加噪光谱; (c): 小波软阈值去噪; (d): 本法去噪Fig.5 Denoising of the simulated infrared signal (SNR=30)
(a): Original signal; (b): Noisy signal; (c): Denoised signal by WT soft threshold; (d): Denoised signal by the method proposed in this paper

表1 不同小波基函数去噪后信噪比与均方根误差对比 Table 1 Comparison of signal-to-noise ratio(SNR)and the root mean square error (RMSE) of the denoised signal
3.2 实测光谱信号去噪实验

选用中科院安光所自主研制的大气多组分OP-FTIR在线测量系统。 测量地点位于合肥市包河区合肥工业大学校内。 OP-FTIR系统接受端放置于逸夫楼7楼, 系统距离地面约30 m, 红外发射端放置于材料楼楼顶, 总光程178 m。 测量区域无大型化工业基地, VOCs污染源主要来自于是市内交通。 在线测量系统穿过开放光路直接测量该段内大气的红外吸收光谱。

光谱仪参数设置为分辨率1 cm-1、 平均采样次数16次、 测量间隔0.482 22 cm-1、 显示波段500~5 000 cm-1。 干涉图扫描方式采用双边扫描模式, 在获取原始干涉图后, 首先进行数据调整, 然后进行干涉图切趾, 切趾函数采用汉明(Hamming)窗, 再进行相位修正, 修正方法采用Mertz方法, 最后进行FFT完成红外光谱复原[11]。 图6为OP-FTIR的现场测量照片。

图6 OP-FTIR现场测量装置Fig.6 OP-FTIR spot measurement device

图7中(a)为实测OP_FTIR光谱图, (b)为使用小波函数db4对光谱信号进行5层软阈值去噪的光谱图, (d)为使用改进阈值的LWT去噪的光谱图, (f)为对(d)进行LMS二次去噪的光谱图, (c)与(e)分别为其前图与原光谱信号的残差, (g)为(f)图与(d)图的残差。 由实验结果图可以看出, 使用改进阈值去噪后的光谱信号连续性好; LMS滤波在消除叠加噪声的同时, 并未减弱特征光谱信息。 通过简单信号差值运算可以发现, 改进阈值算法去除的噪声较传统软阈值算法保留了较多光谱特征; LMS滤波由于其“ 自适应” 特性可以根据噪声的特征有针对性的去除噪声较多区域的噪声。

图7 实测OP-FTIR去噪图
(a): 实测光谱; (b): 小波软阈值去噪光谱; (c): (b)图与原图的差; (d): 改进阈值提升小波去噪光谱; (e): (d)图与原图的差; (f): 本方法去噪光谱; (g): (d)图与(f)图的差Fig.7 Denoising of measured OP-FTIR signal (original signal)
(a): Original signal; (b): Denoised signal by WT soft threshold; (c): Difference between the riginal (a) and the denoised signal (b); (d): Denoised signal by improved LWT threshold; (e): Difference between the original (a) and the denoised signal (d); (f): Denoised signal by the method proposed in this paper; (g): Difference between the denoised signal (d) and the denoised signal (f)

由表2可以得出提升小波去噪在运行速度方面大大领先于传统小波去噪, 节省大约61%时间。 加入自适应步骤的提升小波去噪时间稍微加长, 但仍然领先于传统小波去噪运行时间, 节省大约46%。

表2 不同去噪方法运行时间对比 Table 2 Running time comparison of different denoising algorithms
4 结 论

提出一种改进阈值提升小波结合自适应滤波的OP-FTIR去噪算法, 该算法充分利用了LWT时域变换获得频域多分辨率的特性, 以及LMS自适应算法运算简单、 对频谱重叠噪声有效消除的特点。 算法分为两步进行: 第一步使用改进阈值LWT对信号进行去噪处理, 其改进在于保留信号中较多高频细节信号, 有利于光谱信号中特征光谱信号的保存; 第二步再次使用LWT将上一步得到的信号进行分解, 并且用分解出的高频系数重构得到自适应滤波器的参考输入, 继而使用LMS自适应滤波器对信号进行二次滤波处理。 通过对模拟噪声光谱的去噪对比实验可以得出, 本去噪方法的信噪比(SNR)和均方根误差(RMSE)均优于传统离散小波去噪。 通过对实测OP-FTIR去噪实验可以看出该方法在噪声未知情况下能够有效去除与特征光谱信号频谱重叠的噪声信号。 该算法多次使用LWT对信号进行分解和重构, 充分运用其运算速度快的优点, 算法的运行时间较传统离散小波变换提高了46%左右, 体现了算法的高效性。 LWT及LMS算法均不涉及复杂的卷积运算, 多为数乘及迭代, 易于硬件上的实现。 该算法对于我国大气环境治理的关键环节VOCs实时在线监测系统具有重要的实际应用意义。

The authors have declared that no competing interests exist.

参考文献
[1] GAO Wei, TAN Guo-bin, HONG Yi, et al(高伟, 谭国斌, 洪义, 等). Chinese Journal of Analytical Chemistry(分析化学), 2013, 41(2): 258. [本文引用:1]
[2] Granada E, Eguia P, Vilan J A. Renewable Energy, 2012, 41: 416. [本文引用:1]
[3] Nicholas W Turner, Michael Cauchi, Elena V Piletska. Biosensors and Bioelectronics, 2009, 24(11): 3322. [本文引用:1]
[4] CHENG Si-yang, XU Liang, GAO Min-guang, et al(程巳阳, 徐亮, 高闽光, 等). Chinese Physics B, 2013, 22(12): 567. [本文引用:1]
[5] Poornachand ra S. Digital Signal Processing, 2008, 18: 49. [本文引用:1]
[6] LI Tao, HE Yi-gang, ZHANG Yu(李涛, 何怡刚, 张宇). Chinese Journal of Scientific Instrument(仪器仪表学报), 2013, 34(2): 281. [本文引用:1]
[7] JIANG Wei-wei, LU Chang-hua, ZHANG Yu-jun, et al(蒋薇薇, 鲁昌华, 张玉钧, 等). Journal of Electronic Measurement and Instrumentation(电子测量与仪器学报), 2014, 12: 9. [本文引用:1]
[8] CAO Xiao-ying, ZHANG Zhi-jun, XIANG Jian-jun(曹晓英, 张智军, 向建军). Computer Engineering and Applications(计算机工程与应用), 2012, 48(4): 143. [本文引用:1]
[9] Simon H. Adaptive Filter Theory. 4ed. Beijing: Electronic Industry Press, 2003. [本文引用:1]
[10] ZHANG De-feng(张德丰). Wavelet Analysis with MATLAB(MATLAB小波分析). Beijing: China Machine Press(北京: 机械工业出版社), 2012. 355. [本文引用:1]
[11] WENG Shi-fu(翁诗甫). Fourier Transform Infrared Spectroscopy Analysis(傅里叶变换红外光谱分析). Beijing: Chemical Industry Press(北京: 化学工业出版社), 2010. 20. [本文引用:1]