引用本文
王昕, 吕世龙, 陈夏. 迭代最小二乘法气体光谱自动水汽差减算法[J]. 光谱学与光谱分析, 2019,39(1): 20-25.
WANG Xin, L#cod#x000dc; Shi-long, CHEN Xia. Automatic Algorithm for Water Vapor Compensation of Gas Spectra Through Iterative Least Square Method[J]. Spectroscopy and Spectral Analysis, 2019,39(1): 20-25.
Doi:10.3964/j.issn.1000-0593(2019)01-0020-06  
Permissions
Copyright©2019, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
迭代最小二乘法气体光谱自动水汽差减算法
王昕1,2, 吕世龙2, 陈夏3
1. 北京工业大学机械工程与应用电子技术学院, 北京 100124
2. 清华大学精密仪器系, 精密测试技术及仪器国家重点实验室, 北京 100084
3. 北京工业大学环境与能源工程学院, 北京 100124

作者简介: 王 昕, 1982年生, 北京工业大学机械工程与应用电子技术学院讲师 e-mail: xinwang@bjut.edu.cn

收稿日期: 2018-05-10 接受日期: 2018-09-17
基金: 北京市自然科学基金青年项目(8174061), 北京市教育委员会科技计划一般项目(KM201710005009, KM201610005017), 国家重大仪器专项(2013YQ060615), 清华大学精密测试技术及仪器国家重点实验室开放基金项目(DL16-01)资助
摘要

傅里叶红外光谱法具有测量速度快、 信噪比高、 检测范围广等优势, 在针对污染源废气排放的快速检测及长时间在线监测中具有巨大的发展潜力。 水汽是红外光谱污染气体检测中的主要干扰物, 影响NO X, SO2等重要污染物的检测, 差减水汽背景谱消除光谱中水汽干扰可提高这些污染物的检测精度, 具有重要意义。 气体光谱中水汽吸收峰由于受到水分子团簇、 仪器线型函数等影响, 通过数值方法对其计算的误差较大; 为此, 水汽背景谱一般需采用同一台光谱仪实测获得。 主要有两种方法: 第一种是通过反复调节水汽/氮气混合气中的水汽浓度, 使水汽背景谱中的水汽吸收峰与污染气体光谱中水汽吸收峰相同, 此方法耗时较长, 且受环境条件制约很难在现场检测中使用; 第二种方法是预先测量不同浓度的水汽光谱, 在检测污染气体时选取两幅与污染气体光谱中水汽吸收峰最为接近且将其夹在中间的水汽光谱作为参考谱, 使用这两幅参考谱线性拟合与污染气体光谱中水汽吸收峰相同的水汽背景谱, 此方法可获得高度近似的水汽背景谱, 但当前缺乏相关自动算法妨碍了其在快速自动消除水汽干扰方面的应用。 为此, 提出一种选取水汽参考谱及拟合水汽背景谱的自动算法, 用于自动差减消除水汽干扰。 在参考谱选取中, 使用污染气体光谱依次减去浓度由低至高的水汽光谱, 依据差减后光谱中水汽吸收峰所在波数的吸光度正负性来选取参考谱。 在水汽背景谱计算中, 基于迭代最小二乘法逐步剔除光谱中受污染物吸收峰干扰的波数, 采用剩余波数上的数据拟合水汽背景谱, 使其与污染气体光谱中水汽吸收峰相一致。 使用水汽背景谱对污染气体光谱进行差减即可消除污染气体光谱中的水汽干扰。 对含有NO2的污染气体光谱进行了差减消除水汽干扰实验, 结果表明所提出的自动算法可快速准确消除水汽干扰; NO2在消除水汽干扰后可由其位于1 629 cm-1的强吸收峰检测, 相比消除水汽干扰前使用不受水汽干扰的位于2 917 cm-1的弱吸收峰检测, 其检出限得到了大幅提高。

关键词: 污染气体检测; 水汽干扰; 傅里叶红外光谱; 最小二乘法
中图分类号:O659.2 文献标志码:A
Automatic Algorithm for Water Vapor Compensation of Gas Spectra Through Iterative Least Square Method
WANG Xin1,2, LÜ Shi-long2, CHEN Xia3
1. College of Mechanical Engineering and Applied Electronics Technology, Beijing University of Technology, Beijing 100124, China
2. State Key Laboratory of Precision Measurement Technology and Instruments, Department of Precision Instruments, Tsinghua University, Beijing 100084, China
3. College of Environmental and Energy Engineering, Beijing University of Technology, Beijing 100124, China
Abstract

Fourier transform infrared spectroscopy (FTIR) enables the simultaneous measurement of multiple pollutants at highspeed and is thus a powerful technique that can be used for the rapid detection and online monitoring of air pollutants. Air pollution monitoring through FTIR is mainly affected by water vapor, which interferes with the measurement of pollutants that share the same spectral region with water vapor, particularly NO X and SO2. One of the approaches for increasing the accuracy of a method for measuring pollutants is removing water vapor interference from a sample spectrum by subtractingthe background water vapor spectrum. This method is greatly useful in analyzing spectra with water vapor interference. Water vapor spectra in different concentrations do not ideally follow the Beer-Lambert’s law because of several nonlinear effects, such as water molecule clusters and instrument line shape function. Thus, a numerically calculated water vapor spectrum by Beer-Lambert’s law presents substantial error. Therefore, the background water vapor spectrum is usually directly measured by the same FTIR instrument that measures the sample spectrum at the same water vapor concentration as that of a sample spectrum. The background water vapor spectrum can be measured by two methods. One is adjusting water vapor concentration in a water vapor/nitrogen mixture toresemble a sample spectrum. This method is time consuming and extremely difficult to use in the field. The other method involves premeasuring multiple water vapor reference spectra with different concentrations and fitting. After sample spectrum measurement, two reference spectra are selected from premeasured water vapor spectra, and a background water vapor spectrum is linearly fitted by these reference spectra. The fitting method can obtain a highly approximated water vapor background spectrum when the water vapor concentrations in the reference spectra are extremely close to the sample spectrum’s water vapor concentrations and the water vapor concentration of sample spectrum is in the middle of two reference spectra. Currently, the fitting method cannot be applied in the rapid automatic elimination of water vapor interference due to lack of automatic algorithm. Thus, this study proposes an automatic algorithm, which includes reference spectrum selection and background spectrum fitting, for the fitting method. In the reference spectrum selection, the sample spectrum deducts the premeasured water vapor spectra from low to high concentrations. Two reference spectra are selected by the criteria according to the number of wavenumbers of negative absorbance in the subtracted spectra. The background water vapor spectrum is fitted through the iterative least square method, which gradually deletes the wavenumbers that are interfered by pollutants, and a background water vapor spectrum, which has an absorption feature that is consistently identical to that of water vapor in the sample spectrum, is linearly fitted by the remaining wavenumbers. The water vapor interference in the sample spectrum is eliminated by subtracting its background water vapor spectrum. In this study, we automatically remove water vapor interference in an air spectrum that contains NO2. Results show that the proposed algorithm accurately remove water vapor interference. After the elimination of water vapor interference, NO2 can be detected by its absorption peak located at 1 629 cm-1. The detection limit of NO2 remarkably improves when compared with detecting by its weaker absorption peak located at 2 917 cm-1 that is not interfered by water vapor.

Keyword: Air pollution monitoring; Water vapor interference; FTIR; Least square method
引 言

我国目前大气污染十分严重, 监测污染源的废气排放可以为污染治理提供重要信息, 对控制大气污染具有重要意义[1, 2, 3, 4]。 傅里叶变换红外光谱技术具有测量速度快、 信噪比高、 分析面广等优点, 在污染源废气快速检测与在线监测中具有巨大的发展潜力[5, 6, 7]。 然而, 废气中的水汽会严重干扰NOX, SO2等重要污染物的检测(如图1所示)。 消除水汽干扰可提高这些污染物的检测精度, 使对污染源废气排放的监测更加准确与全面。

图1 水汽、 二氧化碳、 氮氧化物、 二氧化硫及氟化氢的红外光谱图Fig.1 IR spectra of water vapor, carbon dioxide, NOX, SO2 and HF

水汽是红外光谱检测中的常见干扰物, 至今为止国内外在消除水汽干扰方面已开展了大量的研究工作[5, 8, 9]。 Griffith[5]指出消除水汽干扰的最理想方法是在水汽进入测量系统前就将其除去, 这不仅可以消除光谱中的水汽吸收峰, 还可以避免水汽吸收所造成的光谱能量损失, 提高信噪比。 然而, 现有可完全除净水汽的方法一般都要采取冷凝过程, 而很多气体污染物是水溶性的, 一旦接触到冷凝水便会溶入其中, 并随水一起排出, 影响污染物检测的准确性, 至今尚无不损失水溶性污染物的前提下完全去除气体中水汽的在方法[5]。 检测系统全程高温伴热可避免水汽在系统中冷凝, 防治水溶性污染物损失。 当前降低污染气体中的水汽浓度时一般采取固体干燥剂或化学反应的方式[5], 然而其并不能完全除净污染气体中的水汽, 污染气体光谱中残留的水汽吸收峰仍会远高于气体污染物吸收峰, 需要进一步差减水汽背景谱来消除。 气体检测中水汽背景谱的获取方法目前主要有仪器测量[8, 9]与数值计算两种途径。 其中, 数值计算水汽光谱的误差较大[8, 9], 主要是由于水汽中水分子是以团簇形式存在的[8], 水汽浓度改变时不同大小的团簇在整体中的比例会有变化, 造成水汽光谱随浓度变化时不完全满足Lambert-Beer定律; 此外, 每台光谱仪的仪器线型函数会有一定差异, 理论计算的水汽背景谱只是污染气体光谱中水汽吸收峰的近似值[6]。 污染气体检测中水汽吸收峰远强于污染物吸收峰, 数值计算水汽光谱产生的误差会对严重影响污染物分析, 难以接受[8]。 采用测量待测气体光谱的同一台光谱仪测量与污染气体水汽浓度相同的水汽背景谱可避免上述问题, 其主要有两种方法: 一种是通过调节水汽/氮气混合气中的水汽浓度使其与待测气体中水汽浓度完全一致[5, 9]; 另一种是测量多幅不同浓度下的水汽光谱, 在消除污染气体中水汽干扰时选取与污染气体光谱中水汽浓度较为接近且将其夹在中间的两幅水汽光谱, 线性拟合水汽背景谱[8], 此方法可高度近似地模拟出浓度介于两水汽参考谱之间的水汽光谱。 上述第一种方法需要反复测量、 调节数次水汽浓度来趋近目标, 不仅费工耗时(> 30 min), 且需要不断消耗水汽, 难以在现场检测中实现; 而后一种方法中目前缺乏无需人工干预的自动算法, 使其在快速检测及长时间在线监测中使用困难。

本工作针对线性拟合水汽背景谱差减消除水汽干扰的自动算法进行了研究, 提出一种基于迭代最小二乘拟合的方法, 通过自动选择水汽参考谱, 准确计算与污染气体光谱中水汽吸收峰一致的水汽背景光谱, 实现了对污染气体光谱中水汽干扰的自动差减消除。

1 理 论

本文线性拟合消除水汽干扰的自动算法主要包括两部分: (1)从不同浓度的水汽光谱中选择两幅与污染气体光谱中水汽浓度最为接近且将其夹在中间的水汽参考谱, (2)由这两幅参考谱线性拟合与污染气体光谱中水汽吸收峰一致的水汽背景谱, 污染气体光谱减去水汽背景谱即可消除污染气体光谱中的水汽干扰。

1.1 水汽参考谱的选取

水汽参考谱可由以下步骤自动选取,

第一步: 采取向水汽/氮气混合气中通入氮气来逐渐降低水汽浓度, 在此过程中测量不同浓度下的水汽光谱, 按水汽浓度从小到大对光谱编号;

第二步: 计算水汽光谱中不含吸收峰的2 100~2 200 cm-1区域的标准差;

第三步: 统计浓度最小的水汽光谱中吸光度的波数, 这些波数上的水汽吸收峰的信噪比较高, 将仅基于这些波数上的数据来对水汽参考谱进行选取以及对水汽背景谱进行计算;

第四步: 使用污染气体光谱依次减去浓度由小到大的水汽光谱, 以水汽光谱的编号对所获得的差减谱进行编号;

第五步: 差减谱中, 若一个波数上吸光度为负, 且及其前后各两个波数的吸光度也均为负, 则标记此波数; 按差减谱的编号顺序, 依次统计各差减谱中被标记的波数的数量, 以被标记的波数数量第一次超过波数总数量的5%为分界点, 选取分界点处的水汽光谱及其前一幅水汽光谱作为线性拟合所使用的水汽参考谱。

在理想的不含噪声的情况下, 当污染气体光谱减去比其所含水汽浓度低的水汽光谱时, 差减谱中水汽吸收峰波数处的吸光度应均为正值, 而当污染气体光谱减去比其水汽浓度高的水汽光谱时, 除受污染物吸收峰影响的波数外, 其余水汽吸收峰波数处的吸光度应均为负值; 考虑到水汽吸收峰的光谱分布范围很广, 一般情况下其所在波数中总会有一部分不受污染物吸收峰影响, 因此可基于差减谱中是否存在吸光度为负的波数来比较污染气体光谱与所减去的水汽光谱中的水汽浓度高低。 然而, 现实中水汽对一些波数吸收强烈, 大幅降低了这些波数到达探测器的光能, 导致这些波数上的噪声很大[5], 容易在差减谱中产生“ 假” 的负吸光度波数。 为此, 考虑到噪声的随机分布特性, 采取考察多个连续波数的吸光度正负性, 可避免噪声引起的误判。 例如, 图2为含有100 mg· m-3 NO2的污染气体光谱(水汽浓度约为1 000 mg· m-3)差减14幅水汽光谱(浓度320~3 200 mg· m-3, 连续两幅间的相对浓度差约为20%)后被标记的正吸光度波数的数量图。 前7幅水汽光谱中被标记的波数数量均为0, 光谱8中被标记的波数数量超过40%, 因此选取光谱7(900 mg· m-3)与光谱8(1 100 mg· m-3)作为水汽参考谱, 对污染气体光谱的水汽背景谱进行拟合。

图2 含有NO2的污染气体光谱差减14幅水汽光谱后被标记的正吸光度波数的数量图Fig.2 Number of marked wavenumber in subtraction spectra between NO2/air spectrum and 14 spectra of water vapor

1.2 最小二乘法线性拟合

设污染气体光谱为AS, 用于线性拟合的两幅水汽参考谱分别为水汽浓度低于污染气体的AL, 与高于污染气体的AH, 线性拟合后得到的水汽背景光谱为ARS, 则ARS的线性拟合可表示为

ARS=AL+x(AH-AL)　0≤x≤1(1)

式(1)中x为线性拟合的比例因子。 最小二乘法以拟合后数据与原数据的方差和最小为预期, 被广泛用于各种数据的线性拟合中, 基于最小二乘法对水汽背景谱进行线性拟合可得

x=(AS-AL)T(AH-AL)(AH-AL)T(AH-AL)(5)

将式(2)代入式(1)可得式(3)

ARS=AL+(AS-AL)T(AH-AL)(AH-AL)T(AH-AL)(AH-AL)(3)

需要注意的是, 污染气体光谱中除水汽吸收峰外还包含其他未知污染物的吸收峰, 污染物吸收峰会影响拟合水汽背景谱, 必须剔除光谱中含有污染物吸收峰的波数, 才能使拟合结果准确。

1.3 迭代最小二乘法水汽背景谱拟合

研究中提出一种采用迭代逐渐剔除光谱中未知污染物吸收峰所在波数, 基于最小二乘法线性拟合水汽背景谱, 通过从污染气体光谱中减去水汽背景谱消除水汽干扰的方法, 其流程图如图3所示。 具体步骤为,

第一步: 标记AS-AH中吸光度高于0的波数;

第二步: 对AS中未被标记的波数上的数据采用式(2)与式(3)进行最小二乘拟合, 计算获得x与ARS;

第三步: 计算AS中未被标记的波数的标准差σ s;

第四步: 标记AS-ARS中吸光度绝对值高于3σ s的波数;

第五步: 若在上一步中标记了之前未被标记的波数, 则以上一步中的标记从第二步重新执行; 否则, 以当前的x作为最终的线性拟合比例因子, 通过式(1)拟合整个光谱上的水汽背景谱; 使用污染气体光谱减去水汽背景谱消除水汽干扰。

图3 迭代最小二乘法水汽背景谱拟合流程图Fig.3 Fitting water vapor background spectrum based on iterative least square method

2 结果与讨论

采用所提出的自动水汽差减算法对NO2/空气混合气光谱中的水汽干扰进行了消除实验。 实验中使用美国FTRX公司的Monolithic 20型傅里叶红外光谱仪, 1 cm-1分辨率, 10 m光程的气体池对气体光谱进行测量, 其2 100~2 200 cm-1的噪声峰峰值为0.003。 图4为测量获得的水汽光谱及其噪声谱, 其中噪声谱采取连续测量两次同一水汽的光谱后相减获得。

图4 水汽光谱及其噪声谱Fig.4 Water vapor spectrum and its noise spectrum

从图4中可看出, 水汽谱中吸收峰较强的波数位置的噪声幅度远高于光谱的平均噪声幅度, 这是由于水汽吸收降低了这些波数到达探测器的光强, 导致信噪比下降。 从噪声谱中去除在水汽光谱中吸光度大于0.3的波数位置的数据后重绘的噪声谱如图5所示。

图5 原始噪声谱及去除水汽光谱中吸光度大于0.3的波数位置的数据后重绘的噪声谱Fig.5 Original noise spectrum and modified noise spectrum, which removedthe wavenumber that have absorbance higher than 0.3 in water vapor spectrum

从图5中可以看出, 原噪声谱中个别波数的噪声峰值可达0.017, 而去除掉吸光度高于0.3的波数(占水汽吸收峰波数总数量的6%)后最大噪声峰值降至0.006, 这验证了文献[5]中吸光度较高的波数上存在较大噪声的结论。 因此, 在差减水汽背景谱消除水汽干扰后, 酌情去掉一些原光谱中吸光度较高的波数可有效降低噪声影响。 此外, 去掉吸光度较高波数的另一个好处是可降低分辨率不足导致的非线性误差: 常温常压下气体吸收峰的半高宽由压力展宽主导, 一般为0.1~0.2 cm-1, 远小于常用分辨率; 测量获得的吸收峰的吸光度并非气体吸收峰的真实吸光度, 气体浓度与测量吸光度之间仅在吸光度较低时符合线性关系, 吸光度越高非线性误差越大[5]。

实验中气体前处理采用Nafion干燥管除水, 除水后待测气体露点可降至-20 ℃(合水汽浓度800 mg· m-3)附近; 采用向水汽中通入氮气降低水汽浓度的方法预先测量了320 ~3 200 mg· m-3间的14个浓度的水汽光谱, 浓度间相对差别约为20%。 图6为含有10 mg· m-3 NO2的空气光谱及采用本方法为其自动选取的两幅水汽光谱(各光谱均为原始光谱, 未剔除高吸光度波数), 其中NO2的特征吸收峰区域为1 550~1 660 cm-1。 可以看出, 在NO2的特征吸收峰区域外两张所选水汽光谱将NO2空气光谱夹在了中间。

图6 NO2/空气光谱及所选的两幅水汽参考谱Fig.6 NO2/air spectrum and two selected water vapor reference spectra

使用本方法消除水汽干扰后的光谱如图7所示, 其中在绘制消除水汽干扰后的光谱时剔除了原光谱中吸光度超过0.3的波数位置的数据。

图7 原始NO2/空气光谱及消除水汽干扰后的光谱Fig.7 Spectra of original NO2/air and after compensation of water vapor interference

从图7中可以看出, NO2位于1 629 cm-1附近的特征吸收峰与水汽吸收峰严重重叠, 在消除水汽干扰前无法使用其对NO2进行定量分析。 消除水汽干扰前可使用NO2位于2 917 cm-1的不受水汽干扰的特征吸收峰对其进行定量分析, 但此吸收峰强度仅为1 629 cm-1特征吸收峰的6%; 以污染物吸收峰高于噪声峰值的3倍作为污染物的检出限时, 检测NO2位于2 917 cm-1的吸收峰时的检出限仅为20 mg· m-3。 而图7中在使用本文方法差减消除水汽干扰后, 可明显辨识出NO2的1 629 cm-1特征吸收峰, 水汽干扰消除的效果良好; 根据光谱中此区域噪声最大峰值(0.008)的3倍对检出限进行计算, 可得基于1 629 cm-1吸收峰的NO2检出限为3 mg· m-3, 大幅优于消除水汽干扰前使用2 917 cm-1吸收峰进行检测的检出限。 若在上述消除水汽干扰后没有去除光谱中吸光度超过0.3的波数位置的数据, 则此区域噪声的最大峰值为0.020, 以此计算获得的NO2的检出限为7.5 mg· m-3, 亦优于消除水汽干扰前检测2 917 cm-1吸收峰时的检出限。 采用自动水汽差减算法的计算用时与光谱仪测量光谱的用时相比可以忽略, 单次气体污染物检测的用时小于3 min。

3 结 论

提出了一种自动差减污染气体检测中水汽干扰的算法, 其主要包含两个部分: (1)从预先测量的不同浓度的水汽光谱中自动选取两幅与污染气体光谱中水汽吸收峰最为接近, 且将污染气体光谱中水汽吸收峰夹在中间的水汽光谱, (2)基于这两幅水汽光谱自动线性拟合与污染气体光谱中水汽吸收峰相同的水汽背景谱, 获得水汽背景谱后从污染气体光谱中减去水汽背景谱消除水汽干扰。 研究中使用含有NO2的空气光谱进行了消除水汽干扰实验。 实验结果表明, 所提出的方法可有效拟合水汽背景谱, 消除污染气体光谱中的水汽干扰; 消除水汽干扰后NO2可由其位于水汽区的1 629 cm-1强特征吸收峰进行检测, 其检出限明显优于使用其不受水汽干扰的2917 cm-1弱吸收峰进行检测的检出限。 此外, 与传统手动的水汽差减方法相比本文所提自动差减方法显著提高了水汽差减的速度。

The authors have declared that no competing interests exist.

参考文献
[1] WANG Jun-bo, WANG Xin, WEI Hao-yun, et al(王君博, 王昕, 尉昊赟, 等). Laser Technology(激光技术), 2017, 41(2): 163. [本文引用:1]
[2] Li J, Liu Z L, Liu F D. Optical Express, 2017, 25(4): 4018. [本文引用:1]
[3] Isley C F, Nelson P F, Taylor M P, et al. Science of the Total Environment, 2018, 612: 450. [本文引用:1]
[4] Ma W G, Li Z X, Tan W, et al. Applied Physics Express, 2013, 6: 112501. [本文引用:1]
[5] Griffiths P R, de Haseth J A. Fourier TransformInfrared Spectrometry. 2nd ed. Hoboken, New Jersey, John Wiley & Sons, Inc. , 2007. [本文引用:9]
[6] Bacski Z, Komlosi V, Ollar T, et al. Applied Spectroscopy Reviews, 2006, 41: 77. [本文引用:2]
[7] Wang X, Li Y, Wei H Y, et al. Applied Spectroscopy, 2017, 71(6): 1231. [本文引用:1]
[8] YU Min-xing, WANG Hai-shui, ZHANG Yun-hong(余敏行, 王海水, 张韫宏) Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2017, 37(6): 1673. [本文引用:6]
[9] Willis H A, Van der Mass J H, Miller R G J. Laboratory Methods in Vibration Spectroscopy. 3rd ed. Chichester, John Wiley & Sons, Inc. , 1987. [本文引用:4]