多波段前视红外图像融合的海面杂乱背景平滑方法
仇荣超1, 吕俊伟1, 宫剑1, 娄树理2, 修炳楠1, 马新星1
1. 海军航空大学, 山东 烟台 264001
2. 烟台大学光电信息科学技术学院, 山东 烟台 264000

作者简介: 仇荣超, 1990年生, 海军航空大学博士研究生 e-mail: qrc_smile@sina.com

摘要

为了有效地克服单波段前视红外图像中存在的点状杂波、 条状波浪以及局部高亮区域等随机杂乱背景的影响, 开展了基于多波段前视红外图像融合的海面杂乱背景平滑方法的研究。 充分利用多波段前视红外图像之间的互补性和差异性, 通过融合多波段红外图像的信息, 旨在平滑抑制海面杂乱背景并保持舰船目标的特征信息, 为舰船目标检测提供一幅优质的图像。 首先利用离散小波变换将多波段源图像分解为低频子带和高频子带, 其中, 高频子带主要包含了图像中背景以及舰船目标的细节信息, 低频子带主要包含了图像的亮度以及对比度信息; 对于高频子带, 在基于高频系数取绝对值最大法得到高频融合图像后, 计算每个像素的区域能量来对高频融合图像进行调制以抑制图像背景的细节信息而保留舰船目标的细节信息; 对于低频子带, 通过平均法融合低频子带并利用导向滤波对低频融合图像进行平滑滤波处理; 最后对高频融合图像和低频融合图像进行小波逆变换得到的重构图像即为融合图像。 对实际采集的多波段前视红外图像进行仿真实验, 将该方法与双边滤波、 导向滤波、 梯度最小化、 相对全变分、 双边纹理滤波和滚动滤波共6种图像平滑滤波方法进行对比。 结果表明: 所提出的方法通过有效地融合多波段图像的信息, 将空间域的平滑处理转换到频率域中进行, 能够很好地平滑海面随机杂乱背景并较好地保持舰船目标的结构、 灰度以及对比度信息, 大大增强了舰船目标的可分离性, 其图像平滑性能优于作为对比的6种方法。

关键词: 多波段前视红外图像; 图像平滑; 小波变换; 导向滤波
中图分类号:TP391.4 文献标志码:A
Smoothing Method for Sea Surface Rough Background Based on Multi-Spectral Forward-Looking Infrared Images Fusion
QIU Rong-chao1, LÜ Jun-wei1, GONG Jian1, LOU Shu-li2, XIU Bing-nan1, MA Xin-xing1
1. Naval Aviation University, Yantai 264001, China
2. School of Opto-Electronic Information Science and Technology, Yantai University, Yantai 264000, China
Abstract

For effectively overcoming the influence of rough background including point-clutter, strip wave and highlighted area in single-spectral forward-looking infrared (FLIR) image, a smoothing method for sea surface rough background based on multi-spectral FLIR images fusion is proposed. The method makes full use of the complementarity and difference existing in multi-spectral FLIR images. It aims at combining multiple images into a quality image in which the sea surface rough background is smoothed and the feature information of the ship targets is maintained good. Firstly, the multi-spectral source images were decomposed into low frequency sub-bands and high frequency sub-bands by discrete wavelet transform (DWT). The high frequency sub-band mainly contains the detailed information of the background and the ship target while the low frequency sub-band mainly contains the grayscale information. After obtaining the high frequency fusion image based on the maximum value of the high frequency coefficient, the regional energy of each pixel was calculated to modulate the high frequency fusion image in order to suppress the details of the background and maintain the details of the ship targets simultaneously. Then the low frequency fusion image was obtained by the average strategy and smoothed by the guided filter. Finally, the fusion image was reconstructed based on the high frequency fusion image and the low frequency fusion images by inverse wavelet transform. When the simulation experiment was carried out on the actually collected multi-spectral FLIR images to prove the effectiveness of the proposed method, the proposed method was compared with the other 6 smoothing methods including bilateral filter, guided filter, gradient minimization, relative total variation, bilateral texture filtering and rolling guidance filtering. A large number of experimental results show that the smoothing performance of the proposed method is better than the other 6 methods. The proposed method can effectively smooth the sea surface rough background and maintain the structure, grayscale, contrast of the ship targets, which can greatly enhance the separability of the ship targets. In the future work, the proposed method needs to be optimized to further improve the timeliness.

Keyword: Multi-spectral FLIR images; Image smoothing; Wavelet transform; Guided filter
引 言

基于前视红外图像的海面舰船目标检测技术广泛应用于无人机侦察监视、 红外末制导、 预警探测等领域, 是海天背景下识别、 跟踪以及精确打击海上舰船目标的基础, 长期以来都是国内外学者关注和研究的热点问题。 在面对海面杂波以及海面高亮反射的干扰时, 传统的基于单个红外宽波段的成像探测方式的舰船目标检测性能会受到极大的影响, 如何高效地剔除或降低海面杂波以及海面高亮反射的干扰是基于前视红外图像进行海面舰船目标检测的亟待解决的问题之一。 为此, 我们开展了基于多波段前视红外的成像探测方式进行海面舰船目标检测的研究。 不同红外波段图像的成像时间间隔和成像光谱差异导致了不同波段图像之间存在较大的辐射差异, 对于舰船目标和自然场景, 人造的舰船目标在各个波段均具有较强的红外辐射, 相比之下, 自然场景在各个波段中的红外辐射则存在较大的差异, 利用多波段红外图像源之间的互补性和差异性实现多波段图像的有效融合, 可以平滑抑制海面杂乱背景的影响并且保持图像结构, 尤其是舰船目标的结构, 为更好地检测和分离海面舰船目标提供一幅背景平滑、 舰船目标显著的融合图像。

图像融合是将同一场景下的两幅或多幅图像通过一定的算法融合为满足某种需求的单幅图像[1], 和单幅的源图像相比, 融合图像更加适合后续对目标或者场景进行理解、 分析、 处理[2], 因此, 图像融合在计算机视觉、 遥感、 医学以及军事等诸多领域中得到了广泛应用。 目前, 主流的图像融合算法大多是基于多尺度分析方法的, 较为典型的有拉普拉斯金字塔(laplacian pyramid, LP)[3]、 离散小波变换(discrete wavelet transform, DWT)[4]、 contourlet变换(contourlet transform, CT)[5]、 非下采样contourlet变换(nonsubsampled contourlet transform, NSCT)[6]、 非下采样shearlet变换(nonsubsampled Shearlet transform, NSST)[7]等方法。

图像平滑在计算机视觉和图像处理领域有着广泛的应用和潜力[8], 在许多情况下, 一幅图像中的显著结构和平滑区域就足以表达图像的主要内容, 如何去除图像中的冗余细节部分或者杂乱背景部分而保留明显的结构是图像平滑的核心内容, 为此, 人们陆续提出了许多的图像平滑方法, 已知的图像平滑方法大致可以分为两类, 一类是局部平滑的方法, 例如: 经典的高斯滤波[9]、 双边滤波(bilateral filter, BF)[10]、 导向滤波(guided filter, GF)[11]等; 另一类则是全局平滑的方法, 例如: L0梯度最小化(L0 gradient minimization)[12]、 相对全变分(relative total variation, RTV)[13]、 双边纹理滤波(bilateral texture filter, BTF)[14]、 滚动滤波(rolling guidance filter, RGF)[15]等。 目前众多的图像平滑算法都是在空域中进行, 往往在平滑图像细节和噪声的同时也模糊了图像的结构, 很难在平滑图像细节和保留明显的结构之间达到一种平衡。

基于以上分析, 提出了一种基于DWT实现多波段红外图像融合的方法, DWT的计算复杂度较低且融合效果较好, 通过DWT对多波段图像进行分解得到低频系数和高频系数, 由于绝大多数的噪声、 杂乱背景细节部分都集中在图像的高频系数中, 通过对图像高频系数进行有效的处理和融合来抑制杂乱背景的细节信息, 对于低频信息采用多波段图像平均融合的方法, 并通过导向滤波对低频融合图像进行平滑处理。 研究的目的旨在通过融合多波段图像的信息, 并将图像的平滑处理转换到频率域中进行, 从而更好地抑制图像中的杂乱背景、 消除背景中的细节结构信息, 同时, 较好地保持舰船目标的特征信息。

1 基本理论
1.1 基于DWT的图像融合

基于DWT进行图像融合的基本原理是将各个源图像分别分解到一系列频率信道中, 构建起各个源图像的小波塔型结构, 然后依据融合需要对不同层级的不同频带进行融合处理得到小波金字塔结构, 最后对其进行小波逆变换即可得到融合图像。 图1所示为基于DWT进行图像融合的原理, 对源图像进行1层小波分解得到图像的低频子带LL以及三个方向上的高频子带(水平高频子带HL、 垂直高频子带LH、 对角高频子带HH), 其中, 低频子带包含源图像的主要能量, 比如图像的结构、 亮度、 对比度等信息, 而高频子带包含的则是源图像的细节信息, 比如图像的边缘信息; 依据不同的融合规则对4个子带信息进行处理即可得到融合后的低频和高频子带信息; 对融合后的子带信息进行小波逆变换(inverse discrete wavelet transform, IDWT)处理得到的重构图像即为融合图像。

图1 基于DWT的图像融合原理Fig.1 Principle of image fusion based on DWT

1.2 导向滤波

导向滤波器是一种基于局部线性模型的边缘保持滤波器[16], 可以有效保持图像边缘结构信息, 同时可以避免双边滤波产生的梯度反转效应。 该滤波器包含输入图像I、 导向图G(可以是输入图像I)和输出图像O, 滤波器的数学模型定义为

Oi=akGi+bk iωk(1)

式(1)中, 窗口ω k以像素i为中心, 尺寸为(2r+1)× (2r+1), akbk在窗口ω k中是恒定的线性系数。

通过最小化输出图像O和输入图像I在窗口ω k内的差异来估计系数akbk, 定义窗口ω k内的损失函数E

E(ak, bk)=iωk((akGi+bk-Ii)2+εak2)(2)

式(2)中, ε 是防止ak过大的正则化参数, 通过线性回归最优化目标函数E可以直接求出系数akbk

由于每个像素i都被多个窗口ω k包含, 即每个像素可以由多个线性函数共同描述, 为此, 对Oi的所有可能值取平均值

Oi=a̅iGi+b̅i(3)

式(3)中, a̅i=1|ω|kωiak, b̅i=1|ω|kωibk, |ω|表示窗口ωi中的像素数目。

定义导向滤波计算公式如式(4)

O=Fr, εI, G(4)

式(4)中, F为导向滤波函数, G为导向图像, I为输入图像, O为输出图像, rε 分别表示导向滤波的局部窗口尺寸和正则化参数。

2 基于多波段图像融合的海面杂乱背景平滑方法

本方法的基本步骤为:

(1)通过DWT将多波段源图像分解为低频子带图像和高频子带图像, 从而使得源图像中的低频信息和高频信息能够充分分离;

(2)通过取高频系数绝对值最大法的融合规则, 对各分解层上的高频系数进行融合得到融合高频子带, 再计算区域能量对高频融合子带进行调制;

(3)对于低频图像的融合采用平均策略, 并采用导向滤波对低频融合图像进行平滑处理;

(4)通过对融合后的低频子带和高频子带进行IDWT, 所得的重构图像即为融合后的图像。

图2所示为多波段前视红外图像融合方法的流程图。

图2 多波段前视红外图像融合的流程图Fig.2 Flow chart of multi-spectral FLIR images fusion

2.1 源图像分解

已知多波段前视红外图像MS={Si, i=1, 2, …, N}, 其中N为波段数, 对各个波段图像进行DWT分解, 分解层数为J, 可得到各个波段图像Si的1个低频子带 LiJ和3J个高频子带{ Hi, dj, j=1, 2, …, J, d=1, 2, 3}, 其中上标j表示频带所在的分解层数, 下标i表示对应的源图像序号, d依次表示水平、 垂直、 对角3个分量。

2.2 高频系数融合

源图像经过DWT分解后得到的高频子带图像反映了图像的细节信息, 包含了海面杂乱背景的细节信息和舰船目标的边缘细节信息, 我们在频率域对多波段图像的细节信息进行处理和融合, 目的在于尽最大可能的保留舰船目标的显著结构信息并抑制海面杂乱背景的细节信息。

2.2.1 计算区域能量

对于舰船目标区域、 海面背景以及天空背景, 它们之间的红外辐射特性存在一定的差异, 我们采用区域能量的方式来衡量舰船目标区域、 海面背景和天空背景的信息量。

对于图像中的任意像素点, 其局部特征通常由周围邻近的具有相关性的像素共同作用来表达, 因此, 定义任意像素点局部区域内像素灰度平方的加权累计和表示其区域能量[17], 能量值越大, 表明其局部范围内的信息量越大、 灰度变化越剧烈, 如图2中的区域能量图所示, 通常舰船目标区域内的区域能量值要高于海面背景区域和天空区域。

基于多波段高频系数计算区域能量的基本步骤如下:

(1)分别计算多波段图像MS在第j层3个方向上高频子带图像的均值图像 H̅1j, H̅2j, H̅3j

H̅1j(x, y)=1Ni=1N|Hi, 1j(x, y)|H̅2j(x, y)=1Ni=1N|Hi, 2j(x, y)|H̅3j(x, y)=1Ni=1N|Hi, 3j(x, y)|(5)

(2)寻找任意像素点(x, y)处 H̅1j(x, y), H̅2j(x, y), H̅3j(x, y)中的最大值

H̅j(x, y)=max(H̅1j(x, y),  H̅2j(x, y),  H̅3j(x, y))(6)

(3)计算任意像素点(x, y)处的区域能量Ej(x, y)

Ej(x, y)=s=-33t=-33G(s, t)(Hj(x+s, y+t))2(7)

式(7)中, G为高斯滤波模板, 滤波模板的尺寸为7× 7。

2.2.2 高频系数融合和加权处理

对于多波段图像在第j层的第d个方向上的N个高频子带图像, 我们采用系数绝对值最大法得到融合图像 H˙di。 对于能量系数大的像素点处, 表明该像素附近的信息量更大, 对于融合后的图像, 理应赋予更高的权重, 因此, 我们以区域能量为调制系数对融合图像进行加权处理, 以最大可能地抑制杂乱背景而保留舰船目标。

H˙djx, y=Ejx, yHdjx, y(8)

2.3 低频系数融合

通常低频分量反映了图像的概况, 包含了图像的绝大部分能量, 我们采用平均算法对低频子带图像进行融合

L̅J(x, y)=1Ni=1N|LiJ(x, y)|(9)

若在空域上直接采用导向滤敞算法平滑图像, 在平滑了细节信息的同时极易模糊了明显结构, 故仅利用导向滤波对融合后的低频分量进行平滑。

L̅J=Fr, ε(L̅J,  L̅J)(10)

式(10)中, 选择r=4, ε =0.01进行实验。

2.4 重构融合图像

对于融合后低频系数 L˙j和3J个高频系数 H˙1j, H˙2jH˙3j进行小波逆变换, 得到融合后的图像F

3 结果与讨论

为了验证本方法的有效性和可行性, 对实际采集的中波5波段前视红外海天场景图像进行仿真测试。 波段1到波段5的波长依次为: 3.74.8, 3, 74.1, 4.44.8, 3.73.9和4.654.75 μ m, 图像分辨率为320× 256, 图像灰度级为16 bit。 实验硬件平台为CPU Intel(R) Core(UM) i5, 主频2.3 GHz, 内存8G, 软件平台为Matlab 2014a。

将双边滤波(BF)、 导向滤波(GF)、 L0梯度最小化(L0)、 相对全变分(RTV)、 双边纹理滤波(BTF)、 滚动滤波(RGF)作为对比方法, 参与对比的6种方法均在基于小波变换得到的融合图像上进行, 在此进行小波融合时, 低频系数采用平均融合策略, 高频系数采用取系数绝对值最大的融合策略。 本方法和对比方法均采用Haar基的离散小波变换, 小波分解层数设定为1层。

表1所示为实际采集的多组多波段前视红外图像, 图像中存在着点状杂波、 条状海浪、 高亮区域以及云层等灰度变化较为显著的纹理背景或结构, 给后续舰船目标(尤其是弱小舰船)的检测带来十分不利的影响, 因此, 非常有必要对图像进行平滑处理来抑制图像中的杂乱背景而保留舰船目标结构。 由源图像中看出, 相比于波段1, 3和5, 波段2和4对于海面的高亮反射并不敏感, 自然场景在多个波段图像中存在一定的灰度差异而舰船目标始终保持显著的灰度和结构, 因此, 通过综合多个波段的灰度信息可以降低海面高亮反射以及随机杂乱背景的影响。

表1 多波段前视红外图像 Table 1 Multi-spectral FLIR images

表2所示为各个方法对多波段进行融合并平滑的结果图像, 其中, 融合图像表示的是基于小波变换融合得到的图像, 三维显示表示的是本方法得到的结果图像的三维显示图。 相比于源图像, 小波融合图像要显得更加的平滑, 表明了多波段图像融合的有效性。 在此基础上, 对比各个图像平滑方法的结果图像, 可以看出, BF和BTF的背景平滑效果一般, 而且容易引起局部高亮; GF既平滑了纹理背景也模糊了舰船目标, 甚至导致弱小目标被彻底平滑以致消失; L0的背景平滑效果突出, 但是它也过度平滑了弱小的舰船目标; RTV和RGF既保留了舰船目标也平滑了背景, 但是对于背景的平滑仍然存在不足, 对于条状海浪的平滑并不彻底。 本方法通过将空间域的平滑处理转移到频率域中进行, 在较好地保留了舰船目标结构的同时有效地平滑了海面杂乱背景, 图像平滑性能优于参与对比的6种方法。 仔细观察本方法得到的结果图像的三维显示图可以更加直观的看出本方法的良好性能, 海天背景都十分平滑而舰船目标突出、 结构显著, 为后续的目标检测奠定了良好的基础。

表2 图像融合及各个方法的平滑结果 Table 2 Image fusion and smoothing results for each method

为了进一步客观评价本文提出方法的图像平滑性能, 我们采用标准差和平均梯度来度量图像背景的平滑抑制效果, 采用信号杂波比(signal-to-cultter ratio, SCR)来度量目标结构保持的效果。

表3所示为各方法的平滑效果对比, GF方法和L0方法得到的平滑图像虽然有较低的背景平均梯度, 但是其信杂比SCR较低, 表明两种方法都过度平滑了图像, 损失了舰船目标的信息, RTV方法和RGF方法虽然可以很好的保持舰船目标结构, 但是其对背景图像的平滑效果并不突出, 综合来看, 本方法在较好的保持舰船目标结构的同时能够很好地对图像的杂乱背景进行平滑。

表3 各个方法的平滑效果对比 Table 3 Comparison of smoothing effects for each method
4 结 论

针对前视红外图像中海面背景杂乱的问题, 提出了通过多波段图像融合来平滑抑制海面杂乱背景的方法。 基本思想是利用小波变换在融合多波段图像的同时将图像的平滑处理转移到频率域中进行, 在融合了多波段图像信息的同时避免了在空间域中平滑图像容易导致过度平滑的问题。 实验结果表明, 本方法较好地克服了前视红外图像中海面随机杂乱背景的不利因素, 综合多波段图像信息得到了一幅背景平滑、 舰船目标结构突出的图像。 本方法在Matlab环境下平均耗时约0.23 s。 在未来的工作中, 我们将从算法优化、 GPU加速等方面进一步提高方法的时效性。 此外, 我们还将深入研究图像平滑滤波技术的客观评价指标, 以便于客观地评价平滑滤波技术的性能。

参考文献
[1] Wang R, Du L. International Journal of Remote Sensing, 2014, 35(5): 1640. [本文引用:1]
[2] GAO Xue-qin, LIU Gang, XIAO Gang, et al(高雪琴, 刘刚, 肖刚, ). Acta Automatica Sinica(自动化学报), 2019, doi: DOI:10.16383/j.aas.2018.C180188. [本文引用:1]
[3] Ancuti C O, Ancuti C, De Vleeschouwer C, et al. IEEE Transactions on Image Processing, 2016, (1): 65. [本文引用:1]
[4] YE Ming, TANG Dun-bing(叶明, 唐敦兵). Journal of Electronic Measurement and Instrumentation(电子测量与仪器学报), 2015, 29(9): 1328. [本文引用:1]
[5] ZHU Dan-dan, WANG Bin, YANG Yi, etal(朱丹丹, 王斌, 杨奕, ). Acta Metrologica Sinica(计量学报), 2019, 40(1): 25. [本文引用:1]
[6] CHEN Zhen, YANG Xiao-ping, ZHANG Cong-xuan, et al(陈震, 杨小平, 张聪炫, ). Chinese Journal of Scientific Instrument(仪器仪表学报), 2016, 37(4): 860. [本文引用:1]
[7] LIU Zhan-wen, FENG Yan, WEI Bao-guo, et al(刘战文, 冯燕, 卫保国, ). Journal of Optoelectronics·Laser(光电子·激光), 2018, 29(4): 423. [本文引用:1]
[8] LIU Chun-xiao, SHAO Huan, CHEN Yan-jie, et al(刘春晓, 邵欢, 陈艳杰, ). Journal of Computer-Aided Design & Computer Graphics(计算机辅助设计与图形学学报), 2018, 30(5), 134. [本文引用:1]
[9] WANG Mi, HE Lu-xiao, CHENG Yu-feng, et al(王密, 何鲁晓, 程宇峰, ). Acta Geodaetica et Cartographica Sinica(测绘学报), 2018, 47(1): 82. [本文引用:1]
[10] LIU Feng, SHEN Tong-sheng, MA Xin-xing(刘峰, 沈同圣, 马新星). Chinese Journal of Scientific Instrument(仪器仪表学报), 2017, 38(4): 1005. [本文引用:1]
[11] Qu J, Li Y, Dong W. Journal of Visual Communication & Image Representation, 2018, 52: 151. [本文引用:1]
[12] PANG Xue-shun, WANG Huai-bin(庞学舜, 王怀彬). Journal of Tianjin University of Technology(天津理工大学学报), 2016, 32(1): 35. [本文引用:1]
[13] Xu L, Yan Q, Xia Y, et al. ACM Transactions on Graphics, 2012, 31(6): 1. [本文引用:1]
[14] Cho H, Lee H, Kang H, et al. ACM Transactions on Graphics, 2014, 33(4): 1. [本文引用:1]
[15] Zhang Q, Shen X Y, Xu L, et al. Rolling Guidance Filter European Conference on Computer Vision, 2014. 815. [本文引用:1]
[16] He K, Sun J, Tang X. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(6): 1397. [本文引用:1]
[17] WANG Yu-mei, CHEN Dai-mei, ZHAO Gen-bao(汪玉美, 陈代梅, 赵根保). Laser & Optoelectronics Progress(激光与光电子学进展), 2017, 54(1): 104. [本文引用:1]