基于引导滤波的自适应红外图像增强改进算法

引用本文

汪子君, 罗渊贻, 蒋尚志, 熊楠菲, 万李涛. 基于引导滤波的自适应红外图像增强改进算法[J]. 光谱学与光谱分析, 2020,40(11): 3463-3467.
WANG Zi-jun, LUO Yuan-yi, JIANG Shang-zhi, XIONG Nan-fei, WAN Li-tao. An Improved Algorithm for Adaptive Infrared Image Enhancement Based on Guided Filtering[J]. Spectroscopy and Spectral Analysis, 2020,40(11): 3463-3467.
Doi:10.3964/j.issn.1000-0593(2020)11-3463-05 复制到剪切板

Permissions

《光谱学与光谱分析》期刊社所有

基于引导滤波的自适应红外图像增强改进算法

汪子君^1,², 罗渊贻^1,^2,^*, 蒋尚志^1,², 熊楠菲^1,², 万李涛^1,²

1.电子科技大学航空航天学院, 四川成都 611731

2.飞行器集群智能感知协同控制四川省重点实验室, 四川成都 611731

*通讯联系人 e-mail: 1339833950@qq.com

作者简介: 汪子君, 1981年生, 电子科技大学航空航天学院副研究员 e-mail: wangzijun@uestc.edu.cn

收稿日期: 2019-09-12

基金: 国家自然科学基金项目(61905038)资助

摘要

在红外图像处理中, 细节增强和噪声抑制尤为重要, 重点在于将高动态范围的红外图像压缩至低动态范围的同时保留细节信息、抑制图像噪声。以引导滤波的自适应红外图像增强算法为基础, 提出一种基于引导滤波的自适应红外图像增强改进算法。通过引导滤波平滑初始输入图像, 将初始输入图像与平滑后的图像做差获得包含大动态温度信息的基础层图像和小动态温度信息的细节层图像, 分别对基础层图像、细节层图像进行压缩处理和噪声抑制; 以不同的融合比例将处理后的基础层图像、细节层图像进行融合获得输出图像。为了减少算法运算时间、突出图像细节信息的同时减小细节层噪声对输出图像的影响且达到自适应场景的效果, 利用可用于筛选有效灰度值的自适应门限参数和直方图分布信息设计出一维压缩数组对图像进行压缩, 并将图像融合中的定值比例系数更改为自适应融合比例系数。通过直方图分布信息中的最大值、最小值确定自适应门限参数, 同时利用直方图分布信息设计出一维压缩数组对图像进行压缩; 获取直方图中有效灰度值个数, 通过有效灰度值个数与总灰度值个数之间的比值对图像的场景信息进行判断, 根据不同的场景信息确定基础层图像与细节层图像的自适应融合比例系数, 实现图像融合。实验结果分别与直方图均衡算法、基于引导滤波的高动态红外图像增强算法、基于引导滤波的自适应红外图像增强算法进行比较, 选用四种不同的场景从主观、客观两种层面进行分析。对比结果从主观分析得出该算法处理后的图像可突出细节轮廓信息、减少细节层噪声对融合后输出图像的影响。从客观评价得出该算法在四种场景下的平均计算时间为0.753 5 s, 低于对比算法计算时间; 并且使基础层图像和细节层图像的融合比例系数达到自适应场景的效果。

关键词: 高动态红外图像; 自适应; 图像增强

中图分类号:TN219 文献标志码:A

An Improved Algorithm for Adaptive Infrared Image Enhancement Based on Guided Filtering

WANG Zi-jun^1,², LUO Yuan-yi^1,^2,^*, JIANG Shang-zhi^1,², XIONG Nan-fei^1,², WAN Li-tao^1,²

1. School of Aeronautics and Astronautics, University of Electronic and Technology of China, Chengdu 611731, China

2. Aircraft Swarm Intelligent Sensing and Cooperative Control Key Laboratory of Sichuan Province, Chengdu 611731, China

*Corresponding author

Abstract

Detail enhancement and noise suppression are particularly important in infrared image processing, and the focus is to compress the infrared from the high to the low dynamic range while preserving details and suppressing noise. In this study, with an improved adaptive detail enhancement algorithm for infrared images based on guided filtering (AGF&DDE) as the foundation, an improved algorithm for adaptive infrared image enhancement based on guided filtering was proposed. The input image was smoothed by a guided image filter and separated into a base layer image and a detail layer image that contained large and small dynamic temperature information, respectively. Then, the base layer image and the detail layer image were compressed, noise-suppressed and finally fused with different fusion ratios to form the output image. To shorten the algorithm operation time, we highlighted the image detail information while suppressing the noise of the detail layer. The adaptive threshold parameters that can be used to screen effective gray values through the maximum and minimum values of histogram distribution information were determined, and used together with histogram distribution to design a one-dimensional compression array. The grayscale value of each pixel in the 16 bit base layer image was mapped to a range of 8bit according to the array. The effective number of grey value in the histogram was estimated, and the image scene information was judged by the ratio between the number of effective gray values to the total number of gray values. According to the different scenarios, The adaptive fusion ratio was determined, and the base layer image and the detail layer image were fused with different scale coefficients to form an 8bit output image. The experimental results were compared with the histogram equalization algorithm, the high-dynamic infrared image enhancement algorithm based on guided filtering, and the adaptive infrared image enhancement algorithm based on guided filtering. Four different scenarios were selected for analysis from subjective and objective levels. The comparison showed the image processed by this algorithm could highlight the detail contour information, reduce the influence of detail noise on the fused output image, and present a better visual effect. According to the objective evaluation, the average computing time of this algorithm in four scenarios was 0.753 5 s, which was lower compared with other algorithms. Moreover, the fusion ratio coefficient of the base layer image and the detail layer image achieved the effect of the adaptive scene.

Keyword: High dynamic range infrared image; Adaptive; Image enhancement

文章图片

引言

红外图像作为红外技术和成像技术结合的产物, 在工业、军事、民用等领域被广泛使用。由于红外波辐射波长较长、易受大气热辐射等因素影响, 使得红外图像空间分辨力较低, 图像细节纹理较模糊。因此, 如何提升红外图像的对比度, 突出细节信息就显得十分重要。传统的图像增强算法通常以直方图均衡为基础, 该算法是为解决图像的灰度分布集中、对比度差的问题而提出, 使图像的直方图达到“ 最平坦” , 却使一些灰度相近、分布较少的图像细节信息被抹去。例如, 有限对比度的自适应直方图均衡^[1], 动态直方图均衡^[2], 有限范围的双直方图均衡^[3]等等。这些算法能有效的增强图像对比度, 但一些纹理信息会因为对细节的忽视而变得模糊。

各国学者提出了多种红外图像细节增强算法。 2009年Branchitta和Francesco提出了基于双边滤波的动态范围分割算法^[4]。在此基础上, 各国学者提出了与之相似的滤波分层框架算法, 使得这种分层模式的算法在红外图像细节增强方面更为普遍^[5]。在基于双边滤波的动态范围分割算法中, 双边滤波将原始图像分为包含低频信息的基础层分量和包含高频信息的细节层分量, 通过压缩算法和噪声抑制分别对两层分量进行处理, 选择合适的融合比例将两层分量的图像进行融合。分层模式的算法处理, 在保留红外图像细节信息的同时增强了红外图像的对比度。但双边滤波器在图像灰度变化比较剧烈的边缘易出现梯度翻转现象, 图像将出现光晕伪像^[4]。为了消除梯度翻转现象并减少整体算法运算时间, Liu等在2014年提出了一种基于引导滤波的DDE算法(detail enhancement for high-dynamic-range infrared images based on guided image filter, GF& DDE)。算法采用引导滤波代替双边滤波, 既保留图像细节信息又避免梯度翻转现象。由于算法采用设定参数的方法, 场景自适应性较差。因此, 为了实现自适应场景的参数调节, Zhou等在2018年提出了一种基于引导滤波的自适应红外图像细节增强算法(an improved adaptive detail enhancement algorithm for infrared images based on guided image filter, AGF& DDE)^[6], 通过直方图分布信息为基础层图像确定自适应门限, 去除图像中无效灰度值, 使得基础层图像能更好的显示有效信息。

AGF& DDE算法在GF& DDE算法的基础上对门限参数进行了场景自适应调节。但基础层图像处理过程中, 门限的二值化和基础层压缩增加了算法的运算时间。此外, 基础层图像与细节层图像融合时, AGF& DDE算法中图像的基础层与细节层融合比例为定值, 对于复杂地面场景红外图像, 可突出细节、抑制噪声, 但对于含有大面积天空背景的红外图像, 算法处理后的红外图像包含大量噪声干扰。

本文提出一种基于引导滤波的自适应红外图像增强改进算法, 在满足自适应场景图像增强的情况下减少算法运算时间。在红外图像基础层处理方面, 为了满足显示设备或快速处理的8位数据宽度要求, 根据直方图分布和有效灰度值个数计算出压缩数组, 将16 bit图像压缩至8bit图像; 红外图像融合方面, 通过有效灰度值个数计算融合比例, 达到自适应场景的效果。

1 算法简介

引导滤波可平滑输出图像, 将图像分为基础层以及细节层, 并能保存细节信息、抑制噪声^[7]。本文采用引导滤波算法将原始红外图像分为基础层图像和细节层图像

$IM G_{base} = T_{guide} \times IM G_{original}$ (1)

$IM G_{detail} = IM G_{original} - IM G_{base}$ (2)

式(1)和式(2)中, T_guide为引导图像滤波传递函数, IMG_original代表原始图像, IMG_base为基础层图像, IMG_detail为细节层图像。

1.1 基础层图像处理

基础层图像包含原始图像较为丰富的场景信息, 因此需增强基础层图像的对比度^[6]。二值化直方图门限TH, 如式(3)所示。

$TH = (s_{\max} - s_{\min}) \times β + s_{\min}$ (3)

式(3)中, s_max和s_min分别为基础层图像直方图中的最大值与最小值。 β 是范围为0到1的参数, 决定图像中无效像素值的比例。通常认为95%置信区间内的灰度值为有效的^[8], 其余5%灰度值为无效, 因此式(3)中的β 值设置为0.05。

在AGF& DDE中, 根据门限TH进行直方图二值化处理, 处理后的二值化直方图可表述为式(4)

$H (K) = \{\begin{array}{l} 1, & n_{k} \geq TH \\ 0, & n_{k} < TH \end{array}$ (4)

式(4)中, H(K)为门限TH二值化后的统计直方图, n_k表示第k个灰度值所包含的像素点个数。在得到二值化直方图后, AGF& DDE算法中的基础层输出图像可以表示为

$I_{bp} = \{\begin{array}{l} 0, & k = 0 \\ \frac{\overset{k - 1}{\sum_{l = 1}} H (l)}{\overset{n_{valid}}{\sum_{l = 1}} H (l)} \times n_{valid}, & n_{valid} < 50 \\ \frac{\overset{k - 1}{\sum_{l = 1}} H (l)}{\overset{n_{valid}}{\sum_{l = 1}} H (l)} \times 255 & other \end{array}$ (5)

式(5)中, I_bp为处理后的基础层图像, n_valid代表二值化直方图中值为“ 1” 的灰度值个数总和。

如式(4)和式(5)所示, AGF& DDE算法通过计算门限TH, 将直方图进行二值化处理, 对基础层图像进行动态压缩。此算法有效的增强了基础层图像的对比度, 但在根据二值化直方图分布进行基础层图像动态压缩的过程中, 每将一个16 bit图像中像素点灰度值n映射到0~255之间时, 都需对二值化直方图进行一次从1~n的加法, 增加了算法的计算量。其次, 当有效灰度值个数低于50时, 此算法会将图像的整体灰度放置在[1, 50]范围内, 使得图像十分暗淡。本文采用不同的数学方式对其基础层算法进行表达。根据直方图分布以及门限大小得出一维数组P(k), 表达式如式(6)所示

$\begin{array}{l} P (k) = \{\begin{array}{l} 0, & k = 0 \\ P (k - 1) + 1, & n_{k} \geq TH \\ P (k - 1), & n_{k} < TH \end{array} \\ (0 \leq k \leq 2^{M} - 1) \end{array}$ (6)

式(6)中, P(k)是值为0~n_valid的一维数组, 分别对应直方图中0~2^M-1个灰度级数, 在已知有效灰度值n_valid的数值和映射数组的情况下, 可将16 bit红外图像映射为8 bit红外图像。基础层图像的压缩算法如式(7)所示

$I_{bp} = \{\begin{array}{l} P (l) \times \frac{255}{n_{valid} (0 \leq l \leq 2^{M} - 1)} & n_{valid} \geq 150 \\ P (l) + \frac{255 - n_{valid}}{2} & n_{valid} < 150 \end{array}$ (7)

式(7)中, I_bp为处理后的基础层输出图像, l为原图像的像素值, 范围为0~2^M-1。当有效灰度值个数小于150时, 本算法会将原图像灰度范围压缩至[(255-n_valid)/2, 255-(255-n_valid)/2], 可提升红外图像整体视觉效果。

1.2 细节层图像处理

细节层图像中包含着大量的细节和噪声, 处理的重点在噪声的抑制以及细节信息的增强。 AGF& DDE算法与BF& DDE算法在细节层图像处理方面较为相似, 皆采用了自适应增益控制的方法对细节层图像进行增强。 AGF& DDE算法采用了引导滤波的线性系数而BF& DDE算法采用了滤波核权值系数, AGF& DDE算法细节层图像处理方法如式(8)所示。

$I_{dp} (i, j) = (G_{\max} a {(i, j)}_{avg} + G_{\min}) \times IM G_{detail} (i, j)$ (8)

式(8)中, I_dp为处理后的细节层图像。 G_max和G_min可线性地将增益映射为一个适当的值, 分别设置G_max=5和G_min=2.5。 a(i, j)_avg代表着引导滤波的线性系数。对于图像边缘或其他细节, a(i, j)_avg接近1。

1.3 图像融合

AGF& DDE算法将基础层分量和细节层分量进行不同比例融合, 如式(9)所示

$IM G_{out} = (1 - p) I_{bp} + p I_{dp}$ (9)

式(9)中, IMG_out为融合后的输出图像, I_bp和I_dp分别为基础层分量以及细节层分量, p为融合系数, 范围为(0, 1)。在AGF& DDE算法中, 为平衡细节增强效果和视觉效果, 设置p=0.3, 若在大面积的天空背景下, 选择融合系数p=0.3会导致噪声突出, 使整幅图像呈现大量噪声和较差的主观视觉效果。针对此问题, 对基础层图像的融合系数做出了改进, 如式(10)所示。

$k_{b} = α + {(\frac{n_{valid}}{65535 \times 0.95})}^{σ}$ (10)

式(10)中, k_b为基础层分量的融合系数。 α 为补偿增值, 因基础层中含有重要的场景信息, 需调整α 值以增大基础层在融合中的比例, 减少细节层噪声的影响。 σ 为固定指数, 其作用在于控制不同场景下基础层融合系数与细节层融合系数的的差值范围。在试验中发现, 当背景噪声对图像的影响较大时, 图像的细节层融合系数控制在0.1~0.2之间效果更佳, 背景噪声对图像的影响较小时, 则融合系数控制在0.2~0.4之间效果更佳。因此, 将α 设置为0.12, σ 设置为0.1。 n_valid为基础层直方图分布中的有效灰度值个数总和。基础层图像动态压缩的过程中, 所包含的有效灰度值个数n_valid已被确定, 因此我们可以通过有效灰度值个数占整个灰度级的比例来对图像的基础层融合系数k_b进行确定: 比例越低说明灰度范围窄, 图像中景物单一, 可能是纯天空或者纯地面; 若比例越大, 说明灰度范围广且图像视野宽阔, 可能是一处既包含天空也包含地面的远景。在得到基础层融合系数后, 细节层分量的融合系数可表示为式(11)所示。

$k_{d} = 1 - k_{b}$ (11)

式(11)中, k_d为细节层分量融合系数。

基础层图像和细节层图像的融合系数分别得到确定后, 融合后的输出图像可以表示为式(12)所示。

$IM G_{out} = k_{b} I_{bp} + k_{d} I_{dp}$ (12)

2 实验部分

用直方图均衡算法(HE)^[9], GF& DDE算法^[7], AGF& DDE算法^[6], 分别对4幅384× 288的16 bit红外图像进行增强处理, 从图像的主观效果以及客观算法进行评价。

2.1 主观分析

主观分析中, 算法处理结果以实际图像列举, 可从主观视觉上对图像直观判断。选用的4幅场景图像分别为: 图1所示建筑物场景, 此种场景包含边缘信息多, 细节层图像包含的噪声不易对整幅图像的视觉效果产生过大的影响。图2所示地面、天空场景, 包含丰富的细节信息, 属于复杂场颈图像。图3所示地面场景, 包含地面物体, 直方图分布集中, 有效灰度值个数少。图4所示为天地混合场景, 此场景的直方图分布较广, 大部分场景为均匀背景, 易受到噪声干扰。

	Figure Option View Download New Window
	图1 建筑物场景图像增强处理结果 (a): HE; (b): GF& DDE; (c): AGF& DDE; (d): 本算法Fig.1 Results of image enhancement on the building scene (a): HE; (b): GF& DDE; (c): AGF& DDE; (d): Proposed

	Figure Option View Download New Window
	图2 地面天空场景图像增强处理结果 (a): HE; (b): GF& DDE; (c): AGF& DDE; (d): 本算法Fig.2 Results of image enhancement on the ground and sky scene (a): HE; (b): GF& DDE; (c): AGF& DDE; (d): Proposed

	Figure Option View Download New Window
	图3 地面场景图像增强处理结果 (a): HE; (b): GF& DDE; (c): AGF& DDE; (d): 本算法Fig.3 Results of image enhancement on the ground scene (a): HE; (b): GF& DDE; (c): AGF& DDE; (d): Proposed

	Figure Option View Download New Window
	图4 天地混合场景图像增强处理结果 (a): HE; (b): GF& DDE; (c): AGF& DDE; (d): 本算法Fig.4 Results of image enhancement on the sky and ground mixed scene (a): HE; (b): GF& DDE; (c): AGF& DDE; (d): Proposed

从以上对比图像中我们可以发现, 图1(a)左侧红色区域内, 过度曝光导致该处的细节信息不突出, 图1(b)— (d)中, 此处细节信息显示较好, 图1(d)噪声干扰小, 细节显示清晰, 给人更好的视觉效果。图2对比图像中, 图2(a)中HE算法处理后的图像显得更为真实, 图2(c)AGF& DDE与图2(b)GF& DDE处理结果在细节方面较突出, 可较好的突出红色区域内云朵的轮廓, 但由于细节层融合比例过大, 使得图像较多的显示细节信息导致图像失真较为严重, 图2(d)中, 本算法较好的显示出细节信息, 并还原了实际场景。图3(a)细节表现不明显。图3(c)中细节轮廓明显, 但过于黯淡。而图3(b)和(d)细节明显且视图明亮。图4(a)中HE算法处理后的图像没有受到噪声影响, 但其细节增强效果不明显, 红色区域内的细节信息十分暗淡, 从直观上看很难发现红色区域内的竖直电杆。而图4(b)和(c)的信息突出较为明显, 但均受到了不同程度的噪声干扰, 使得某些细节被噪声掩盖, 主观视觉效果较差。图4(d)选择自适应的细节层融合比例, 融合后的图像极少受到噪声干扰, 且较好的突出图像中的细节信息。

2.2 客观分析

通过平均梯度参数和运算时间对4种算法结果进行客观评价。图像的平均梯度表达如式(13)所示。

$\begin{array}{l} G_{m} = \frac{1}{RL} \overset{R}{\sum_{i = 2}} \overset{L}{\sum_{j = 2}} (| f (i, j) - f (i - 1, j) | + \\ | f (i, j) - f (i, j - 1) |) / 2 \end{array}$ (13)

式(13)中, G_m代表平均梯度, f(i, j)为对应坐标位置上像素的灰度值。平均梯度体现了图像弱小细节的变化速率, 反映了图像细节信息的呈现能力。 4种算法对4种场景红外图像处理后的平均梯度数值如表1所示。

表1 4种算法处理后红外图像的平均梯度 Table 1 Average gradient of infrared images processed by four algorithms

由于本算法采取自适应的融合系数, 因此当细节层图像噪声过大时, 细节层会占据较小的融合比例, 使得融合后的图像受到噪声影响较小。在噪声影响较小的情况下, 本算法的平均梯度小于GF算法和AGF算法。

由文献[6]可知, AGF算法计算时间优于GF算法, 故仅与AGF算法进行运算时间比较。对比结果如表2所示。

表2 2种算法的运算时间(s) Table 2 Operation time of two algorithms (s)

本算法利用创建压缩数组的方式, 将高动态范围的灰度值通过压缩数组与低动态范围的灰度值相对应, 在达到压缩动态范围效果的同时减少了运算时间。

3 结论

提出了一种基于引导滤波的自适应红外图像增强改进算法。采用引导滤波将原始红外图像分为基础层分量和细节层分量, 通过直方图分布信息计算出自适应门限, 利用自适应门限值筛选出有效灰度值并创建一维压缩数组对基础层图像进行压缩, 将16 bit基础层图像压缩为8bit基础图像。通过有效灰度值个数对图像进行一个大致场景的判断, 并根据有效灰度值个数占总灰度值个数的比值获取自适应融合系数, 达到在不同场景下抑制噪声和突出细节信息的效果。实验结果表明, 本算法能有效且自适应的处理多种场景下的红外图像。与其他算法进行对比显示, 本算法可降低运算时间, 并且在抑制细节层噪声的同时保留图像细节信息, 达到更好的视觉效果, 可实现多场景下自适应红外图像增强。

参考文献

文献列表

[1]	Zuiderveld K. Contrast Limited Adaptive Histogram Equalization(in Graphics Gems Ⅳ). Academic Press Professional, Inc. 1994. 474. [本文引用:1]
[2]	Ibrahim H, Kong N S P. IEEE Transactions on Consumer Electronics, 2007, 53(4): 1752. [本文引用:1]
[3]	Zuo C, Chen Q, Sui X B. Optik, 2013, 124(5): 425. [本文引用:1]
[4]	Francesco B, Marco D, Giovanni C, et al. Optical Engineering, 2009, 48(9): 096401. [本文引用:2]
[5]	Zuo C, Chen Q, Liu N, et al. Optical Engineering, 2011, 50(12): 895. [本文引用:1]
[6]	Zhou B, Luo Y, Yang M, et al. Journal of Modern Optics, 2019, 66(1): 33. [本文引用:4]
[7]	Liu N, Zhao D. Infrared Physics & Technology, 2014, 67: 138. [本文引用:2]
[8]	Hoel P G. Introduction to Mathematical Statistics. 2nd ed. New York: John Wiley & Sons, 1954. [本文引用:1]
[9]	Kim Y T. IEEE Transactions on Consumer Electronics, 1997, 43(1): 1. [本文引用:1]

1994

0.0

... 例如, 有限对比度的自适应直方图均衡^[1], 动态直方图均衡^[2], 有限范围的双直方图均衡^[3]等等 ...

2007

0.0

... 例如, 有限对比度的自适应直方图均衡^[1], 动态直方图均衡^[2], 有限范围的双直方图均衡^[3]等等 ...

2013

0.0

... 例如, 有限对比度的自适应直方图均衡^[1], 动态直方图均衡^[2], 有限范围的双直方图均衡^[3]等等 ...

2009

0.0

... 2009年Branchitta和Francesco提出了基于双边滤波的动态范围分割算法^[4] ...

... 但双边滤波器在图像灰度变化比较剧烈的边缘易出现梯度翻转现象, 图像将出现光晕伪像^[4] ...

2011

0.0

... 在此基础上, 各国学者提出了与之相似的滤波分层框架算法, 使得这种分层模式的算法在红外图像细节增强方面更为普遍^[5] ...

2019

0.0

... DDE)^[6], 通过直方图分布信息为基础层图像确定自适应门限, 去除图像中无效灰度值, 使得基础层图像能更好的显示有效信息 ...

... 1 基础层图像处理基础层图像包含原始图像较为丰富的场景信息, 因此需增强基础层图像的对比度^[6] ...

... DDE算法^[6], 分别对4幅384#cod#x000D7 ...

... 由文献[6]可知, AGF算法计算时间优于GF算法, 故仅与AGF算法进行运算时间比较 ...

2014

0.0

... 1 算法简介引导滤波可平滑输出图像, 将图像分为基础层以及细节层, 并能保存细节信息、抑制噪声^[7] ...

... DDE算法^[7], AGF#cod#x00026 ...

1954

0.0

... 通常认为95%置信区间内的灰度值为有效的^[8], 其余5%灰度值为无效, 因此式(3)中的#cod#x003b2 ...

1997

0.0

... 2 实验部分用直方图均衡算法(HE)^[9], GF#cod#x00026 ...