一种边缘和过渡区域相结合的红外目标提取方法
岳江1, 王昭昕1, 韩静2, 柏连发2, 栗保明1,*
1. 南京理工大学瞬态物理国家重点实验室, 江苏 南京 210094
2. 南京理工大学电子工程与光电技术学院, 江苏 南京 210094

作者简介: 岳 江, 1986年生, 南京理工大学瞬态物理国家重点实验室讲师 e-mail: 190281182@qq.com

摘要

传统的基于过渡区域提取的目标分割算法存在噪声敏感问题, 从而会影响到过渡区域提取的准确性。 与可见光图像相比, 红外图像特别是红外光谱图像, 受到探测器无法消除的热噪声影响, 传统的目标提取算法准确率普遍降低。 此外, 虽然通过边缘能够精确定位目标, 但是无法获取目标完整边缘。 而过渡区域的灰度分布特点是可以解决基于边缘的目标提取难题。 因此为了提高目标提取的抗噪性和准确性, 提出了一种将过渡区域提取与边缘检测结合的自适应红外目标提取方法。 首先利用像元空间邻域信息构造密度, 以此有效降低噪声影响和获取图像边缘信息。 然后基于像元密度信息最大分离目标边缘与背景, 得到有效边缘和过渡区域, 进而以此生长出目标。 将边缘与过渡区域结合, 可以很好地抑制噪声, 多幅复杂场景实验评估了该方法的抗噪性能, 结果显示, 提出的方法在噪声的干扰下能较好的提取目标。

关键词: 过渡区域; 边缘; 像元密度; 抗噪性; 目标提取; 红外图像
中图分类号:TP391.4 文献标志码:A
A Target Extraction Method of Infrared Image Based on Edge and Transition Region
YUE Jiang1, WANG Zhao-xin1, HAN Jing2, BAI Lian-fa2, LI Bao-ming1,*
1. National Key Laboratory of Transient Physics, Nanjing University of Science and Technology, Nanjing 210094, China
2. School of Electronic Engineering and Optoelectronic Technology, Nanjing University of Science and Technology, Nanjing 210094, China
Abstract

Traditional target segmentation based on transition region is sensitive to noise, which can affect the accuracy of the extraction. Compared with the visible image, the thermal noise caused by the detector in infrared image would degrade the detection rate of traditional target extraction method. In addition, although the target can be accurately positioned through the edge, it is impossible to obtain the complete edge of the target. However, the gray distribution of the transition region can solve the problem of edge. Therefore, in order to improve its anti-noise and target extraction performance, an adaptive target extraction method of infrared image utilizing edge and transition region is proposed. First of all, the pixel’s density with inform of spatial neighbors is calculated to reduce noise and obtain edges. After that, the separation between object and background is made to get transition region with edge, which is utilized to grow up the whole object. Finally, performance of anti-noise is estimated by extracting objects in several complex infrared scenes. The results show that the proposed algorithm is effective under man-added noise conditions.

Keyword: Transition region; Edge; Pixel’s density;; Performance of anti-noise; Target extraction; Infrared Image
引 言

目标提取是将图像中具有某些特征的兴趣区域分割出来, 这些特征可以是灰度、 颜色、 纹理或其他统计特征等, 是机器视觉中目标识别、 跟踪的重要前提。 目前已有多种目标提取方法, 例如基于阈值[1, 2]、 基于图论[3]和活动轮廓[4]等。 另外, 图像分割中前景(foreground)和背景(background)对应了目标提取的目标和背景, 所以图像分割既是目标提取的基础, 也是目标提取最直接的手段。

过渡区域, 是介于目标和背景之间面积不为零的特殊区域, 兼具边界和区域特征, 通常包含的灰度区间处于目标和背景之间。 由于其物理意义清晰且迎合了目标分割的思想, 在图像分割中得到重要应用[5, 6]。 过渡区域的提取方式包含很多种, 比如利用有效平均梯度和灰度剪切实现了自动阈值选择的图像分割[7], 使用光强加权梯度算子来消除梯度算子产生的额外干扰和图像原有的干扰因素[8]。 然而梯度算子容易受到噪声影响, 从而会影响到过渡区域提取的准确性[6]。 因此为了对抗噪声, 提出了基于模糊方差的过渡区域提取算法[5], 基于局部复杂度的过渡区域提取算法[6], 以及基于图像模糊熵邻域非一致性的过渡区提取算法[9]。 虽然上述三种算法在噪声处理上有了较好的进展, 但是依然没摆脱人为设定阈值提取的限制, 无法做到完全自适应。

另一大类传统目标提取算法使用的是边缘(edge), 与过渡区域相似, 也处于图像中变化最剧烈的区域。 与过渡区域相比, 边缘的优势在于能够精确定位目标, 难点在于无法获取目标完整边缘, 还需对边缘进行生长以使其闭合[10]。 而过渡区域的灰度分布特点是可以根据过渡区域直方图的峰值或者均值[8, 9], 解决基于边缘的目标提取难题。

根据上述两种方法的特点, 提出结合边缘和过渡区域实现红外目标提取。 首先利用像元的邻域信息构造密度测度, 这种局部区域信息可以抑制噪声干扰, 与梯度算子类似也能较好凝炼图像边缘信息, 提取具有腐蚀效果的边缘, 将过渡区域也囊括进来; 然后利用类间方差作测度, 最大化分离目标边缘和背景, 实现边缘连同过渡区域析出; 最后利用过渡区域直方图实现目标生长。

1 红外图像密度信息

红外成像系统中目标反射或者辐射的能量在探测器上映射为灰度等级, 人眼通过观察图像中的明暗差异识别出目标。 将图像的灰度值作为Z轴坐标, 联合原本图像中的X, Y坐标把原图像映射为立体空间中的一个曲面, 如图1所示。 图像变换为三维曲面, 也能从更多的角度对图像进行处理, 后面将讨论利用变换后的曲面局部区域走势变化来实现目标提取。

图1 二维灰度图变换为三维曲面Fig.1 Transform 2D image into 3D surface

变换后的三维曲面中目标或者背景内部由于灰度一致性好, 从而走势较缓, 而在边缘处走势较陡。 为了定量衡量曲面的走势变化程度, 通过定义区域密度来实现。 首先约定曲面与单位面积底面(Z=0)包含的体积作为此区域的势能和。 对于任意一个非负曲面函数, 其与底面(Z=0)包围的体积可用二重积分表达

V=Df(x, y)dσ(1)

其中, D是所积曲面在底面的投影。 如果D限定为单位面积求出的体积即为此区域对应的单位势能。

势能和无法衡量曲面走势变化。 对于任意一个区域如果属于同一目标则其势能应相同, 但实际上因为噪声、 目标形状或成像角度等存在差异, 图像灰度值有一定浮动, 利用下式来描述

f(x)=fD+σ(x) xD(2)

式(2)中, D为所选区域, fD为相同的公共势能, σ (x)为差异势能。 将一定的像元区域设定为单位面积, 比如‖ x‖ 的像元区域, 那么该区域的密度为势能差异的和, 可以用式(3)表示

DS=Df(x, y)-fDdσD1dσ (3)

fD的选择可以是区域中最小值、 最大值或均值, 本文选择的是区域均值。 另外, 单位面积D的选择也是关键。 如果D的区域过小, 则在提取区域密度时容易受到噪声影响, 而且边缘无法腐蚀到过渡区域, 所以计算的时候设定D大小为11× 11, 如图1(c)所示。 将图像数据代入式(3), 得到二维离散函数下的区域密度具体形式, 如式(4)

DS=i=1Nj=1Mf(xi, yj)-fDSNM (4)

其中, fD为区域内的势能均值, fD=i=1Nj=1Mf(xi, yj)NM; S为单个像元在底面的面积, 一般取 1; NM为区域大小, 在此, N=M=11

根据上述区域密度函数的定义, 在降低噪声的同时, 提炼出了融合边缘和过渡区域的图像密度信息, 图2展示了不同NM尺度下的密度信息图。

图2 图像密度信息图
(a): 加噪的红外图像; (b): N=M=11密度信息图; (c): N=M=7密度信息图
Fig.2 Density information of image
(a): Infrared image with noise; (b): Density information of image (N=M=11); (c): Density information of image (N=M=7)

2 目标提取
2.1 提取边缘和过渡区域

在合适的单元区域尺度下, 图像密度信息中噪声得到有

效的抑制, 目标的边缘及其相连的过渡区域由于势能变化较陡与背景已经明显差异化, 其值大于背景。 在密度信息图中, 提取边缘和过渡区域转化为对图像密度信息图二值化。 图像二值化方法有很多, 例如灰度图像中目标和背景的灰度差异越大目标越容易识别, 所以在分割图像时前景和背景方差越大则错分的几率就越小。 该方法是1979年由日本学者Otsu提出, 称为最大类间方差法或者大津法[11]

大津法对图像以区域进行划分, 而本工作需要从密度信息图提取边缘, 所以大津法提取效果差, 几乎不可用, 图3是采用大津法提取边缘的效果。

图3 Otsu提取边缘的效果
(a): N=M=11密度信息图; (b): Otsu提取结果
Fig.3 Edge extracted by Otsu
(a): Density information of image (N=M=11); (b): Extraction result by Otsu

对于一幅灰度图像, 假设其灰度等级为L(1, 2, 3, …, L), 像元数量为K, 利用概率形式来计算每个等级灰度的分布, 如式(5)。

pi=Ki/K, pi> 0;  i=1Lpi=1(5)

其中, Ki表示灰度等级为i的像元个数。 假设选定一个阈值T, 小于T(1, 2, …, T)的像元为背景C0, 大于T(T+1, T+2, …, L)的像元为边缘C1。 在以上假设条件下, 边缘、 背景的概率和平均灰度等级计算如式(6)和式(7)

ω0=Pr(C0)=i=1Tpi=ω(T)(6)ω1=Pr(C1)=i=T+1Lpi=1-ω0(7)

密度信息图中需要提取的是边缘不是边缘所包含的区

域, 所以式(6)和式(7)计算的概率分别是边缘和背景的概率。 为了正确计算目标区域和背景概率, 需要利用边缘像元数估计出目标像元数从而估计出目标概率。 假设边缘的像元数量为Ne, 由于提取的边缘中包含了过渡区域, 则真正的目标边缘像元数是Ne/N, 也就是目标的周长, 然后利用周长估计出区域的面积。 本工作使用圆来估计, 目标面积如式(8)

S=(Ne/N)2/4π(8)

所以

ω0=i=1Tpi(Ne/N)2/4π=ω(T)(Ne/N)2/4π(9)

平均灰度等级为

μ0=i=1TiPr(iC0)=i=1Tipiω0=μ(T)ω0(10)μ1=i=T+1LiPr(iC1)=i=1Tipiω1=μ(L)-μ(T)1-ω0(11)

其中, ω(T)=i=1Tpi, μ(T)=i=1Tipi定义背景和边缘的类间方差为

σb2=ω0(μ0-μL)2+ω1(μ1-μL)2=ω0ω1(μ1-μ0)2(12)

使得式(12)最大的阈值T就是最佳的提取阈值, 图4就是本工作的边缘连同过渡区域提取效果。

图4 本法提取的目标效果
(a): N=M=11密度信息图; (b): 本法提取的过渡区域; (c): 本法目标提取结果
Fig.4 Objects extracted by proposed method
(a): Density information of image (N=M=11); (b): Transition region; (c): Result of objects

2.2 基于过渡区域提取目标

获得过渡区域后, 可以利用过渡区域的直方图峰值或者均值获得目标的生长阈值。 本工作利用各个过渡区域的均值和最大值, 基于边缘向外生长出连通区域, 从而提取出目标, 如图4(c)。 在向外生长的过程中, 考虑到过渡区域包含了边缘, 生长正确的区域(目标), 其像元数不会超过以过渡区域中边缘为周长的圆面积, 考虑到边缘的不完整性, 将生长区域大小限定为不超过以边缘为周长圆面积的2倍, 如式(13), 如果生长的目标超过此像元数, 则此过渡区域为噪声生成的。

Obj(i)< =(Ni/N)2/2π(13)

其中, Ni为过渡区域中第i个连通区域像元数量; Obj(i)为基于过渡区域中第i个连通区域生长的目标像元数量。

3 目标提取实验与分析

所有实验都是基于Inter i7 2600k 3.4G CPU、 4G内存的微机, 利用matlab 7编程实现。 为了检验本方法的抗噪性能, 实验以多幅不同场景的红外图像为素材, 人为添加高斯、 椒盐两种噪声, 进行过渡区域和目标提取。 另外选择了三种方法传统的2D-Otsu, C-TREM[6], 以及二维最大熵进行对比。

图5是C-TREM与本法效果对比, 图中主要目标是坐着的人像, 过渡区域是人像与草地的交叉区域。 得益于本法将边缘和过渡区域进行结合提取的诉求, 提取的过渡区域与C-TREM相比更加完整。 在噪声对抗方面, C-TREM有优秀的抗击椒盐噪声的能力与本方法相差不大; 但对添加了高斯噪声的情况, 虽然也提取到了过渡区域, 但是包含了较多的噪声, 目标分割结果也包含了很多噪声。 所以本法与C-TREM相比有更好抗高斯噪声的性能。

图5 (a)从上到下为红外原图、 0.03高斯噪声和0.03椒盐噪声; (b)本法提取的过渡区; (c) C-TREM提取的过渡区; (d) 本法结果; (e) C-TREM结果Fig.5 (a) from top to bottom there are original image, with gauss noise(0.03), with salt & pepper noise(0.03); (b) transition region by this method; (c) transition region by C-TREM; (d) extraction by this method; (e) extraction by C-TREM

为了进一步检验本法目标提取的抗噪性能, 选择了三幅红外图像场景, 采用2D-Otsu、 二维最大熵以及上述C-TREM进行效果对比。

图6中一共有三个场景。 第一幅中包括飞机和楼房两类目标, 天空是背景; 第二幅目标是坐着的人背景为石头; 第三幅包含了建筑物和电线杆两类目标, 背景是天空和空地。 从没有添加噪声的场景分割结果可以看出, 基于过渡区域的C-TREM和本方法提取的目标最完整, 只存在少部分背景被误分割为目标。 2D-Otsu除了将第二幅中部分石块误分割为目标外其他两幅场景基本分割正确。 最大熵的结果较差全部分割错误, 说明并不适用于分割红外这种噪声大对比度低的图像。 添加噪声后, 本法提取结果中除了第一幅的楼房和第三幅的电线杆已淹没在噪声中外, 其他的都能完整提取。 C-TREM对高斯噪声敏感, 其结果与未添加噪声时差异最大, 两种噪声尺度下的分割结果都被高斯噪声充斥。 2D-Otsu除了第二幅中被误分的石头和第三幅中的建筑物仍然能分辨外, 其他目标已被噪声严重污染, 基本不可用。 二维最大熵的结果仍然很差, 噪声污染严重。 综上所述, 本方法目标提取抗噪性能有更好的表现, 也更加符合人眼视觉。

图6 (a)从上到下前三幅为原图、 中间三幅添加了0.05高斯和椒盐噪声、 最后三幅添加了0.1高斯和椒盐噪声; (b)本法结果; (c) C-TREM结果; (d) 2D-Otsu结果; (e)二维最大熵结果Fig.6 (a) top three images are original; middle three images with gauss and salt& pepper(0.05) being added; last three with gauss and salt & pepper (0.1) being added; (b) results of this method; (c) results of C-TREM; (d) results of 2D-Otsu; (e) results of maximum entropy

为了进一步定量计算分割的准确性, 借鉴模式识别、 数据挖掘等广泛使用的Precision& Recall曲线, 做了适当改变。 与常规将Recall作为x轴Precision作为y轴不同, 将所添加的噪声强度作为x轴, 将Recall和Precision分别作为y轴以此衡量目标提取的准确性和完整性, 如图7所示。 与原定义一样, Precision表示提取正确的目标占提取结果的比例, 衡量目标提取的准确性, Recall表示提取正确的目标占真实目标的比例, 衡量目标提取的完整性。

图7 (a), (b), (c)分别为图6中场景1— 3的人为提取结果, (d)本法在不同噪声强度下的Precision值, (e)本法在不同噪声强度下的Recall值Fig.7 (a), (b), (c) Ave man-made target extraction results of scene 1, scene 2 and scene 3 in Fig.6; (d) Precision curves of proposed method under different noise intensities; (e) Recall curves of proposed method under different noise intensities

场景1包含飞机和楼房两个目标, 在噪声强度小于0.01时, 无论是目标提取的完整性还是准确性都在0.8以上; 噪声强度大于0.01时, 楼房就不再能提取出来, Recall值显著下降。 图6中看到参与对比的三种方法即使在未添加噪声时, 也无法提取到楼房, 说明楼房目标强度很弱。 场景2由于目标较大、 较强, 提取结果最为理想, Precision值在0.8和0.9之间浮动, Recall值在0.9和1间浮动, 无论是提取的准确性还是提取的完整性都非常好。 场景3提取的准确性Precision值在0.4到0.6之间浮动, 说明提取的结果中有部分噪声, 从图6中可以看出这些噪声来源于草地上的石头; 提取的完整性Recall值在0.5左右较稳定, 查看图6中的分割结果, 可以看出电线杆未提取出来, 造成这种问题的部分原因在于电线杆目标较细, 经过高斯滤波以后目标边缘被弱化, 另外一方面在于本法计算密度时窗口设置为11× 11, 相对于细小目标提取的灵敏度不足。

4 结 论

考虑到现有过渡区域提取方法在噪声抑制和自适应方面的不足, 提出了局部区域内衡量图像走势变化的算子并将其作为图像密度测度, 该算子能较好的描述走势变化同时又具备良好的抗噪性。 另外提出将过渡区域连同目标边缘一起提取, 能获得更准确、 完整的目标, 同时更符合人眼的视觉。 提取阈值选择上将边缘转化为区域, 利用类间方差最大为准则, 提高边缘和过渡区域提取的精准度, 使得算法具备自适应能力。 最后的实验证明了该方法提取的过渡区域较对比方法更完整, 而且大大改善了高斯和椒盐噪声对提取结果的污染, 在与2D-Otsu、 二维最大熵以及C-TREM结果对比中也有同样的结论。 虽然局部区域的走势变化算子在噪声对抗中效果较好, 然而小目标检测和噪声抑制会产生冲突, 所以在检测小目标时效果不佳, 这也是本方法进一步探索需解决的难题。

The authors have declared that no competing interests exist.

参考文献
[1] Sen D, Pal S K. IEEE Transactions on Image Processing, 2009, 18(4): 879. [本文引用:1]
[2] Zhang Xiaoping. IEEE Transactions on Image Processing, 2001, 10(7): 1020. [本文引用:1]
[3] Yu S Y, Zhang Y, Mao X N, et al. Electronics Letters, 2008, 44(2): 100. [本文引用:1]
[4] Tao Wenbing. IEEE Transactions on Image Processing, 2012, 21(1): 284. [本文引用:1]
[5] TIAN Yan, LIU Ji-jun, XIE Yu-bo, et al(田岩, 刘继军, 谢玉波, ). J. Infrared Millim. Waves(红外与毫米波学报), 2007, 26(5): 386. [本文引用:2]
[6] YAN Cheng-xin, SANG Nong, ZHANG Tian-xu, et al(闫成新, 桑农, 张天序, ). J. Infrared Millim. Waves(红外与毫米波学报), 2005, 24(4): 312. [本文引用:4]
[7] Zhang Y J, Gerbrand s J J. Pattern Recognition Letters, 1991, 12(1): 13. [本文引用:1]
[8] LIANG Xue-jun, LE Ning(梁学军, 乐宁). Image Recognition and Automatization(图像识别与自动化), 2001, 1: 4. [本文引用:2]
[9] WANG Yan-chun, LIANG De-qun, WANG Yan(王彦春, 梁德群, 王演). Acta Electronica Sinica(电子学报), 2008, 36(12): 2245. [本文引用:2]
[10] Iannizzotto G, Vita L. IEEE Transactions on Image Processing, 2000, 9(7): 1232. [本文引用:1]
[11] Otsu N. IEEE Transactions on System Man and Cybernetic, 1979, 9(1): 62. [本文引用:1]