多波段红外图像的海面舰船目标检测

引用本文

仇荣超, 娄树理, 李廷军, 宫剑. 多波段红外图像的海面舰船目标检测[J]. 光谱学与光谱分析, 2019,39(3): 698-704.
QIU Rong-chao, LOU Shu-li, LI Ting-jun, GONG Jian. Research on Detection of Ship Target at Sea Based on Multi-Spectral Infrared Images[J]. Spectroscopy and Spectral Analysis, 2019,39(3): 698-704.
Doi:10.3964/j.issn.1000-0593(2019)03-0698-07 复制到剪切板

Permissions

《光谱学与光谱分析》期刊社所有

多波段红外图像的海面舰船目标检测

仇荣超¹, 娄树理², 李廷军¹, 宫剑¹

1. 海军航空大学, 山东烟台 264000

2. 烟台大学光电信息科学技术学院, 山东烟台 264000

作者简介: 仇荣超, 1990年生, 海军航空大学博士研究生 e-mail: qrc_smile@sina.com

收稿日期: 2018-01-09

基金: 国家自然科学基金项目(61205206)资助

摘要

现有的基于单个红外宽波段的海面舰船目标探测系统在面对复杂海天背景、岛岸背景、恶劣天气、亮带干扰或诱饵弹干扰等情况时, 系统的探测率、虚警率、探测距离等性能指标均会受到严重的影响; 为此, 开展了基于多波段红外图像的海面舰船目标检测方法的研究。通过中波红外多波段数据采集系统实际采集107组五个中波红外波段的图像; 波段1—5分别为3.7~4.8, 3.7~4.1, 4.4~4.8, 3.7~3.9和4.65~4.75 μm; 对多波段图像进行手动标注构建样本数据集, 其中, 正样本舰船目标298个, 负样本非舰船目标353个。对于多波段红外图像, 首先进行PCA降维并采用选择性搜索算法生成初始目标候选区域; 针对候选区域中存在大量明显的非舰船目标区域的问题, 利用积分图像计算候选区域的局部对比度, 依据红外舰船目标的几何和灰度特征从初始目标候选区域中筛选出舰船目标可能性大的区域作为舰船目标候选区域。然后对舰船目标候选区域进行拓展以融入局部上下文信息, 对于候选区域对应的5波段红外图像, 分别提取每个波段图像的稠密SIFT特征, 并将128维SIFT特征向量降为64维, 融入SIFT特征的空间和波段位置分布信息得到新的特征向量, 基于高斯混合模型对候选区域的特征向量集合进行编码融合得到舰船目标候选区域的费舍尔向量表示, 最后利用线性SVM分类器识别出舰船目标。对多波段图像进行舰船目标候选区域生成实验, 所提出的基于红外舰船目标的几何和灰度特征的约束方法可以有效地克服选择性搜索算法的不足, 从初始目标候选区域中快速定位出舰船目标候选区域, 对25组多波段图像进行实验, 舰船目标候选区域生成的整体耗时为0.353 s, 定位舰船目标区域耗时0.005 s。对100个正负样本进行目标识别测试, 所提出的目标识别算法融合了目标的多波段图像特征信息, 通过引入费舍尔向量挖掘了多波段图像梯度统计特征的深层次信息, 算法的识别率达到了0.97, 显著高于单波段红外图像的目标识别率。对25组多波段图像进行舰船目标检测实验, 所提出的舰船目标检测方法能够在海天背景、岛岸背景以及亮带干扰等不同场景下完成海面舰船目标的检测工作, 舰船目标定位准确, 舰船目标召回率达到了0.95, 每组多波段图像的平均检测耗时为1.33 s。研究结果表明, 充分考虑海面舰船目标在红外图像中与局部海洋背景的辐射差异以及有效地融合舰船目标在多个红外波段图像中的辐射特征, 可以增强舰船目标的可分性, 提高舰船目标的识别率以及检测率, 为基于多波段红外图像的海面舰船目标检测提供了新的技术支持。

关键词: 舰船目标检测; 多波段红外图像; 选择性搜索算法; 费舍尔向量

中图分类号:TP391.4 文献标志码:A

Research on Detection of Ship Target at Sea Based on Multi-Spectral Infrared Images

QIU Rong-chao¹, LOU Shu-li², LI Ting-jun¹, GONG Jian¹

1. Naval Aviation University, Yantai 264000, China

2. School of Opto-Electronic Infomation Science and Technology, Yantai University, Yantai 264000, China

Abstract

When facing complex sea-sky background, island-shore background, bad weather, bright waves or decoys interference and other complex conditions, the detection rate, false alarm rate, detection distance or other performance indicators of the existing ship target detection system based on a single wide-wave infrared image will be affected. Considering the above problems, the detection method for ship target at sea based on multi-spectral infrared images was studied in this paper. Through the data acquisition system for multi-spectral infrared images, 107 groups of 5 medium-wave infrared images were collected actually. The spectrals from 1 to 5 were 3.7~4.8, 3.7~4.1, 4.4~4.8, 3.7~3.9 and 4.65~4.75 μm respectively. The sample data set was constructed by annotating the multi-spectral images manually, which was made up of 298 ship targets and 353 non-ship targets. Firstly, PCA transform was adopted to reduce the dimension of multi-spectral infrared images and selective search algorithm was adopted to generate the initial target candidate regions. In order to solve the problem that there are too many obvious non-ship target regions, the integral image was used to calculate the local contrast of the initial candidate regions and the ship target candidate regions were located according to the geometrical and grayscale features of infrared ship target. Secondly, each ship target candidate region was extended to incorporate the local context information. For the 5 spectral images corresponding to each ship target candidate region, dense SIFT feature of each spectral image was extracted. PCA was applied to SIFT feature, reducing its dimensionality from 128 to 64. Then the spatial and spectral position distribution information of each SIFT feature was added to the feature vector. Based on the Gaussian mixture model, the feature vectors of each candidate region were encoded to Fisher vector representation. Finally, linear SVM classifier was used to recognize ship targets. Experiment of the generation of ship target candidate regions showed that the proposed constraint method based on geometrical and grayscale features of infrared ship target can effectively overcome the shortcomings of selective search algorithm and quickly locate the ship target candidate regions from the initial target candidate regions. Experimental results on 25 groups of multi-spectral images showed that the generation of ship target candidate regions takes 0.353 s totally, while locating the ship target candidate regions takes only 0.005 s. Test of target recognition on 100 positive and negative samples showed that the recognition rate of the proposed target recognition algorithm reached 0.97, which is significantly higher than the target recognition rate based on single-wave infrared image. The proposed target recognition algorithm integrates the feature information of the multi-spectral target images and applies Fisher vector to extract the deep layer information in the gradient statistical features of the multi-spectral target images. Experimental results on 25 groups of multi-spectral images showed that the proposed ship target detection method can detect the ship targets at sea in different scenes such as sea-sky background, island background and bright waves interference. The locations of the ship targets are accurate and the ship recall rate reaches 0.95. The average detection time of each group of multi-spectral images is 1.33 s. The study results showed that with considering the radiation difference between the ship target and its local ocean background in the infrared image and the effective fusion of the radiation characteristics of ship target in multi-spectral infrared images, the divisibility of ship target can be enhanced, which results in the improvement of recognition rate and detection rate of ship target. This study provides new technical support for ship target detection based on multi-spectral infrared images.

Keyword: Ship target detection; Multi-spectral infrared images; Selective search algorithm; Fisher vector

文章图片

引言

红外成像制导具有制导精度高、隐蔽性好、抗干扰能力强、效费比高等优点^[1], 在现代海战中, 基于红外成像制导的低空掠海飞行的反舰导弹是精确打击敌方舰船目标的重要手段。目前, 随着隐身技术、干扰技术(水雾、烟幕、诱饵弹等)的发展以及在复杂背景干扰、恶劣天气等情况下, 现有的基于单个宽波段红外的成像探测系统对海上舰船目标的探测率、探测距离等性能指标都会受到不同程度的影响, 而多波段红外成像探测能够获取舰船目标的二维空间几何信息和光谱信息, 利用舰船目标在不同红外波段图像中固有的差异性和互补性, 通过将舰船目标在不同红外波段中的辐射特征进行有效地融合, 可以更加全面客观的表示舰船目标, 增强探测系统对舰船目标的检测性能。

目前, 研究者们对于海上舰船检测算法的研究主要集中在候选区域提取和候选区域识别两个环节^[2]。针对可见光图像, 郭少军等^[3]通过引入角点约束对ObjectNess BING算法进行改进来检测海面舰船目标。针对可见光卫星图像, Feng Yang等^[4]首先利用显著性分割获得舰船目标候选区域, 通过将舰船结构和LBP特征相结合构成结构化的LBP特征对候选区域进行识别。张仲瑜等^[5]提出了一种基于多特征融合的分割算法来将舰船目标与天空、海面背景区分开来。张迪飞等^[6]通过结合HOG特征和支持向量机(support vector machine, SVM)对红外图像中的海面舰船目标进行分类识别。刘峰等^[7]通过协方差矩阵将可见光、中波红外以及长波红外三波段图像的特征向量进行融合, 采用KNN分类器进行舰船的分类识别。

1 图像数据采集与样本数据集构建

如图1所示为本研究使用的多波段图像数据采集系统及其设备组成, 其中的主要设备为制冷型中波红外多波段成像仪, 视场角为7.8° , 成像分辨率为320× 256, 成像仪包含5波段旋转滤光片, 波段1到波段5分别为: 3.7~4.8, 3.7~4.1, 4.4~4.8, 3.7~3.9和4.65~4.75 μ m。

	Figure Option View Download New Window
	图1 图像数据采集系统Fig.1 Image data acquisition system

如图2所示为3组5波段红外图像的示例, (a), (b)和(c)分别对应岛岸背景、海天背景、亮带和桅杆干扰的情况。通过采集107组多波段红外图像并进行手动标注来构建样本数据集, 每个样本对应一组5波段图像, 其中, 正样本舰船目标有298个, 涵盖了不同成像距离、不同成像时间、不同成像角度以及不同类型的舰船目标; 负样本非舰船目标有353个, 涵盖了海洋、天空、云层、亮带干扰、岛岸等多种场景。

	Figure Option View Download New Window
	图2 多波段红外图像示例Fig.2 Examples of multi-band infrared images

如图3所示为部分样本示例, 其中a1— a5, b1— b5以及c1— c5为三组舰船目标的5波段图像, d1— d5为1组岛岸场景的5波段图像, e1— e5为1组海天场景的5波段图像。

	Figure Option View Download New Window
	图3 样本示例Fig.3 Sample examples

2 舰船目标检测方法描述

基于多波段红外图像的区域海上舰船目标检测方法主要包含舰船目标候选生成和融合多波段红外图像信息的舰船目标识别两个部分。图4给出了本舰船目标检测方法的总体流程。

	Figure Option View Download New Window
	图4 舰船目标检测流程图Fig.4 Flow chart of ship target detection

2.1 舰船目标候选区域生成

2.1.1 选择性搜索算法

选择性搜索(selective search, SS)算法^[8]由Uijlings等于2013提出, 算法分为两个步骤: (1)采用Felezen分割算法对输入图像进行初始分割, 得到一些初始化的小区域; (2)采用多种相似度(颜色相似度、纹理相似度、大小相似度和吻合相似度)组合的策略, 对初始化的小区域进行合并。

SS算法属于通用对象估计器, 就海面舰船目标检测而言, 其生成的候选区域数量过多, 并且绝大多数候选区域都是非舰船目标区域, 导致后续的舰船识别需要耗费大量的时间, 极大地降低了舰船检测的运算速度。

2.1.2 舰船目标特征约束

对于红外图像而言, 海面舰船目标有着自己的几何特征和灰度特征, 舰船目标区域的面积以及长宽比都应该处在合理范围内, 面积过大、长宽比过大或者过小的区域显然是非舰船目标区域; 另外, 红外舰船目标内部区域的灰度是较为一致的, 纹理信息较少, 但与周围海洋背景的红外辐射强度差别较大, 在图像上存在明显的灰度差异, 因此, 充分利用红外舰船目标的几何和灰度特征约束可以更好地将舰船目标区域和其他非舰船目标区域(岛岸、海面、云层等)区分开来, 提高舰船目标区域定位的效率。

(1)几何特征约束: 对于舰船目标的几何特征约束, 考虑的是舰船目标的面积和长宽比, 已知候选区域的长宽分别为Long和Width, 候选区域的面积为Area=Long· Width, 长宽比为Ratio=Long/Width, 依据先验知识, 可以剔除那些面积和长宽比明显不满足舰船目标几何特征的非舰船目标区域。

(2)灰度特征约束: 如图5(a)中所示的区域L, 按比例λ 对其边界进行拓展得到局部海洋背景区域, 将区域L的局部背景区域划分为图5(b)所示的8邻域结构。

	Figure Option View Download New Window
	图5 区域L及其8邻域 (a): 区域L与其局部海洋背景; (b): 8邻域结构Fig.5 Region L and its 8 neighborhoods (a): Region L and its local ocean background; (b): 8 neighborhood structures

基于原始图像U构建积分图像I后可快速计算图像U中任意矩形区域的灰度均值, 图像I中任意像素点的灰度值I(m', n')表示为当前像素点和原点所围成矩形区域对应的原始图像的像素之和

$I (m', n') = \sum_{m < m', n < n'} U (m, n) (1)$

已知图像U中任意区域的左上角行列坐标为(m₁, n₁), 右下角行列坐标为(m₂, n₂), 通过积分图像I计算区域的灰度均值mean

$mean = \frac{I (m_{1}, n_{1}) + I (m_{2}, n_{2}) - I (m_{1}, n_{2}) - I (m_{2}, n_{1})}{(m_{2} - m_{1}) (n_{2} - n_{1})} (2)$

计算图5(b)中区域L的均值mean₀以及8邻域区域的均值mean_i(i=1, 2, …, 8), 定义区域L与8邻域区域灰度均值的差值e_i如式(3)

$e_{i} = \{\begin{array}{l} 1 & mea n_{i} - mea n_{0} > ε \\ 0 \\ - 1 & mea n_{i} - mea n_{0} < - ε \end{array} (3)$

式(3)中ε 为阈值, 定义区域L的局部对比度Contrast的计算如式(4)

$Contrast = |\overset{8}{\sum_{j = 1}} e_{i}| (4)$

对于红外图像中的海面舰船目标区域, 其内部区域的灰度差异不大, 但与局部海洋背景的灰度差异较大, 与那些非舰船目标区域相比, 舰船目标区域的局部对比度通常要更高, 基于舰船目标的此灰度特征可以进一步剔除那些非舰船目标区域。

2.1.3 舰船目标候选区域生成算法

算法1 多波段红外图像的舰船目标候选区域生成 Algorithm 1 Generation of ship target candidate regions based on multi-spectral infrared images

2.2 多波段红外舰船目标识别

2.2.1 稠密SIFT特征

经典的SIFT特征^[9]生成主要包括特征点检测和特征点描述两个部分, SIFT特征是一种基于图像梯度变化信息统计的特征描述子。与构建SIFT特征不同, 稠密SIFT(dense scale invariant feature transform, DSIFT)特征^[10]省略了SIFT特征点检测的过程, 而是通过滑动窗口在图像区域内密集选点并计算SIFT特征。选定好滑动窗口的尺寸(bin size)以及滑动步长, 在图像上滑动窗口遍历计算即可得到128× k维(k为采样中心点的数量)的DSIFT特征。

2.2.2 费舍尔向量

费舍尔向量(Fisher vector, FV)本质上是使用似然函数的梯度向量来表示一幅图像, 包含了深层次的图像信息, 在图像分类、图像检索等领域得到了广泛的应用并且取得了良好的效果^[11]。

假设特征集合I={x₁, …, x_N}是从图像中提取出来的N个D维的特征向量(如DSIFT特征), 集合Θ ={μ _k, Σ _k, π _k, k=1, …, K}是用来拟合特征向量分布的高斯混合模型(Gaussian mixture model, GMM)的参数, GMM由期望最大化(expectation maximization, EM)算法^[12]对特征向量进行训练得到, μ _k, Σ _k, π _k分别表示GMM中第k个高斯成分的均值、方差和权重。对于GMM的第k个高斯成分, 计算其均值和方差的梯度向量, 通过将GMM的K个高斯成分的均值梯度向量u_k和方差梯度向量v_k组合为向量Φ (I)并对其进行归一化处理即可得到图像的费舍尔向量F, 费舍尔向量F包含了图像原始特征在GMM的K个高斯成分上的一阶信息和二阶信息。

2.2.3 融入多波段图像信息的特征表示

对于海面舰船目标, 考虑到舰船目标和海洋背景的共生关系, 按比例λ 对舰船目标区域进行拓展以充分融入舰船目标区域的局部上下文信息, 以此可以增强舰船目标的可分性。对于拓展区域对应的多波段图像, 每个波段的图像都可以由DSIFT特征进行表示, 图像中的每个像素点及其局部信息均可由一个128维的SIFT特征表示, 由于SIFT特征集合的数据量太大, 不利于后面的学习编码, 首先通过PCA变换将128维的SIFT特征降维成64维的PCA-SIFT特征, 表示为V_xyz, 其中(x, y)表示PCA-SIFT特征所在的空间位置, z表示PCA-SIFT特征所在的波段位置。为了充分融入PCA-SIFT在空间和波段上的位置分布信息, 定义新的特征向量为[V_xyz; x; y; z], 向量维度为67, 通过训练好的GMM所构建的视觉字典对多波段图像上的特征向量集合进行编码融合得到费舍尔向量F, 以此作为多波段舰船目标图像的特征表示, 向量维度为2× 67× K, K为GMM的高斯成分的数量。

2.2.4 融合多波段图像信息的舰船目标识别算法

算法2 基于多波段红外图像的舰船目标识别 Algorithm 2 Ship target recognition based on multi-spectral infrared images

3 结果与讨论

实验是在Intel(R) Core(TM) i5-6200U CPU 2.3GHz处理器以及4G内存的PC机上使用MATLABR2014a和VLFeat库进行的。

3.1 舰船目标候选区域生成实验

(1)参数设置: 对于SS算法生成的初始目标候选区域, 依据区域的面积、长宽比以及局部对比度对其进行筛选, 初始目标候选区域面积Area的阈值设置为整幅图像面积的1/10、长宽比Ratio的范围设置为0.6~10、区域拓展的比例λ 设置为1.5, 在计算局部对比度时阈值ε 设置为5, 保留局部对比度为8的区域作为舰船目标候选区域。

(2)实验结果: 分别对图2中3组多波段图像进行舰船目标候选区域生成的实验, 如表1所示为舰船目标、 SS算法生成的初始目标候选区域以及最终得到的舰船目标候选区域的数量对比。

表1 舰船目标以及候选区域数量 Table 1 Number of ship targets and candidate regions

如图6所示, 图(a1)— (c1)为多波段图像进行PCA变换后的第一主成分, 图(a2)— (c2)为基于SS算法生成的初始目标候选区域结果, 图(a3)— (c3)为基于舰船目标几何和灰度特征约束后得到的舰船目标候选区域。由图(a2)— (c2)不难看出, 由SS算法生成的初始目标候选区域中绝大多数区域是非舰船目标区域, 极大的增加后续舰船目标识别时的计算代价, 在实际应用时算法的时效性差。由图(a3)— (c3)可以看出, 基于红外舰船目标的几何和灰度特征约束剔除了大量明显的非舰船目标区域, 虽然保留的舰船目标候选区域数量较少, 但是真正的舰船目标区域得到了较好的保留, 为后续舰船识别提供了高质量的舰船目标候选区域。

	Figure Option View Download New Window
	图6 舰船目标候选区域定位Fig.6 Location of ship target candidate regions

对25组多波段测试图像进行实验, 表2所示为舰船目标候选区域生成算法在各个阶段的耗时以及总耗时, 其中, 算法耗时主要在于PCA降维和SS生成目标候选区域两个阶段, 而在舰船目标候选区域定位阶段, 基于积分图像来计算候选区域的局部对比度, 通过舰船目标的几何和灰特征的约束, 实现了舰船目标候选区域的快速定位。

表2 各阶段耗费时间 Table 2 Spend time in each stage

3.2 目标识别算法性能分析

选取样本数据集中的50个舰船样本和50个非舰船样本作为测试样本, 其余样本作为训练样本。在区域拓展融入海洋背景信息时, 拓展比例λ =1.5, 拓展后的区域均标准化为固定尺寸[48, 48], 在提取多波段图像的DSIFT特征时滑动窗口的bin size为8, 滑动步长为2, GMM的高斯成分K=20, 多波段图像的费舍尔向量F的维度为2 680。

为了验证多波段红外舰船目标识别算法的识别性能, 将本算法与基于HOG特征和基于SIFT特征的舰船目标识别算法进行对比。其中, HOG特征提取时, 窗口滑动步长为8, 单波段图像的HOG特征向量维度为900, 多波段图像的特征向量由5个单波段图像的特征向量串联得到, 维度为4 500; SIFT特征提取时, 滑动窗口的bin size为8, 滑动步长为8, 单波段图像的SIFT特征向量维度为1 152, 多波段图像的特征向量由5个单波段图像的特征向量串联得到, 维度为5 760。

如表3所示, 单波段图像进行舰船目标识别, 由于波段1是一个中波红外的宽波段, 通常其蕴含的图像信息相比其余4个窄波段获得的图像信息要多, 因而基于波段1的舰船目标识别准确率要高于其余4个窄波段, 而基于多波段图像的舰船目标识别方法融合了目标在不同波段图像中的信息, 算法识别率要高于单波段图像的识别率。基于多波段图像的舰船目标识别算法, 在对图像进行特征表示时, 既融入了多波段图像的空间特征信息, 也融入了空间特征在空间和波段间的位置分布信息, 对多波段图像的原始特征进行编码融合得到费舍尔向量, 引入了图像原始特征在高斯成分上的一阶信息和二阶信息, 从而提高了目标图像特征的维度和表达能力, 图像的识别准确率达到了0.97, 表明了本舰船目标识别算法在海上舰船目标识别时的优势。

表3 目标识别准确率对比 Table 3 Comparison of target recognition accuracy

3.3 舰船目标检测性能分析

采用本方法, 对于同一个舰船目标可能会产生多个存在重叠区域的检测结果。为了得到更准确的舰船目标区域, 参考文献[13]对舰船目标区域进行融合处理。如图7所示为图2中3组示例图像的实验结果, 图(a1)— (c1)为舰船目标检测结果, 图(a2)— (c2)融合后的舰船目标检测结果。图8为补充的舰船目标检测结果融合图像。由图7和图8可以看出, 本方法能够适应岛岸背景、海天背景、亮带干扰等不同场景, 很好的检测出海面的舰船目标, 且舰船目标定位准确; 但图8中仍存在漏检的舰船目标, 图8中黄色圆圈内标记的是未检测出的处于海天分界线上的弱小舰船目标; 分析原因, 一方面可能是本方法对于远距离弱小舰船目标的检测能力不足, 另一方面可能是实验采用的训练样本不够丰富。

	Figure Option View Download New Window
	图7 舰船目标区域融合Fig.7 Fusion of ship target regions

	Figure Option View Download New Window
	图8 补充的舰船目标检测结果Fig.8 Supplementary results of ship target detection

为了进一步验证本方法的性能, 选取25组多波段图像作为测试图像, 舰船目标总数为61。采用精度和召回率两个指标^[14]来评价检测性能

$\begin{array}{l} 精度 = \frac{检测到的目标个数}{检测到的目标个数 + 虚警目标个数} (5) \\ 召回率 = \frac{检测到的目标个数}{真实存在的目标个数} (6) \end{array}$

和如下两种方法进行对比: (1)SS算法+HOG特征+线性SVM分类器: 基于SS算法生成目标候选区域, 提取多波段图像4500维的HOG特征向量输入SVM分类器; (2)SS算法+SIFT特征+线性SVM分类器: 基于SS算法生成目标候选区域, 提取多波段图像5760维的SIFT特征向量输入SVM分类器。如表4所示为3种方法的检测性能对比。

表4 检测性能对比 Table 4 Comparison of detection performance

由表4可以看出, 方法1和方法2因为生成的舰船目标候选区域过多, 导致了虚警舰船目标的个数显著增加, 相对于方法1和方法2, 本舰船目标检测方法的检测精度和召回率都更高, 表明对海面红外舰船目标良好的检测性能。

表5所示为三种方法的候选区域生成耗时、候选区域识别耗时以及整体耗时的对比。在舰船目标候选区域生成时间近乎相同的情况下, 由于本方法生成的舰船目标候选区域数量要远远低于方法1和方法2, 因此在候选区域识别阶段的耗费时间要大大低于其余两种方法, 整体耗时显著优于另外两种方法, 有更好的时效性。

表5 检测时间对比 Table 5 Comparison of detection time

4 结论

研究了多波段红外图像的海上舰船目标的检测。首先, 针对通用对象检测器SS算法生成的初始目标候选区域数量过多、存在大量明显的非舰船目标区域的问题, 通过积分图像计算候选区域的局部对比度, 基于红外舰船目标的几何和灰度特征快速定位出舰船目标候选区域, 方法简单高效。然后, 通过对多波段红外图像的稠密特征进行编码融合得到费舍尔向量, 引入了原始特征在GMM的高斯成分的高阶信息, 从而提高了特征的维度和可分性, 增强了算法的舰船目标识别能力。通过采集多波段图像数据以及样本数据的构建, 对本方法进行了仿真实验, 实验结果表明, 本方法能够在岛岸背景、亮带干扰等不同情况下完成海面舰船目标的检测, 舰船目标定位准确, 可用于增强红外探测系统的舰船目标检测能力。本工作构建的样本数据集较小, 在下一步的研究中, 拟进一步扩充多样本数据集, 通过训练更丰富的样本数据进一步提高舰船检测性能, 进一步优化并最终在硬件平台上实现。

The authors have declared that no competing interests exist.

参考文献

文献列表

[1]	QIAN Ang, HE You-jin, LIU Liang(钱昂, 何友金, 刘亮). Infrared Technology(红外技术), 2014, 36(8): 671. [本文引用:1]
[2]	Dolgopolov A V, Kazantsev P A, Bezuhliy N N, et al. Indian Journal of Science & Technology, 2017, 9(46): 1. [本文引用:1]
[3]	GUO Shao-jun, SHEN Tong-sheng, XU Jian, et al(郭少军, 沈同圣, 徐健, 等). Systems Engineering and Electronics(系统工程与电子技术), 2016, 38(1): 14. [本文引用:1]
[4]	Yang F, Xu Q, Li B. IEEE Geoscience & Remote Sensing Letters, 2017, 14(5): 602. [本文引用:1]
[5]	ZHANG Zhong-yu, JIAO Shu-hong(张仲瑜, 焦淑红). Infrared and Laser Engineering(红外与激光工程), 2015, (b12): 29. [本文引用:1]
[6]	ZHANG Di-fei, ZHANG Jin-suo, YAO Ke-ming, et al(张迪飞, 张金锁, 姚克明, 等). Infrared and Laser Engineering(红外与激光工程), 2016, 45(1): 167. [本文引用:1]
[7]	LIU Feng, SHEN Tong-sheng, GUO Shao-jun, et al(刘峰, 沈同圣, 郭少军, 等). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2017, 37(6): 1934. [本文引用:1]
[8]	Uijlings J R, Sand e K E, Gevers T, et al. International Journal of Computer Vision, 2013, 104(2): 154. [本文引用:1]
[9]	Agrawal A, Mangalraj P, Bisherwal M A. Target Detection in SAR Images using SIFT, IEEE International Symposium on Signal Processing and Information Technology, 2016: 90. [本文引用:1]
[10]	ZHOU Quan, WEI Xin, CHEN Jian-xin, et al(周全, 魏昕, 陈建新, 等). Journal of Electronics & Information Technology(电子与信息学报), 2015, 37(8): 1913. [本文引用:1]
[11]	Simonyan K, Parkhi O, Vedaldi A, et al. Fisher Vector Factor in the Wild, Proc. Bmvc. , 2013: 8. 1. [本文引用:1]
[12]	GUAN Tao, LI Ling-ling(管涛, 李玲玲). Journal of Image and Graphics(中国图象图形学报), 2012, 17(12): 1461. [本文引用:1]
[13]	HU Qing-xin, LÜ Peng(胡庆新, 吕鹏). Journal of Computer Applications(计算机应用), 2016, 36(s1): 157. [本文引用:1]
[14]	DU Lan, LIU Bin, WANG Yan, et al(杜兰, 刘彬, 王燕, 等). Journal of Electronics & Information Technology(电子与信息学报), 2016, 38(12): 3018. [本文引用:1]

2014

0.0

... 引言红外成像制导具有制导精度高、隐蔽性好、抗干扰能力强、效费比高等优点^[1], 在现代海战中, 基于红外成像制导的低空掠海飞行的反舰导弹是精确打击敌方舰船目标的重要手段 ...

2017

0.0

... 目前, 研究者们对于海上舰船检测算法的研究主要集中在候选区域提取和候选区域识别两个环节^[2] ...

2016

0.0

GUO

Shao-jun

, SHEN

Tong-sheng

, XU

Jian

, et al(郭少军, 沈同圣, 徐健, 等). Systems Engineering and Electronics(系统工程与电子技术), 2016, 38(1): 14.

It is found that generic objects with well-defined closed boundary can be discriminated by looking at the norm of gradients, with a suitable resizing of their corresponding image windows into a small fixes size,which can save a lot of time. Inspired by the high quality of ObjectNess binarized normed gradients (BING), it is used for the multi-ship target detection on the sea. Considering the characteristics of the ship targets and the artificial objects, a method of predicting the object candidate windows based on corner points and ObjectNess BING is proposed, which can also generates a small set of high quality ship target windows, yielding 96.2% object detection rate (DR) just like the former ObjectNess BING dose for the test of images downloaded from the internet, but with only 900+proposals. It reduces the time cost of ship targets detection and makes the ship detection more efficient than the former ObjectNess BING.

1.Department of Control Engineering, Navy Aeronautical Engineering University, Yantai 264001, China; 2. China Defense Science and Technology Information Center, Beijing 100142, China; 3. Unit 91868 of the PLA, Sanya 572000, China

将一幅图像按照一个目标的大小进行缩放,然后计算其梯度特征,再对梯度特征进行标准化,二值化能够极大地提高目标候选区域的选择和检测计算效率,减少耗时。由于对海上舰船目标的检测是具有丰富角点的人造目标,对ObjectNess二值化标准梯度特征(binarized normed gradients, BING)方法中的目标候选区域提取算法进行改进,使其能够更加快速地进行候选区域的选择并保持较高的检测率。分析了海上多舰船目标的图像特征,提出了利用角点确定目标的候选基点,再利用ObjectNess BING检测模型训练获得的多目标尺寸进行候选区域的选择,对互联网上下载的多幅多舰船图像进行处理的结果表明,算法能够有效减少候选目标区域的数量并保持较高的检测概率。

... 针对可见光图像, 郭少军等^[3]通过引入角点约束对ObjectNess BING算法进行改进来检测海面舰船目标 ...

2017

0.0

... 针对可见光卫星图像, Feng Yang等^[4]首先利用显著性分割获得舰船目标候选区域, 通过将舰船结构和LBP特征相结合构成结构化的LBP特征对候选区域进行识别 ...

2015

0.0

... 张仲瑜等^[5]提出了一种基于多特征融合的分割算法来将舰船目标与天空、海面背景区分开来 ...

2016

0.0

... 张迪飞等^[6]通过结合HOG特征和支持向量机(support vector machine, SVM)对红外图像中的海面舰船目标进行分类识别 ...

2017

0.0

... 刘峰等^[7]通过协方差矩阵将可见光、中波红外以及长波红外三波段图像的特征向量进行融合, 采用KNN分类器进行舰船的分类识别 ...

2013

0.0

... 选择性搜索(selective search, SS)算法^[8]由Uijlings等于2013提出, 算法分为两个步骤: (1)采用Felezen分割算法对输入图像进行初始分割, 得到一些初始化的小区域 ...

2016

0.0

... 经典的SIFT特征^[9]生成主要包括特征点检测和特征点描述两个部分, SIFT特征是一种基于图像梯度变化信息统计的特征描述子 ...

2015

0.0

ZHOU

Quan

, WEI

Xin

, CHEN

Jian-xin

, et al(周全, 魏昕, 陈建新, 等). Journal of Electronics & Information Technology(电子与信息学报), 2015, 37(8): 1913.

In order to address the non-rigid deformation (e.g., misalignment, poses, and expression) of facial images, this paper proposes a novel sparse representation face recognition algorithm using Dense Scale Invariant Feature Transform (SIFT) Feature Alignment (DSFA). The whole method consists of two steps: first, DSFA is employed as a generic transformation to roughly align training and testing samples; and then, input facial images are identified based on proposed sparse representation model. A novel coarse-to-fine scheme is designed to accelerate facial image alignment. The experimental results demonstrate the superiority of the proposed method over other methods on ORL, AR, and LFW datasets. The proposed approach improves 4.3% in terms of recognition accuracy and runs nearly 6 times faster than previous sparse approximation methods on three datasets.

(Key Laboratory of Ministry of Education for Broad Band Communication and Sensor Network Technology, Nanjing University of Posts and Telecommunication, Nanjing 210003, China)

该文针对人脸图像受到非刚性变化的影响，如旋转、姿态以及表情变化等，提出一种基于稠密尺度不变特征转换(SIFT)特征对齐(Dense SIFT Feature Alignment, DSFA)的稀疏表达人脸识别算法。整个算法包含两个步骤：首先利用DSFA方法对齐训练和测试样本；然后设计一种改进的稀疏表达模型进行人脸识别。为加快DSFA步骤的执行速度，还设计了一种由粗到精的层次化对齐机制。实验结果表明：在ORL，AR和LFW 3个典型数据集上，该文方法都获得了最高的识别精度。该文方法比传统稀疏表达方法在识别精度上平均提高了4.3%，同时提高了大约6倍的识别效率。

... 与构建SIFT特征不同, 稠密SIFT(dense scale invariant feature transform, DSIFT)特征^[10]省略了SIFT特征点检测的过程, 而是通过滑动窗口在图像区域内密集选点并计算SIFT特征 ...

2013

0.0

... 费舍尔向量(Fisher vector, FV)本质上是使用似然函数的梯度向量来表示一幅图像, 包含了深层次的图像信息, 在图像分类、图像检索等领域得到了广泛的应用并且取得了良好的效果^[11] ...

2012

0.0

GUAN

Tao

, LI

Ling-ling

(管涛, 李玲玲). Journal of Image and Graphics(中国图象图形学报), 2012, 17(12): 1461.

Gaussian Mixture Models(GMMs) is the basic model of statistical machine learning and widely applied to visual media fields. In recently years, with the rapid growth of visual media information and deep development of analytical techniques GMMs have obtained further developments in such fields as (texture) image segmentation, video analysis, image registration and clustering. This paper begins from the basic models of GMMs, discusses and analyzes from both theoretical and application aspects the solving methods of GMMs including EM algorithms and its variants, and expounds the two problems of model selection: online learning and model reduction. In visual applications, this paper introduces GMM-based models and methods in image segmentation, video analysis, image registration and image de-noising, expatiates the principles and processes of some newest and classical models, such as space-variant GMMs for image segmentation, coherent point draft algorithm for image registration. At last, this paper gives some possible latent directions and difficult problems.

高斯混合模型(GMMs)是统计学习理论的基本模型,在可视媒体领域应用广泛。近些年来,随着可视媒体信息的增长和分析技术的深入,GMMs在(纹理)图像分割、视频分析、图像配准、聚类等领域有了进一步的发展。从GMMs的基本模型出发,从理论和应用的角度讨论和分析了GMMs的求解算法,包括EM算法、变化形式等,论述了GMMs的模型选择问题:在线学习和模型约简。在视觉应用领域,介绍了GMMs在图像分段、视频分析、图像配准、图像降噪等领域的扩展模型与方法,详细地阐述了一些最新的典型模型的原理与过程,如用于图像分段的空间约束GMMs、图像配准中的关联点漂移算法。最后,讨论了一些潜在的发展方向与存在的困难问题。

... _k,k=1,…,K}是用来拟合特征向量分布的高斯混合模型(Gaussian mixture model, GMM)的参数, GMM由期望最大化(expectation maximization, EM)算法^[12]对特征向量进行训练得到, #cod#x003bc ...

2016

0.0

... 为了得到更准确的舰船目标区域, 参考文献[13]对舰船目标区域进行融合处理 ...

2016

0.0

Lan

, LIU

Bin

, WANG

Yan

, et al(杜兰, 刘彬, 王燕, 等). Journal of Electronics & Information Technology(电子与信息学报), 2016, 38(12): 3018.

This paper studies the issue of SAR target detection with CNN when the training samples are insufficient. The existing complete dataset is employed to assist accomplishing target detection task, where the training samples are not enough and the scene is complicated. Firstly, the existing complete dataset with image-level annotations is used to pre-train a CNN classification model, which is utilized to initialize the region proposal network and detection network. Then, the training dataset is enlarged with the existing complete dataset. Finally, the region proposal model and detection model are obtained through the pragmatic “4-step training algorithm” with the augmented training dataset. The experimental results on the measured data demonstrate that the proposed method can improve the detection performance compared with the traditional detection methods.

(National Laboratory of Radar Signal Processing, Xidian University, Xi’an 710071, China) (Collaborative Innovation Center of Information Sensing and Understanding at Xidian University, Xi’an 710071, China)

该文研究了训练样本不足的情况下利用卷积神经网络(Convolutional Neural Network, CNN)对合成孔径雷达(SAR)图像实现目标检测的问题。利用已有的完备数据集来辅助场景复杂且训练样本不足的数据集进行检测。首先用已有的完备数据集训练得到CNN分类模型，用于对候选区域提取网络和目标检测网络做参数初始化；然后利用完备数据集对训练数据集做扩充；最后通过“四步训练法”得到候选区域提取模型和目标检测模型。实测数据的实验结果证明，所提方法在SAR图像目标检测中可以获得较好的检测效果。

... 采用精度和召回率两个指标^[14]来评价检测性能 ...