作者简介: 刘恩勤, 女, 1984年生, 成都理工大学地理与规划学院副教授 e-mail: liuenqin13@mail.cdut.edu.cn
针对迷彩伪装高光谱遥感识别中仅利用光谱特征导致的轮廓不完整和空间信息割裂问题, 本研究提出协同空间-光谱特征的迷彩伪装高光谱遥感识别方法。 利用成像光谱仪采集草地背景下500~900 nm波段范围内光谱分辨率为1 nm的近景高光谱图像, 充分提取光谱特征(一阶导数、 二阶导数、 光谱指数等)和纹理特征(均值、 熵、 二阶矩等)变量, 分析伪装物和草地背景的差异, 利用马氏距离法筛选出有利于识别迷彩伪装的敏感参量, 进而提出多种波段组合策略并共构建5种数据集, 然后用多层感知器神经网络(MLP)、 支持向量机(SVM)、 光谱角(SAM)3种方法识别迷彩伪装。 结果发现: (1)在光谱特征变量中, 红波段、 近红外、 “红边”和窄波段光谱指数(CR1、 ARI1和ARI2)对迷彩伪装识别十分有利。 在纹理特征变量中, 均值和对比度是识别迷彩伪装的敏感波段。 (2)与只利用光谱或纹理特征的识别结果相比, 综合用空间-光谱特征的数据集识别的迷彩伪装完整性更好, 精度更高。 单用“红边”特征未能识别迷彩伪装, 但“红边”与其他波段配合使用则可识别出迷彩伪装。 (3)在5种数据集中, 由4个波段(红、 近红外、 均值、 对比度)构成的数据集4的迷彩伪装识别精度最高, 生产者精度可达99.85%, 用户精度为99.34%。 这种波段组合策略可推广到多光谱遥感图像的迷彩伪装识别。 (4)在三种识别方法中, SVM的识别效果整体表现最好, 能够有效识别迷彩伪装, SAM则表现较差。 研究成果可推广到新配色和新图案的迷彩伪装识别, 筛选出的敏感波段和有效识别特征可作为无人机和卫星高光谱遥感图像特征提取和目标识别的依据。
To address the issues of incomplete contour and fragmented spatial information caused by the sole use of spectral features in hyperspectral remote sensing identification of camouflage, this study proposes a method for identifying camouflage in hyperspectral remote sensing by integrating spatial and spectral features. An imaging spectrometer was employed to capture close-range hyperspectral imagery spanning 400~900 nm spectral range with 1 nm resolution under a grassland background. Spectral features (first derivative, second derivative, spectral indices, etc.) and texture features (mean, entropy, second moment, etc.) were extracted, and the differences between camouflaged objects and the grassland background were analyzed. The Mahalanobis distance method was used to screen out sensitive parameters conducive to camouflage identification, and then multiple band combination strategies were proposed, resulting in five datasets being constructed. Three methods, namely, multi-layer perceptron neural network (MLP), support vector machine (SVM), and spectral angle (SAM), were used to identify camouflage. The results show that: (1) Among the spectral feature variables, the red band, near-infrared, “red edge”, and narrow-band spectral indices (CR1, ARI1, and ARI2) are very beneficial for the identification of camouflage. Among the texture feature variables, mean and contrast are sensitive bands for the identification of camouflage. (2) Compared with the identification results using only spectral or texture features, the dataset integrating spatial-spectral features has better integrity and higher accuracy in identifying camouflage. The "red edge" feature alone failed to identify camouflage, but when combined with other bands, it could identify camouflage. (3) Among the five datasets, dataset 4, composed of four bands (red, near-infrared, mean, and contrast), has the highest accuracy in identifying camouflage, with a producer's accuracy of 99.85% and a user's accuracy of 99.34%. This band combination strategy can be extended to the identification of camouflage in multispectral remote sensing images. (4) Among the three identification methods, SVM performs the best overall and can effectively identify camouflage, while SAM performs poorly. The research results can be extended to the identification of new color schemes and camouflage patterns, and the selected sensitive bands and effective identification features can serve as the basis for feature extraction and target identification in hyperspectral remote sensing images from unmanned aerial vehicles and satellites.
伪装物体识别已成为一个极具挑战和战略意义的研究领域, 旨在识别和区分隐藏在复杂背景中的伪装物体[1, 2]。 随着现代军事技术的不断发展和伪装技术不断进步, 目标识别的难度显著增加, 传统识别方法往往难以有效区分伪装物体与自然背景。 高光谱遥感通过捕获地物的连续光谱曲线, 利用“ 光谱指纹” 对伪装材料和环境背景进行光谱差异定量分析, 在伪装物体检测方面具有很大的应用潜力[3, 4]。
在利用高光谱遥感技术识别伪装物体的研究中, 国内外学者主要围绕高光谱数据的预处理[5]、 伪装物体与背景光谱差异与特征提取[6, 7]、 高光谱图像分类与目标检测方法[8, 9]、 应用场景与实验验证等多个维度展开。 与其他高光谱遥感技术相比, 近景高光谱遥感受大气干扰小(如水汽、 气溶胶), 且兼具高光谱分辨率和高空间分辨率的特点, 尤其适合小范围高价值目标的精准识别。 同时, 基于近景高光谱遥感图像筛选出的敏感波段和有效特征是无人机和卫星高光谱遥感图像特征提取和目标识别的重要依据。
迷彩伪装常借助破坏性着色来模糊目标轮廓, 并利用多种与背景相似的颜色或图案组合融入环境, 从而降低被识别概率。 迷彩伪装包含的颜色种类越多, 光谱反射特征就越复杂。 考虑到迷彩伪装本身的复杂光谱特征、 破坏性着色及环境背景影响, 仅利用光谱特征会导致目标识别轮廓不完整和空间信息割裂问题, 甚至很难识别出迷彩伪装。
除光谱特征外, 伪装物还具有与环境背景不同的纹理等空间特征[10]。 伪装物往往出现在一定的环境背景里, 例如草地、 丛林、 沙漠等。 在遥感图像上, 草地往往具有平滑纹理, 丛林是粗糙或者颗粒感纹理, 沙漠则是细腻或波纹的纹理特征。 这些特征是伪装物体不具备的, 对区分伪装物体和环境背景十分有利。 伪装物体的局部图案(例如纹理)和整体轮廓(例如边界)都是帮助人类成功找到它们的关键线索[11]。 鲜晓东[12]等利用普通RGB图像的颜色和纹理特征检测伪装色矿工目标, 减少了矿工目标漏检和误检问题; Ren[10]等基于自然图像数据集构建多重纹理感知优化模块, 有效识别出自然界中的动物伪装。 光谱-纹理多特征融合能够克服对特定特征的依赖, 实现多特征的优势互补[2]。 然而, 当前基于高光谱遥感的伪装物体识别研究主要利用光谱特征, 纹理特征并未被充分利用, 并且对光谱特征和纹理特征的组合策略缺乏深入探讨。
面对伪装物体高精度识别技术的迫切需求, 以及当前迷彩伪装高光谱识别研究中仅利用光谱特征进行伪装检测存在的识别结果不完整、 碎片化问题, 利用Rikola成像光谱仪采集自然环境下近景高光谱图像, 提取高光谱图像的光谱特征(一阶导数、 二阶导数和光谱指数等)和纹理特征(熵、 二阶矩等), 分析伪装物体和环境背景的光谱和纹理特征差异, 利用马氏距离等方法筛选有利于迷彩伪装识别的敏感波段, 进而提出光谱和纹理特征变量组合策略, 实现伪装物高精度提取。
室外布设草地场景, 包含草地、 迷彩伪装布和参考白板等物体。 在天气晴好的中午, 利用Rikola高光谱相机获取近景高光谱图像(波长500~900 nm), 包含367个波段, 光谱分辨率约为1 nm, 空间分辨率为4 mm, 每个波段包含100万个像元。 对室外获取的图像进行辐射校正得到辐射亮度图像。 利用标准参考白板的反射率数据对辐射辐射亮度进行反射率校正得到反射率图像, 见图1(b)。
伪装物和环境背景的特征差异是识别伪装物的基本依据。 本研究强化迷彩伪装和草地背景的光谱和纹理特征差异, 并筛选出对迷彩伪装识别有利的光谱和纹理特征变量。
1.2.1 光谱特征提取和变换
伪装物和环境背景虽然颜色看上去很相似, 但是实际上它们的物质成分、 结构构造以及物理和化学成分存在差异, “ 同色” 但不“ 同谱” 。 在自然条件下, 地物反射率采集受到天气条件、 周围环境等因素影响, 地物间光谱反射率差异可能比较细微。 借助光谱特征变换等手段可以放大和凸显迷彩伪装和环境背景的差异同时抑制噪声。
我们选择一阶导数、 二阶导数变换来来增强植物背景和迷彩伪装之间的光谱特征差异。 此外, 考虑到光谱指数在捕捉物体之间微弱信息差别、 降低土壤反射率的干扰以及有效凸显植物的类别差异[13]等方面的有效性, 我们选择了红边指数、 绿度总和指数、 比值指数、 NDVI、 植被衰减指数、 光化学植被指数等15个光谱指数参与迷彩伪装识别。 光谱指数的计算方法如表1所示。
![]() | 表1 采用的光谱指数 Table 1 Spectral indices information |
1.2.2 基于马氏距离的伪装物体敏感波段分析
有效的变量选择是提高迷彩伪装识别效率的关键。 高光谱图像存在大量冗余和重复的信息, 并且上述光谱特征变换后的变量非常多。 如果不加选择地将所有变量都参与识别, 那么后续进行特征分析和训练模型所需的时间就会很长, 模型的泛化能力就会下降, 还会引起“ 维数灾难” 使得识别精度不增反降。 因此, 需要筛选出对迷彩伪装识别真正有利的光谱变量, 并降低数据维度。 考虑到马氏距离在特征变量筛选中的有效性[13, 26], 这里采用马氏距离[27]来筛选迷彩伪装识别有利的敏感波段。
纹理特征的提取方法[28]主要有数学变换法、 模型法、 统计法、 结构分析法和深度学习方法等。 其中, 灰度共生矩阵方法(GLCM)是纹理特征提取的一种常用统计方法, 它通过分析图像中像素之间的空间关系和灰度级别的统计分布来捕捉图像纹理特征, 能够捕捉多个方向上的丰富纹理信息, 具有较强适应性与鲁棒性[29]。
这里利用GLCM来提取代表性的8个纹理特征参数, 分别是均值、 方差、 协同性、 对比度、 相异性、 信息熵、 二阶矩和相关性。 纹理因子具体计算公式请参见文献[30]。 我们利用主成分分析法对具有367个波段的反射率图像进行压缩, 进而基于第1主成分利用GLCM提取图像中蕴含的纹理特征。
为了分析上述筛选出的有利波段以及不同特征变量组合策略对迷彩伪装识别的有效性, 利用上述变量进行组合得到5个数据集。 数据集1是2.1节中处理得到的反射率图像, 包含367个波段。 其他数据集都是基于上述马氏距离等方法筛选出的有利波段组成。 其中, 数据集2是基于马氏距离筛选出的红边波段, 包含4个波段。 数据集3是由纹理特征组成, 包含8个波段。 数据集4是由光谱特征(红、 近红外)和纹理特征(均值、 对比度)组成, 包含4个波段。 数据集5是由红边波段、 光谱指数(ARI1)和均值纹理特征组成, 共3个波段。
参考野外拍摄的样方高清照片, 我们确定了样方包含的3种地物类型和空间位置, 并对每种类型分别选取了约5 000个像素样本。 其中, 50%的数据用于训练模型, 剩下的50%用来验证分类效果。 为了进行客观对比, 下面不同识别方法使用的都是相同的训练样本和验证样本。
在分析伪装物和草地背景的光谱和空间特征差异的基础上, 针对高光谱图像的目标地物识别方法的选择尤为重要。 识别方法应该能够综合利用多种数据源的信息, 处理高维数据, 从而提高伪装物识别的准确率。 考虑到光谱角(SAM)方法的简单高效[31]、 支持向量机(SVM)处理高维信息的有效性和泛化能力强[32], 以及多层感知器(MLP)神经网络的非线性建模及自动特征提取能力[33], 这里分别采用了SAM、 SVM和MLP共3种方法对上述5个数据集进行迷彩伪装识别。 其中, SVM和MLP都是典型的机器学习算法, 在很多应用中表现出色。
采用Kappa系数和总体准确率(OA)来评价迷彩伪装识别结果, 以确保我们的方法能够有效区分迷彩伪装和植物背景。
从反射率图像上分别选取迷彩伪装和草地背景的若干个纯净像元样本, 计算其光谱平均值作为该物体的反射光谱曲线, 进而采用Savitzky-Golay滤波方法对平均光谱进行平滑处理, 结果见图2(a)。
从图2(a)可见, 草地植物和迷彩伪装在可见光和近红外波段的曲线形态具有一定的相似性, 二者都是在可见光波段整体的反射率较低, 在近红外波段的反射率高。 二者的不同之处在于迷彩伪装的反射率整体要高于植物的光谱反射率。 此外, 在650~750 nm波段, 草地植物具有明显的“ 红边” 特征, 即从红波段向近红外波段过渡的反射陡坡, 也是植物和迷彩伪装差异较大的波段。 对图2a的光谱曲线进行一阶导数、 二阶导数变换, 结果见图2(b, c)。 草地植物和谜彩伪装在一阶导数700~750 nm波段[图2(b)]以及二阶导数的670~700以及740 nm处[图2(c)]的差异较大。
在图2基础上我们分别计算迷彩伪装和草地背景的马氏距离, 结果见图3(a— c)。 基于马氏距离的计算结果, 设置不同的阈值挑选出的敏感波段见表2。 在p< 0.05的条件下, 筛选出的波段数量较多。 随着筛选条件中的p值越来越小, 筛选出的波段数量也越来越少。 在所有筛选出的波段中, 出现次数频率最高的是红波段、 近红外和“ 红边” , 它们都是迷彩伪装和草地背景光谱特征差异较大的波段。
![]() | 表2 基于马氏距离法筛选出的敏感波段 Table 2 Favorable bands selected using Mahalanobis distance method |
利用表1中公式计算出的部分光谱指数见图4。 为进一步研究光谱特征变量对迷彩伪装和环境背景的可分性的影响, 我们分别统计了迷彩伪装和环境背景在15个光谱指数上的均值差异, 结果见图5。 在15个光谱指数中, 二者在CR1、 ARI1和ARI2的差异最大。
基于3.2节中的方法获取8个代表性纹理特征向量, 见图6。 在均值纹理变量[图6(a)]上, 草地具有较强的立体感或者较为杂乱, 而迷彩伪装的纹理则相对比较平面感、 整齐。 此外, 我们计算了迷彩伪装和植物在8个纹理特征变量上的值域差异, 结果见图7。 在8个纹理特征变量中, 迷彩伪装和植物在均值变量[图6(a)]上的差异最大, 其次是对比度[图6(d)]。
基于上述构建的5个数据集, 我们分别应用SVM、 SAM和MLP三种分类方法对数据集进行了识别, 并对识别结果进行精度评价, 识别结果见图8, 精度评价结果见表3。
![]() | 图8 分别使用 SVM、 MLP和SAM方法对五个数据集的识别结果Fig.8 Recognition results based on five Datasets using SVM, MLP, and SAM methods |
![]() | 表3 精度评价 Table 3 Accuracy assessment |
基于反射率波段组成的数据集1利用SVM和SAM两种方法都可以识别出迷彩伪装, 证明了高光谱图像识别迷彩伪装的有效性。 数据集2是由4个“ 红边” 波段组成的数据集, 但采用三种方法都未能有效识别迷彩伪装。 由红边波段参与构成的数据集5有效识别出迷彩伪装。 这表明单独使用红边波段难以准确有效识别迷彩伪装, 而它与其他波段结合使用可以识别迷彩伪装。 基于数据集3的MLP和SVM的识别效果整体较好, 说明纹理特征对迷彩伪装识别是十分有效的, 可以单独用于识别迷彩伪装。 相比单独使用纹理特征, 综合利用光谱和纹理特征的数据集4和数据集5识别出的迷彩伪装完整性更好。
在实际应用中, 可能会遇到伪装物体受环境遮挡、 图像空间分辨率较低、 混合像元和光谱变异等问题。 仅利用光谱特征进行迷彩伪装识别的割裂现象会更加严重, 甚至会出现无法识别的情况。 因此, 综合使用光谱和纹理特征等多特征来保证结果识别的完整性对于实际应用具有重要意义。
利用特征优选后的变量构建的4个数据集中, 数据集3、 数据集4和数据集5都可以识别出迷彩伪装。 基于数据集4, 利用SVM和MLP算法都可以准确识别出迷彩伪装。 这说明组成数据集4是最有效的特征组合方法。 值得注意的是, 数据集4包含的波段为2个光谱变量(包含红、 近红外)和2个纹理变量(包含均值、 对比度), 可以推广到普通的多光谱图像。 数据集5的波段数量最少(只有3个波段), 但是基于数据集5利用三种算法都可以准确识别出迷彩伪装, 这也证明了上述筛选出的一阶导数、 窄波段光谱指数以及纹理特征对于识别迷彩伪装的有效性。
基于特征优选后的变量构建的4个数据集和3种分类方法识别出的所有结果中, 基于数据集4利用SVM识别出的迷彩伪装结果的精度最高, 整体精度为98.99%, Kappa系数为0.97, 迷彩伪装识别的生产者精度为99.85%, 用户精度为99.34%。 这意味着由光谱、 纹理特征波段组合的数据集4是识别迷彩伪装的最有效组合。
此外, 不同分类方法对识别结果的影响差别很大。 在3种识别方法中, SVM整体表现最好, 其次是MLP, 而SAM的精度相对最低。 这可能与方法本身的特点和应用场景有关。 SVM适用于小样本、 高维数据集, 而MLP神经网络则对大规模、 复杂的非线性数据集表现出色[34]。 本研究中, 样本的数据量相对较少, 基于SVM的识别效果最好。
针对伪装物体是植被(如绿色迷彩伪装、 植被覆盖的设施)的情况, 利用自然条件下获取的涵盖草地和迷彩伪装的可见和近红外波段的高光谱图像, 分析了迷彩伪装和环境环境背景的光谱和纹理特征差异, 筛选迷彩伪装识别的敏感波段, 采用不同的波段组合策略构建多个特征数据集, 进而利用3种方法进行迷彩伪装识别。 主要结论包括: (1)红波段、 近红外、 “ 红边” 和窄波段光谱指数(CR1、 ARI1和ARI2)是迷彩伪装和环境环境背景差异较大的光谱特征波段, 均值和对比度是迷彩伪装和环境环境背景差异较大的纹理特征波段。 (2)单独用纹理特征或综合利用空谱特征都可以识别迷彩伪装, 但综合利用空谱特征的数据集识别出的迷彩伪装完整性更好。 单独用“ 红边” 特征未能有效识别出迷彩伪装, 红边需要与其他波段配合使用。 (3)5种数据集中, 基于光谱变量(红、 近红外)和纹理变量(均值、 对比度)组成的数据集4的SVM方法的识别精度最高, 整体精度为98.99%, Kappa系数为0.97, 迷彩伪装识别的生产者精度为99.85%, 用户精度为99.34%。 (4)在SAM、 SVM和MLP三种识别方法中, SVM在迷彩伪装识别中整体表现最好, 能够有效识别迷彩伪装。
此外, 本工作中所用的光谱指数主要有利于真实植物识别, 进而间接区分迷彩伪装和草地。 在未来研究中, 可以考虑构建针对伪装物体的光谱指数。 当前, 伪装物体高光谱遥感识别研究正处于快速发展之中。 未来的研究将更加注重高光谱数据与其他遥感数据(如激光雷达、 SAR等)的融合, 以及多特征(光谱、 纹理、 形状等)综合利用, 以提高伪装物体的检测精度和鲁棒性。 结合人工智能和深度学习技术, 未来的研究将更加智能化、 自动化, 识别伪装物体的能力将不断提高。
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|
[22] |
|
[23] |
|
[24] |
|
[25] |
|
[26] |
|
[27] |
|
[28] |
|
[29] |
|
[30] |
|
[31] |
|
[32] |
|
[33] |
|
[34] |
|