融合自适应稀疏表示和相关系数的高光谱伪装分类方法
周冰, 李秉璇*, 贺宣, 刘贺雄, 王法臻
陆军工程大学石家庄校区, 河北 石家庄 050000
*通讯作者 e-mail: 906975318@qq.com

作者简介: 周 冰, 1976年生, 陆军工程大学石家庄校区副教授 e-mail: zhbgxgc@163.com

摘要

目前比较成熟的高光谱成像手段有卫星遥感和航空成像技术, 这两种成像方式侦察时间大致相同, 入射光方向基本一致, 因而地物的光谱曲线比较固定; 在陆基条件下, 地物的光谱曲线受成像环境的影响凸显, 因此应该对适用于陆基条件下的高光谱图像分类方法进行研究。 在陆基高光谱图像中, 对每个地物进行类型以及种类的判别有利于后续对目标的识别和处理, 不同于传统遥感图像分类, 陆基条件下的高光谱图像目标分类训练样本不仅较难获得, 并且在陆基条件下的高光谱图像中, 训练样本之间的相关性随着目标类型、 探测器参数以及成像环境等因素时刻发生变化。 基于稀疏性表示的分类方法已经被广泛应用于处理图像问题以及各种机器视觉问题。 对于陆基高光谱图像来说, 基于固定范数约束的稀疏编码策略无法适应陆基条件下高光谱成像多变的环境, 而自适应稀疏表示可以根据样本相关性自适应的调节范数约束, 相关系数可以提高图像中的破坏因素(阴影、 噪声点等)的识别精度。 通过引入正则化参数, 融合了自适应稀疏表示和相关系数, 提出了一种新的高光谱图像分类方法。 为了验证所提方法的有效性, 分别在绿色植被背景和荒漠背景中设置伪装物, 通过不同的分类方法对图像进行分类, 实验结果表明, 不管是分类精度还是分类一致性, 该方法都有明显的优势, 可以应用于陆基条件下的高光谱图像分类, 为目标分类提供了理论基础。

关键词: 分类; 陆基高光谱图像; 伪装; 自适应稀疏表示; 相关系数
中图分类号:TP72 文献标识码:A
Classification of Camouflages Using Hyperspectral Images Combined With Fusing Adaptive Sparse Representation and Correlation Coefficient
ZHOU Bing, LI Bing-xuan*, HE Xuan, LIU He-xiong, WANG Fa-zhen
Department of Opto-electronics, Army Engineering University of PLA, Shijiazhuang 050000, China
*Corresponding author
Abstract

In recent years, with the rapid development of military reconnaissance and identification technology, military equipment used for reconnaissance and detection has gradually achieved high-precision levels. The troops with high-tech reconnaissance methods can often perform precise strikes on targets, significantly reducing the cost of victory in war. The more mature hyperspectral imaging methods include satellite remote sensing and high-altitude aerial imaging technologies. The two imaging methods have roughly the same reconnaissance time and the same direction of incident light. Therefore, the spectral curve of the ground object is relatively fixed. However, under land-based conditions, the spectral curve of the ground feature is prominently affected by the imaging environment, so the method of hyperspectral image classification is suitable for land-based conditions should be studied. In land-based hyperspectral images, the identification and classification of each feature are beneficial to the subsequent identification and processing of camouflage targets. Different from traditional remote sensing spectral image classification, the classification of hyperspectral camouflage targets under land-based conditions is not only difficult to obtain training samples, and in hyperspectral images under land-based conditions, the correlation between training samples under land-based conditions, the correlation between training samples varies with the target type. The parameters of the detector and the imaging environment are constantly changing. Classification methods based on sparse representation have been widely used to deal with image problems and various machine vision problems, including hyperspectral image classification. For land-based hyperspectral images, sparse coding strategies based on fixed norm constraints cannot be adapted under land-based conditions, hyperspectral imaging. For land-based hyperspectral images, sparse coding strategies based on fixed norm constraints cannot be adapted. Under land-based conditions, hyperspectral imaging is a changeable environment, and adaptive sparse representation can adaptively adjust norm constraints based on sample correlation. Correlation coefficients can improve the image’s recognition accuracy of destructive factors (shadows, noise points, etc.). This paper proposes a new hyperspectral image classification method by introducing regularization parameters, fusing adaptive sparse representation and correlation coefficients. In order to verify the effectiveness of the proposed method, camouflage objects were set in the green vegetation background and the desert background, and different classification methods classified the images. The experimental results show that the method in this paper is obvious, whether it is classification accuracy or classification consistency. The advantages of this can be applied to the classification of hyperspectral images under land-based conditions, providing a theoretical basis for camouflage reconnaissance and identification.

Key words: Classification; Land-based hyperspectral image; Camouflage; Adaptive sparse representation; Correlation coefficient
引言

陆基条件下的高光谱成像一般指的是用手持或者小型无人机[1]为载体的成像光谱仪进行成像; 不同于传统遥感光谱图像分类, 陆基条件下的高光谱目标分类, 训练样本不仅较难获得, 并且在陆基条件下的高光谱图像中, 训练样本之间的相关性随着目标类型、 探测器参数以及成像环境等因素时刻发生变化。 对于陆基高光谱图像来说, 使用基于固定范数约束的稀疏编码策略无法适应陆基条件下高光谱成像多变的环境, 针对这一问题, 提出一种新的融合自适应稀疏表示与相关系数的高光谱图像分类方法, 有效解决陆基高光谱图像分类的问题, 通过两组高光谱图像实验, 验证了本算法的有效性与鲁棒性。

1 自适应稀疏表示

高光谱图像分类本质上是给每一个像素单元赋予一个类别, SRC是监督的高光谱图像分类方式, 需要提前获取数据的样本。 假定获取的第i个类别的训练样本的字典为矩阵Di, Di=[ai, 1, ai, 2, …, ai, ni]∈ Rd×ni, d为训练样本的波段数, ni为第i个, $n='sum^{c}_{i=1}$, ni为样本总数, c为分类的类别总数。将包含c个类别的全部字典定义为联合字典D, 如式(1)所示

D=[D1, D2, D3, , Dc]=[a1, 1, a1, 2, a1, 3, , ac, nc](1)

一个来自光谱空间的未知样本xRd可以通过联合字典线性表示, 如式(2)所示

x=(2)

其中, α =[0, …, 0, ai, 1, ai, 2, …, ai, ni, 0, …, 0]TRnx的稀疏系数向量, 稀疏系数向量α 中的非零元素个数被称为稀疏度, 在给定联合字典D的情况下, α 可以通过式(3)来得到。

α^=argminx-s.t. α0K(3)

K为预设的稀疏度上限, 式(3)是NP-hard问题, 可以通过贪婪算法以及OMP追踪来解决。 求出α 的近似解后, 进一步求出待测样本x在各类字典的重构误差来决定待测样本的所属类别, 假设δ i( α^)为 α^中对应第i个类别的元素, 对样本进行重构后表达式为δ i( α^), 重构误差为x-δ i( α^), 通过式(4)将样本分配到重构误差最小的类别中。

C(x)=argminx-Dδi(α^)2(4)

在实际应用中, 想完全获得互不相关的训练样本难度比较大, 并且在很多场景中往往难以获得足够的训练样本, 基于联合字典表示的方法能够解决小样本的问题[2]。 联合字典表示是用所有类别的字典来表示待测样本x, 所有c类的训练样本组成的联合字典为D=[D1, D2, …, Dc], 待测样本x可以由式(5)表示。

α^=argminx-22(5)

但用全部训练样本进行联合表示在实际应用中可能无法获得与待测样本同类的训练样本, 此时如何对待测样本进行分类都将是错误的, 联合表示(collaborative representation based classification[3])将每一个样本都使用联合字典的所有元素进行表示, 这导致无法分辨待测样本的有效性。 陆基条件下的高光谱图像受太阳高度角、 探测时间、 探测器的天顶角、 探测器与太阳的方位角都会影响地物的光谱曲线, 同种地物在不同的成像条件下很容易出现不同谱的情况。 同样, 陆基条件下的高光谱图像的训练样本不仅较难获取, 而且训练样本随着环境条件、 成像条件、 探测器参数也会不断变化, 单纯使用稀疏表示或者联合表示都不能满足陆基条件下的使用要求。 自适应稀疏表示(adaptive sparse representation based classification, ASRC)是融合了稀疏表示和联合表示的稀疏表示方法, 其模型为

α^=argminDdiag(α)* s.t.x-22ε(6)

其中diag()是对角化算符, ‖ Ddiag(α )‖ * 的定义如式(7)所示

Ddiag(α)* =Trace(diag(β)TDTDdiag(β))(7)

训练样本的相关性随着实际拍摄的场景变化而变化, 当训练样本完全互不相关时, 此时样本字典的原子之间应该相互正交, 即DTD=I, 此时的稀疏表示模型变化为式(8), 此时的自适应稀疏分类变为SRC。

Ddiag(α)* =Trace((diag(α))TDTDdiag(α))=α1(8)

当实际场景中的训练样本之间相关系数为1时, 样本字典D=d1T, d为2范数的归一化样本, 此时稀疏模型变化如式(9)所示, 自适应稀疏分类变为CRC。

Ddiag(α)* =Trace((diag(α))TdTddiag(α))=α2(9)

由以上分析可知, 自适应稀疏表示不使用固定的范数约束, 能够根据训练样本的变化并且自适应的调节稀疏项, 能够适用于陆基条件下训练样本的多变性, 提高分类精度。

2 相关系数

陆基条件下的高光谱图像相比于遥感图像的光谱间相关性更大, 强相关的像素更多, 而这些强相关的像素在进行稀疏分类时重构误差往往较小, 是导致误分、 错分的主要原因。 常用的分类器例如KNN[4]分类器中使用的欧式距离并不是测量两个高光谱像素之间距离的最佳选择, 而相关系数(correlation coefficient)是确定两个变量是否相关的有效指标, 在此使用不同像素之间的相关系数来确定这些像素是否属于同一类, 测量相关系数的计算方法如式(10)所示。

p=z=1d[(Xki)z-uXki][(y)z-uy]z=1d[(Xi)-uXki]2z=1d[(y)z-uy]2(10)

式(10)中, A和B为两个d维的光谱向量{a }z=1d和{b }z=1d, Var(A)和Var(B)分别代表A和B的方差, uaub分别代表了A和B的均值, 通常情况下相关系数一般大于0小于1, 相关系数越接近1代表两个向量的相关性越强。

3 算法构成

自适应稀疏表示的方法假设本地邻域中的像素由同样的材质构成, 但这种假设并不完全正确[5]。 事实上, 局部区域中的很多像素可能会具有完全不同的光谱曲线, 因而影响分类器的性能, 在局部区域中, 相关系数能够有效识别这些像素。 因此, 融合CC和ASRC能够成为区分那些具有不同光谱特性的像素的有效方法, 克服破坏性因素(阴影、 噪声点)之类的影响, 有望提升算法的分类精度。 本文提出的CCASR主要分为四个步骤, 第一步, 计算测试样本和训练样本的CC值。 第二步, 使用ASR计算待测样本的残差。 第三步, 使用定义的决策函数来确定每个像素的类别。 第四步, 根据类别标签画出分类图。 假设第i类的训练样本集为Xi=[ X1i, X2i, X3i, …, Xkii], 其中ki表示第i类的训练样本个数。 对于待测样本x, CCASR首先计算测试样本x与第i类训练样本每个样本的CC值。

接下来, 我们计算像素x经过ASRC重构产生重构误差, 样本字典X=[X1, X2, X3, …, Xi]作为稀疏表示的字典, α i作为Xi的稀疏向量, 待测样本x可以通过字典和稀疏向量进行表示, 如式(11)所示。

x=Xiαi(11)

求出稀疏矩阵后, 每一种类别的残差都可以通过式(12)来计算。

ri(x)=x-Xiα^i2(12)

最后, 通过引入正则化参数λ 来将CC值与ASR进行融合, 通过式(13)来获取待测样本x的标签, 并将这种新的高光谱分类方法命名为CCASR。 算法流程图如表1所示。

Class(x)=argmin(ri(x)+λ×(1-cci(y)))(13)

表1 CCASR的算法流程图 Table 1 CCASR algorithm flow chart
4 实验部分

采用两组实验数据来验证本算法的有效性, 两组实验数据均是是通过基于声光可调谐滤波器(AOTF)的高光谱成像仪HIS-300拍摄的高光谱图像, 第一组数据图像大小为470× 370像素, 波段宽度为449~801 nm, 波段间隔为4 nm, 拍摄的天气晴朗、 无风、 空气质量优。 高光谱成像仪在拍摄时的曝光时间为0.1 s, 增益设置为0。

两幅图像均选择25, 50和85波段作为R, G和B三个通道合成假彩色图像。 实验数据1的假彩色图和灰度图如图1所示, 实验数据1的背景主要为绿色草地背景。 拍摄场景中共有6种地物, 按照从A到F的顺序, 依次为灌木丛、 某型丛林迷彩作战训练服、 绿色棉质外套、 某型作训雨衣、 两种人工草皮。

图1 实验数据1的伪彩色图像和灰度图Fig.1 Gray scale and pseudo colour images of experimental data 1

实验数据2的背景主要是荒漠背景, 图像为像素大小410× 400像素大小, 拍摄场景的伪彩色图像和灰度图如图2所示, 在图中布置了三种伪装物, 从A到D的顺序依次为某型荒漠丛林作战训练服、 黄色伪装板1、 黄色伪装板2以及荒漠丛林迷彩伪装帽, E为荒漠背景, F为秋季浅黄色草皮, G为秋季阔叶树木的树叶。

图2 实验数据2的伪彩色图像和灰度图Fig.2 Gray scale and pseudo colour images of experimental data 2

4.1 实验1

使用实验1的数据来测试本文所提方法的有效性, 为了比较, 采用了KNN, SRC, CRC, ASRC以及本文提出的CCASRC, 但邻域数量、 稀疏度、 正则化参数均会分别对KNN, SRC和CRC的分类精度产生影响。 因此在进行对比实验之前, 有必要对每个算法的影响因素进行分析, 对参数设置进行优化, 确保每个算法都在最佳状态下进行分类。 三种算法的分类识别精度随着参数变化的影响如图3所示。 从三幅图中可以看出, 三种监督算法的最佳参数N, K以及λ 设置为2, 28, 10-2

图3 三种算法分类精度受参数设置的影响
(a): 邻域数量对KNN分类精度的影响; (b): K对SRC分类精度的影响; (c): 正则化参数对CRC分类精度的影响
Fig.3 The classification accuracies of the three algorithm are affected by the parameter setting
(a): The number of neighborhoods and KNN classification accuracy; (b): K and SRC classification accuracy; (c): Regularization parameter λ and CRC classification accuracy

CCASRC算法的主要影响参数是最近邻域数量N和正则化参数, 如图4所示, 从图中可以得到最近邻域数量为6, 正则化参数为0.5时的分类精度最高。 同时可以看出当正则化参数设置为0时, 分类方法完全变成自适应稀疏分类, 融合了CC值后对分类精度有一定的提高, 但当正则化参数过高时, 算法精度又有所下降, 这可以证明本文融合策略的有效性。 随着领域数量N的增加, 本方法的分类精度先增加后减小, 这是因为属于同一类别的像素通常由相似的材料组成, 但同时也容易受到阴影和其他成像因素的影响。

图4 参数λ N对CCASRC算法分类精度的影响Fig.4 The classification accuracy of CCASRC algorithm is impacted by the parameters λ and N

各个监督方法中每个类别随机选取10%的样本作为训练样本, 为了避免样本随机性的影响, 每个实验均重复5次并取平均值作为最后分类的结果, 求得的分类对象对比如图5所示, 各个方法之间的分类精度矩阵直方图如图6所示。

图5 绿地背景中各种分类方法的分类结果
(a): K-means; (b): KNN; (c): SRC; (d): CRC; (e): ASRC; (f): CCASRC
Fig.5 Classification results of various classification methods in the background of green space
(a): K-means; (b): KNN; (c): SRC; (d): CRC; (e): ASRC; (f): CCASRC

图6 各种分类方法OA的矩阵直方图Fig.6 Matrix histogram of various classification method OA

实验的6种方法中, 非监督的K-means由于缺少先验信息, 分类结果相较于其他方法来说最差, 本属于灌木丛的大量像元被误分到了背景类别中, 各个目标之间的混分情况也比较严重, 总体分类精度为65%, KC为0.53。 5种监督方法中, KNN方法表现最差, 将灌木丛的像元误分到了目标B和E以及背景中, CRC和SRC都将属于灌木丛的像元分类到了伪装物E类别中, ASRC分类结果相对较好, 但分类图中出现了较多的“ 麻点” , 伪装目标分辨率较低。 CCASR分类精度达到了88.5%, 相对于其他方法最高, 并且分类图中的各种目标清晰可见, 尤其在阴影部分相较于ASRC分类错误相对减少, “ 麻点” 效应大大减弱, KC系数为0.86, 说明CCASRC的分类一致性也较好。

4.2 实验2

实验2针对荒漠背景下的高光谱图像进行分类, 使用KNN、 SRC、 CRC以及本方法对图像进行分类, 得到的分类结果图如图7所示, 分类精度表如表2所示。

图7 荒漠背景中各种方法的分类结果
(a): SRC; (b): CRC; (c): ASRC; (d): CCASRC
Fig.7 Classification results of various methods in desert background
(a): SRC; (b): CRC; (c): ASRC; (d): CCASRC

表2 各个地物及背景的分类OA, AA及Kappa Table 2 Classification of various features and backgrounds OA and Kappa

从以上的实验结果可以看出, 四种分类方法都能识别出四种伪装物体, 但从分类图像和Kappa系数来看, CCASRC在分类一致性和背景分类精度上具有明显的优势。 具体来看, SRC方法的分类结果“ 麻点” 最多, 虽然没有出现成块的分类错误, 但各个地物及背景的分类精度都不高, 并且Kappa系数只有0.684。 SRC和ASRC在进行分类时都出现了成块的分类错误, SRC将左下角的背景F的像素误分为了背景G, ASRC将背景E中很大一部分像素误分为了伪装物B, 而CCASRC拥有最高的分类精度, 图中的场景“ 麻点” 较少, 伪装物清晰可见。 这主要是因为陆基条件下的高光谱图像分类很难获得精准的样本, 同一类别中获得的样本相关性较高, 而本文提出的CCASRC不仅能够考虑样本的选择, 同时能够考虑样本集的相关性, 与相关系数融合能够克服图像中的破坏性因素(比如阴影, 噪声点等), 在获得较高分类精度的同时可以保持分类的一致性。

5 结论

结合了陆基条件下的高光谱图像特点, 提出了一种针对陆基条件下高光谱图像的分类方法, 对研究陆基条件下的高光谱图像分类具有一定的指导意义。 该方法通过引入正则化参数, 融合了自适应稀疏表示和相关系数, 既能兼顾样本数量以及样本之间的相关性, 同时对于图像中的破坏性因素(比如阴影、 噪声点等)具有一定的抗干扰性, 通过绿地背景以及荒漠背景下的高光谱图像进行了分类实验, 实验结果表明, 本方法分类精度有了一定的提高, 并且分类一致性较好, 可以应用于陆基条件下的高光谱图像分类。

参考文献
[1] PENG Yao-qi, XIAO Ying-xin, ZHENG Yong-jun, et al(彭要奇, 肖颖欣, 郑永军, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2020, 40(5): 1356. [本文引用:1]
[2] Zhang Q, Li B. Discriminative K-SVD for Dictionary Learning in Face Recognition, 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010, doi: DOI:10.1109/CVPR.2010.5539989. [本文引用:1]
[3] HUANG Chuan-lu, CHAO Kun, MAO Yun-zi(黄传禄, 晁坤, 毛云志). Chinese Journal of Radio Science(电波科学学报), 2014, 29(1): 150. [本文引用:1]
[4] Zhu T, Bao W, Shen X, et al. Journal of Applied Remote Sensing, 2020, 14(2): 1. [本文引用:1]
[5] Akila D, Bhaumik A, Doss S, et al. Hyperspectral Image Classification by Means of Suprepixel Representation with KNN. in: Intelligent Computing and Innovation on Data Science, Lecture Notes in Network and Systems Vol 118. Springer, 2020, https://doi.org/10.1007/978-981-15-3284-9_42. [本文引用:1]
[6] Yang W, Peng J, Sun W, et al. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 12(12): 5023. [本文引用:1]