偏振光谱多维信息的重构融合算法
钟菁菁1,2, 刘骁1,3, 王雪霁1,3, 刘嘉诚1,3, 刘宏1,3, 亓晨1,3, 刘宇阳1,2,3, 于涛1,3,*
1.中国科学院西安光学精密机械研究所, 陕西 西安 710119
2.中国科学院大学, 北京 100049
3.中国科学院光谱成像技术重点实验室, 陕西 西安 710119
*通讯作者 e-mail: yutao@opt.ac.cn

作者简介: 钟菁菁, 女, 1996年生, 中国科学院西安光学精密机械研究所硕士研究生 e-mail: zjjtogether325@163.com

摘要

针对传统光学手段难以实现复杂背景下光谱伪装目标的准确识别, 同时, 常规的数据融合方法易导致图像信息丢失的缺点, 提出了一种基于非下采样轮廓波变换的偏振光谱多维信息融合方法。 该方法结合自研的新型偏振光谱多维信息探测仪器, 根据其获取的目标空间、 光谱、 偏振等多维信息, 设计了多维信息重构算法流程, 提取了偏振态基础数据斯托克斯参量以及偏振度和偏振角, 利用NSCT对基础偏振参量进行图像融合, 提升图像的信息含量以提高伪装物的识别准确率。 先对具有相同边缘信息的图像Q和U采用NSCT分解, 低通子带取均值, 高通子带取最大值进行初步融合, 获得偏振特征S, 最后对偏振特征S、 强度图像I以及偏振度DoLP进行NSCT分解, 对分解所得低通子带进行区域能量加权融合; 对高通子带, 根据偏振特征图像具有灰度值小, 受光照影响大等特点, 采用LBP特征进行加权融合。 同时, 本方法与四类融合方法进行对比, 据信息熵、 标准差、 平均梯度、 对比度以及峰值信噪比五项指标对融合结果进行客观评价, 并结合普通图像, 偏振融合图像, 偏振高光谱图像对目标识别精度进行对比。 融合后的图像信息熵为6.998 6, 标准差为45.599 8, 平均梯度为19.808 6, 与原始强度相比, 提升分别为5.1%, 14.04%, 7.3%, 在四类融合方法中排在首位。 表明本文所提出的方法有效实现了偏振基础特征融合, 提升了人造目标和自然背景的差异。 同时融合后的偏振高光谱图像对于目标的识别准确率达到0.986 2, 较单一强度图像目标识别准确率提升了21%。 实验结果表明, 提出的方法能有效融合目标强度信息以及偏振信息, 提升图像对比度和可读性, 同时融合后的图像在目标识别准确度上有了较大的提升, 有效降低了传统光谱手段对伪装目标识别的虚警率, 为新概念光谱伪装揭露提供了一种新型有效的手段, 具有非常大的应用潜力和应用价值。

关键词: 偏振光谱图像; NSCT; 特征融合; 伪装识别
中图分类号:TP391.4 文献标志码:A
A Multidimensional Information Fusion Algorithm for Polarization Spectrum Reconstruction Based on Nonsubsampled Contourlet Transform
ZHONG Jing-jing1,2, LIU Xiao1,3, WANG Xue-ji1,3, LIU Jia-cheng1,3, LIU Hong1,3, QI Chen1,3, LIU Yu-yang1,2,3, YU Tao1,3,*
1. Xi’an Institute of Optics and Precision Mechanics of Chinese Academy of Sciences, Xi’an 710119, China
2. University of Chinese Academy of Sciences, Beijing 100049, China
3. Key Laboratory Spectral Imaging Technology of Chinese Academy of Sciences, Xi’an 710119, China
*Corresponding author
Abstract

This paper proposes a polarization spectral multidimensional information fusion method based on nonsubsampled contourlet transform to address the shortcomings of traditional optical methods that make it difficult to identify camouflaged spectral targets in complex backgrounds and the common fusion methods that tend to lead to image information loss. The multidimensional information reconstruction algorithm was designed based on the acquired multidimensional information such as target space, spectrum and polarization, and the basic data of polarization state including Stokes parameters as well as the degree of polarization and angle of polarization were extracted. NSCT is used to fuse the basic polarization parameters to improve the image’s information content and improve the camouflage’s recognition accuracy. The images Q and U with the same edge information are first decomposed using NSCT. Regional energy-weighted fusion is performed for the decomposed low-pass sub-bands; for the high-pass sub-bands, LBP features are used for weighted fusion according to the characteristics of polarization features, such as small gray value and high influence by illumination. At the same time, the proposed method is compared with four types of fusion methods, and the fusion results are evaluated objectively according to five indicators: information entropy, standard deviation, mean gradient, contrast and peak signal-to-noise ratio, and the target recognition accuracy is compared with plain images, polarized fused images and polarized hyper-spectral images. The information entropy of the fused image is 6.998 6, the standard deviation is 45.599 8, and the average gradient is 19.808 6. Compared with the original intensity, the improvements are 5.1%, 14.04%, and 7.3%, respectively, ranking first among the four types of fusion methods. It is shown that the method proposed in this paper effectively achieves polarization-based feature fusion and enhances the difference between the artificial target and the natural background. At the same time, the recognition accuracy of the fused polarized hyperspectral image for the target reaches 0.986 2, which is 21% higher than the target recognition accuracy of the single-intensity image. The experimental results show that the proposed method can effectively fuse the intensity and polarization information to improve image contrast and readability. The fused image also significantly improves target recognition accuracy, overcoming the problem of high false alarm rate of traditional spectral means for camouflage target recognition, and providing a new and effective means for new concept spectral camouflage disclosure, which has great application value.

Keyword: Polarization spectral images; NSCT; Feature fusio; Camouflage identification
引言

伪装目标通常具有与背景一致的光谱反射特性, 采用常规光学成像手段难以进行有效识别[1]; 目标的光学属性信息, 尤其偏振属性是由目标的表面粗糙度, 材质, 含水量等决定, 即伪装物虽然在外形、 轮廓、 颜色上与背景高度相似, 但两者的偏振特性具有一定的差异, 利用该属性信息与传统光谱成像手段结合进行新型伪装探测与识别, 已成为遥感领域的一个前沿和热点研究方向。

传统偏振图像可以突显目标轮廓, 增强细节信息, 有助于提高图像可读性和识别精度[2]。 单一偏振图像和光谱图像的融合有采用成分替换的方法, 例如IHS变换[3, 4]以及PCA融合的方法[5], 该成分替换往往可以保持高分辨率空间细节, 并且计算简单, 运行速度快, 但是往往使用的图像为异源图像, 偏振和光谱非同步获取不存在内在联系, 且容易导致光谱失真。 也有采取频率域变换融合的方法, 如小波变换[6, 7, 8, 9], 该方法计算方便快捷, 但因下采样使复原图像丢失有用信息。

据于自研的一种基于线性渐变滤光与像素相关偏振调制的新型偏振光谱成像系统, 同步获取四个不同线偏振方向(0° , 45° , 90° , 135° )的光谱图像, 从而重构基础偏振参量光谱图像, 并采用非下采样轮廓波变换(nonsubsampled contourlet transform, NSCT))[10, 11, 12, 13, 14]对强度图像和偏振图像进行分解, 采用LBP特征[15, 16]对高频子带进行融合, 对低频子带采用区域能量的方法加权融合, 将融合后的高频和低频子带进行逆变换, 获得融合图像, 并利用多个指标对融合结果图像进行评价, 各个评价指标均表现优良, 同时验证了图像融合后在目标识别精度上有了明显提升。

1 数据获取方法与融合算法原理
1.1 数据获取

针对传统光谱成像技术手段在复杂背景下无法同步获取地物目标偏振信息和光谱信息的缺点, 基于线性渐变滤光与像素偏振调制方法构建了新型偏振光谱成像系统原理样机, 能够同步获取四个不同线偏振方向(0° , 45° , 90° 和135° )的光谱图像, 如图1所示。 获取的单阱图像谱段范围覆盖430~850 nm, 如图2所示。

图1 偏振光谱成像系统原理样机实物图Fig.1 Prototype of the polarization spectrum imaging system

图2 原始图像数据结构示意图Fig.2 Schematic of the original image data structure

偏振光谱成像系统采用精密转台通过推扫获取图像, 通过设定精确速高比, 使得两张图像之间的像元位移个数与转速匹配, 速高比计算如式(1)所示, n为相邻两张图像之间位移像元个数, μ 为像元边长, f为相机焦距, fps为图像获取的帧频。

v=tanθt=n×μf×1fps×180π(1)

将位移像元个数设定为特征波长带宽, 提取每张图像的对应波长位置的像素进行拼接即可复原该波段图像, 如图3所示。 同时在获取单波段图像后可根据像素位置进行数据裁剪就可以获取目标波段的重构数据, 形成偏振光谱立体数据。

图3 原始图像波段重构示意图Fig.3 Schematic of the original image band reconstruction

获取0° , 45° , 90° , 135° 四个线偏振方向的偏振高光谱图像, 分别用I, I45° , I90° , I135° 表示, 斯托克斯矢量计算如式(2)所示

S=IQU=I90°+I0°I90°-I0°I45°-I135°(2)

式(2)中, I为两个坐标轴方向偏振分量光强之和, 即总偏振强度, Q为水平偏振分量和垂直偏振分量的差, U为45° 和135° 两个偏振分量的差值。

线偏振度(DoLP)的值在非偏振光下的0到完全偏振光的1之间, 可表示为式(3)

DoLP=Q2+U2I(3)

偏振角(AoP)代表的是偏振椭圆的取向, 可表示为

AoP=12arctanQU(4)

1.2 非下采样轮廓波变换

NSCT是contourlet变换的扩展, 它将contourlet变换中的拉普拉斯金字塔(laplacian pyramid, LP)和方向滤波器组(directional filter bank, DFB)替换成了非下采样金字塔(non-subsampled pyramid, NSP)以及非下采样方向滤波器组(non-subsampled direction filter banks, NSDFB), NSCT较contourlet变换而言, 具有良好的多方向性、 多尺度性以及平移不变性, 减少了因下采样带来的信息丢失, 能较好的保留融合后的图像信息。

NSCT变换主要分成以下两步, 首先利用NSP进行多尺度分解, 分解成高通和子带低通子带两部分, 再利用NSDFB对高通子带进行方向分解, 利用层二叉树将频率域分为个子带。 图4为NSCT的分解示意图。

图4 NSCT分解示意图Fig.4 The schematic of NSCT decomposition

1.3 LBP特征提取

局部二值模式(local binary patterns, LBP)是一种描述图像纹理的特征算子, LBP的计算模式如图5所示。 以中心像素的灰度值为阈值, 将8领域的像素值与之比较, 如果周围像素值小于中心像素则该位置标记为0, 反之标记为1, 每个中心像素均可获得一个二进制编码代表LBP特征值。

图5 LBP计算示意图Fig.5 Schematic of LBP

LBP特征具有灰度不变性的特征, 偏振特征往往具有整体灰度偏暗的特征, LBP的特征提取对灰度变化具有鲁棒性, 且计算简单, 有助于图像的快速处理和实时分析。

1.4 图像融合方法

图6展示了本文所提出的融合方法流程图, 在融合之前, 对图像进行双边滤波去噪。 在偏振特征图像中, I近似代表光强信息, 蕴含信息最丰富, Q和U两个分量表示了不同方向偏振分量的差值, 从图像上看, 拥有边缘信息较为丰富, AoP和DoLP为目标的偏振角和偏振度信息, 即使目标在光强图像上与背景灰度值相似, AoP和DoLP因目标的材料和表面粗糙度不同能够体现出目标与背景的差异。 以I, Q, U和DoLP四个分量进行融合。 具体步骤为:

图6 基于NSCT的偏振特征融合方法流程图Fig.6 Flow chart of NSCT-based polarization feature image fusion method

(1)预处理部分, 对原始图像进行去噪处理。

(2)对Q和U图像, 进行NSCT分解, 低通子带取均值, 高通子带取最大值的方法进行融合, 获得融合后的图像S。

(3)对S, I, DoLP三类图像分别进行NSCT分解, 对高通子带进行基于LBP特征的系数选择融合, 对低通子带采用区域能量的方法进行系数选择融合。

(4)对融合后的系数进行逆变换获取最终融合图像。

1.4.1 区域能量的低通子带融合

低通子带代表了原图像中灰度值变化较为均匀的部分, 包含了图像的主要能量, 决定了图像的轮廓, 而清晰的图像轮廓可以提高图像的视觉效果。 清晰的图像比模糊的图像往往具有更大的灰度差异。 采用梯度能量来衡量图像区域显著性, 如式(5)

E=i=1Mj=1N[fx(i, j)2+fy(i, j)2](5)

式(5)中, fx(i, j)和fy(i, j)分别为水平方向和垂直方向的梯度变化, 用LR, LI, LS, LDoLP分别表示融合后的图像以及I, S, DoLP的低通子带系数, EI, ES, EDoLP分别表示I, S, DoLP的区域梯度能量, 融合规则可以表示为

LR=EIEI+ES+EDoLPLI+ESEI+ES+EDoLPLS+EDoLPEI+ES+EDoLPLDoLP(6)

1.4.2 LBP特征的高通子带融合

高通子带代表了图像的细节, 纹理, 边缘等信息, 为了更好的保留高频信息, 采用LBP计算原图像的特征纹理, 根据LBP的计算规则, LBP值越大, 代表该像素与周围像素的区别越大, 则该像素更可能是边缘纹理等信息。

因此, 对于高频分量, 设计基于LBP特征的加扫融合策略, 可以表示为

HR=BSBS+BI+BDoLPHS+BIBS+BI+BDoLPHI+BDoLPBS+BI+BDoLPHDoLP(7)

式(7)中, HS, HI, HDoLP分别表示图像S, I, DoLP在同一尺度同一方向下的高通子带, LR为融合后的高通子带, BS, BI, BDoLP分别为三张图像在相同尺度、 相同方向以及相同像素位置下高通子带系数的LBP值。

2 野外场景目标数据获取

使用的偏振高光谱成像仪具体参数设置如表1所示。 利用偏振高光谱成像仪获取的0° , 45° , 90° , 135° 四个偏振角度的偏振图像, 并得到根据式(2), 式(3)和式(4)计算可得I, Q, U, DOLP, AOP等相关偏振参数。 拍摄场景如图7所示, 实验选择草地作为背景, 伪装目标选取与草地颜色相近的伪装网, 假草坪, 迷彩服, 以及头盔等。 图8展示了0度偏振角的重构复原图像, 图8(a)展示了偏振光谱成像仪获取的0度原始图像, 包含430~850 nm的光谱信息, 图像呈现明显的明暗变化, 图8(b)为重构后的700 nm的单波段图像, 色调一致, 无光谱混叠现象, 重构结果图像清晰。

表1 偏振光谱成像仪参数设置 Table 1 Polarization spectral imager parameter settings

图7 实验场景图Fig.7 Experimental scene

图8 原始图像与重构光谱图像
(a): 获取原始图像; (b): 重构后的光谱图像
Fig.8 Comparison between original image and reconstructed image
(a): Original image acquired; (b): Reconstructed spectral image

3 数据融合处理与算法评价分析
3.1 基础偏振图像重构

偏振光谱成像仪获取的基础偏振图像如下, Q和U为图像的斯托克斯参量对应图像, 图9以700 nm波段为例, 展示了该波段图像的斯托克斯参量、 DoLP图像以及Q和U融合后的图像S。 从图8中可以看出强度图像I展示了获取的光强信息, 包含目标的主要信息, Q和U两张图代表了图像基础的边缘信息和轮廓信息, 融合后的S兼具了两者特点, 并提升了对比度, DoLP则包含了目标的纹理信息, 人造目标与背景纹理区别明显, 本文将融合图像S、 I以及DoLP, 使得融合后的图像包含更多的属性信息, 增强了探测目标信息量。

图9 各偏振参量图像Fig.9 Polarization parameter image

3.2 算法参数设计

在本算法中, Q和U融合为了融合两者对于目标的边缘信息, 同时提高处理速度, NSCT分解层数为2, 第一层进行4个方向分解, 第二层进行8个方向分解; S, I和DoLP对三个图像进行融合时, 通过实验, 4层及以后的分解所提取的高通信息几乎没有, 同时为了保留尽可能多的原始图像信息, 并提升图像的处理速度。 NSCT分解层数设置为3, 第一层进行4个方向分解, 第二层进行8个方向分解, 第三层进行16个方向分解。

3.3 图像融合效果分析与评价

为了验证本方法的有效性, 将本算法与常见偏振融合方法小波变换融合, PCA融合方法, 以及基于NSCT的两种常用融合规则进行对比。 其中规则一采用低通子带取均值, 高通子带取最大, 规则二采用区域能量加权, 高通子带取最大。 融合结果图对比如图10所示。

图10 不同方法融合结果对比图
(a): 原始图像I; (b): 小波变换融合; (c): PCA融合; (f): NSCT融合规则一; (g): NSCT融合规则二; (h): 本方法
Fig.10 Comparison of fusion results by different methods
(a): Original image I; (b): Wavelet transform fusion; (c): PCA fusion; (f): NSCT fusion with rule 1; (g): NSCT fusion with role 2; (h): The method proposed in this paper

采用信息熵(information entropy, EN)、 标准差(standard deviation, STD)、 平均梯度(average gradient, GA)、 对比度(contrast ratio, CR)、 峰值信噪比(peak signal-to-noise ratio, PSNR)等客观指标对融合图像进行质量评价。 信息熵用于影像质量评价, 其值越大表明影像信息越丰富。 标准差反映图像灰度分布, 其值越大代表像素间差异较大, 图像对比度高。 平均梯度反映了图像中的微小细节以及纹理变化, 值越大图像越清晰。 对比度越大, 图像越清晰醒目, 反映了图像的清晰度以及灰度层次。 PSNR是最普遍, 最广泛使用的图像质量客观量测法, 各项指标结果如表2所示。

表2 不同融合方法结果评价指标 Table 2 Evaluation indicators for different fusion methods

在图9中可以发现, 小波变换的融合因下采样边缘较为模糊, 而PCA的融合方法虽然对比高, 但是在图像上并没有表现出明显偏振特征纹理, 融合规则一因采用了低频均值融合, 图像整体亮度偏低, 融合规则二的结果图像边缘不够清晰。 通过融合图像可以看出, 颜色相近的白色降落伞和白色头盔在强度图像上差别不明显, 但是在融合图像上纹理有明细差异。

表2的客观评价可以看出, 本方法在信息熵、 标准差和平均梯度均为五种算法中最优, 在对比度上略低于小波变换融合, 在PSNR评价中位居第二, 与第一PCA融合效果相当。 结合图像和评价指标, 总体而言, 使用偏振光谱成像系统重构获取的偏振基础数据融合中, 本文提出的基于NSCT的偏振特征融合的方法优于对比的其他四种方法。

同时, 为了验证偏振高光谱图像融合方法在目标识别上的有效性, 对单波段强度图像, 融合后的单波段图像以及融合后偏振高光谱图像进行目标识别对比, 结果如图11所示。 图像分类为背景与目标两类, 目标包括黄色伪装网, 绿色伪装网, 假草坪、 白色降落伞、 坦克模型、 迷彩服、 白色和绿色的头盔以及三块固定反射率的布等12种地物目标, 依据目标物的分类精度以及分类结果的Kappa系数, 对三类图像的分类结果进行客观分析, 结果如表2所示。

图11 目标识别对比结果图
(a): 地物标记; (b): 单波段图像识别结果; (c): 单波段融合图像识别结果; (d): 融合后的偏振高光谱识别结果
Fig.11 Comparison chart of target identification results
(a): Ground target; (b): Single band image; (c): Single band fusion image; (d): Polarized hyperspectral fusion image

结合分类结果图以及表3数据可以看出, 经过融合后的单波段图像准确率略高于未融合偏振特征的强度图像, 背景被识别成目标的像素减少, 目标识别准确度达到了81.43%, kappa系数提升至0.869 9。 但是, 单波段图像都没能识别右下角的伪装草坪以及右上角的假坦克模型, 利用融合后的偏振高光谱图像对伪装目标进行识别, 识别准确率大幅度上升, 达到98.62%, 且背景被误判的比例大幅度下降, kappa系数为0.984 1。 验证了偏振特征结合光谱图像探测手段可有效提高光谱伪装物的探测精度, 本文提出的基于轮廓波变换算法结合偏振光谱成像探测数据源, 为复杂背景下伪装目标的识别提供了有效的手段。

表3 图像识别精度对比 Table 3 Comparison of image recognition accuracy
4 结论

针对传统光谱图像存在对光谱伪装目标识别虚警率高的缺点, 提出了一种基于NSCT的融合方法, 设计了基于LBP特征高通子带融合规则以及基于区域能量的低通子带融合规则, 并采用自研的偏振光谱成像系统数据获取与融合, 利用五种评价指标对融合结果进行客观评价, 其中在信息熵、 标准差、 平均梯度中三项指标中获得最优结果, 与原始强度相比, 提升分别为5.1%, 14.04%和7.3%。 并对单一强度图像, 偏振融合图像、 偏振高光谱融合图像进行目标识别, 识别准确率有效提升, 融合后的偏振高光谱图像较单一强度图像目标识别准确率提升了21%, 结果表明本文提出的基于NSCT的偏振信息融合方法保留了更多的原始信息, 提升了图像的对比度和信噪比, 可有效提升伪装目标探测效能, 为国际上正逐渐崭露头角的光谱伪装目标识别提供了一种新的方法, 具备重要的应用潜力。

参考文献
[1] SUN Qiu-ju, WANG Peng, HUANG Wen-xia(孙秋菊, 王鹏, 黄文霞). Infrared(红外), 2016, 37(1): 5. [本文引用:1]
[2] XU Wen-bin, CHEN Wei-li, LI Jun-wei(徐文斌, 陈伟力, 李军伟). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2019, 39(1): 235. [本文引用:1]
[3] CHEN Zhen-yue, WANG Xia, ZOU Xiao-feng(陈振跃, 王霞, 邹晓风). Acta Photonica Sinica(光子学报), 2010, 39(S1): 43. [本文引用:1]
[4] Rahmani S, Strait M, Merkurev D, et al. IEEE Geoscience and Remote Sensing Letters, 2010, 7(4): 746. [本文引用:1]
[5] Guo Qing, Liu Shutian. Optik, 2011, 122(9): 811. [本文引用:1]
[6] Wady S M A, Bentoutou Y, Bengermikh A, et al. Advances in Space Research, 2020, 66(7): 1507. [本文引用:1]
[7] WU Yi-quan, YIN Jun, CAO Zhao-qing(吴一全, 殷骏, 曹照清). Acta Photonica Sinica(光子学报), 2014, 43(10): 1010001. [本文引用:1]
[8] Lu H, Zhang L, Serikawa S. Computers & Mathematics with Applications, 2012, 64(5): 996. [本文引用:1]
[9] SHEN Xue-chen, LIU Jun, GAO Ming(沈薛晨, 刘钧, 高明). Infrared Technology(红外技术), 2020, 42(2): 182. [本文引用:1]
[10] Adu J, Gan J, Wang Y, et al. Infrared Physics & Technology, 2013, 61: 94. [本文引用:1]
[11] SHI Wen-juan(施文娟). Microcomputer & Its Applications(微型机与应用), 2012, 31(19): 45. [本文引用:1]
[12] ZHANG Ying, LI Yan-jun, ZHANG Ke(张莹, 李言俊, 张科). Computer Engineering and Applications(计算机工程与应用), 2011, 47(3): 196. [本文引用:1]
[13] Zhang Q, Maldague X. Infrared Physics & Technology, 2016, 74: 11. [本文引用:1]
[14] Thanki R, Kothari A, Borra S. Multimedia Tools and Applications, 2021, (3): 1. [本文引用:1]
[15] Ye Z, Fowler J E, Bai L. Journal of Applied Remote Sensing, 2017, 11(3): 035002. [本文引用:1]
[16] Dinesh Kumar M, Babaie M, Zhu S, et al. A Comparative Study on CNN, BOVW and LBP for Classification of Histopathological Images, 2017 IEEE Symposium Series on Computational Intelligence (SSCI), 2017, 1. [本文引用:1]