适用于楔形滤光片型光谱成像仪的快速无损数据压缩方法
李洪波1,2, 胡炳樑1,*, 余璐1,2, 魏儒义1, 于涛1
1. 中国科学院西安光学精密机械研究所, 陕西 西安 710119
2. 中国科学院大学, 北京 100049
*通讯联系人 e-mail: hbl@opt.ac.cn

作者简介: 李洪波, 1988年生, 中国科学院西安光学精密机械研究所博士研究生 e-mail: lihongbo_sdu@163.com

摘要

楔形滤光片型光谱成像仪具有无运动部件、 低光机复杂度等优点, 是低成本微型化光谱成像仪的一个重要发展方向。 不同于传统色散型光谱成像仪, 楔形滤光片型光谱成像仪获取的数据是光谱-空间混合调制的图像。 针对直接应用CCSDS123进行楔形滤光片型光谱成像仪数据压缩时压缩比较低的问题, 结合楔形滤光片型光谱成像仪“谱像混合”、 “推扫成谱”的特点, 通过定义新的局部差向量, 构建了一种低运算复杂度适合硬件实现的快速无损压缩方法WCCSDS123。 新的局部差向量中参与计算的像元集合代表的是同一被观测点的光谱信息。 WCCSDS123方法首先利用局部和与改进的局部差向量对采样点的值进行预测, 再利用预测值与真实值计算预测残差并对其进行整数映射, 最后采用采样自适应熵编码对映射预测残差进行编码完成压缩。 在6组楔形滤光片型光谱成像仪数据上分别采用WCCSDS123和CCSDS123进行了压缩实验。 实验结果表明, 与CCSDS123相比, WCCSDS123的压缩比提高了约21.62%, 压缩耗时没有明显差异。 因此, 该方法在提高压缩比同时, 继承了CCSDS123复杂度低, 易于硬件实现的优点。 该方法WCCSDS123具有较低的计算复杂度, 能够更加有效地利用空间光谱冗余信息, 获得更好的压缩效果, 是针对楔形滤光片型光谱成像仪的一种良好的快速无损数据压缩方法。

关键词: 楔形滤光片; 光谱成像仪; 无损压缩; CCSDS123; 局部差向量
中图分类号:TN919.81 文献标志码:A
A Fast Lossless Data Compression Method for the Wedge Filter Spectral Imager
LI Hong-bo1,2, HU Bing-liang1,*, YU Lu1,2, WEI Rui-yi1, YU Tao1
1. Laboratory of Spectral Imaging Technique, Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences, Xi’an 710119, China;
2. University of Chinese Academy of Sciences, Beijing 100049, China
Abstract

Wedge filter spectral imager, with no moving components and low complexity, has become an important development direction of low cost miniature imaging spectrometer. Based on the state of the art hyperspectral lossless compression standard CCSDS123, we propose a lossless data compression method for the wedge filter spectral imager. The proposed method redefines the local difference vector in CCSDS123, taking fully advantage of the spatial-spectral co-modulation characteristics of the wedge filter spectral imager. To compress the raw data from a wedge filter spectral imager, the compression encoder firstly predicts the sample value using its local sum and local difference vector, then computes a prediction residual and the corresponding mapped prediction residual, finally encodes the mapped prediction residual via a sample-adaptive entropy coding approach. The proposed method can effectively compress the raw data from a wedge filter spectral imager by using the local correlation in the spatial-spectral space. To verify the compression performance of the proposed method, experiments are taken on 6 raw datasets containing different scenes. The results show that the proposed method surpasses the original CCSDS123 method by about 21.62% higher compression ratio on the test datasets with almost the same computational time.

Keyword: Wedge filter; Spectral imager; Lossless compression; CCSDS123; Local difference vector
引 言

多光谱和高光谱成像系统可以为精密农业、 矿物探测、 环境监测、 灾害评估、 深空探测等领域提供丰富的信息[1, 2], 因此, 多光谱、 高光谱成像仪已广泛应用于深空探测和对地观测领域[3]。 光谱成像系统具备“ 图谱合一” 的功能, 在提供丰富信息的同时, 也带来了数据量的激增。 然而, 星载、 机载应用下平台与地面接收站之间的传输带宽有限, 因此, 高光谱数据压缩技术是光谱成像仪数据处理的必备技术。

高光谱数据压缩技术分为有损压缩技术和无损压缩技术[4]。 有损压缩技术能够提供较高的压缩比, 但是信息有损失[5], 仅适合于某些特定应用场景[6], 通常会针对某一特定应用(如分类)设计某种近无损压缩方案, 不具有通用性。 利用高光谱数据进行科学研究的学者对数据质量要求较高, 通常要求数据压缩不能降低数据质量[7]。 无损压缩技术虽然压缩比较低, 但是能够保留仪器获取数据的全部信息, 获得了高光谱数据用户的青睐, 是光谱成像仪通用数据压缩的首选技术。 深空探测与微小卫星对地观测领域中平台的计算资源与存储资源是紧缺的, 需要运算速度快, 硬件实现复杂度低的无损压缩算法。 研究人员对多光谱/高光谱成像仪在轨实时数据压缩展开了广泛的研究。 其中, 国际空间数据系统咨询委员会的多光谱与高光谱数据压缩(multispectral and hyperspectral data compression, MHDC)工作小组于2012年推出了多光谱高光谱图像无损压缩推荐标准CCSDS123[8]。 CCSDS123标准是基于FL(fast lossless)预测的快速无损压缩标准, 算法复杂度低, 十分有利于硬件实现。 Lucana Santos等[9]开展了CCSDS123标准的FPGA实现研究, Davidson等[10]开展了CCSDS123标准的GPU实现研究, 有力地证明了CCSDS123标准在轨硬件实时压缩的可行性。

微小卫星和无人机平台对地观测的蓬勃发展催生了低成本微小光谱成像仪的需求[11, 12, 13]。 楔形滤光片型光谱成像仪具有无运动部件、 低光机复杂度等优点[14], 特别适合应用于深空探测与微小卫星对地观测领域, 是低成本微型化光谱成像仪的一个重要发展方向。 目前, 应用CCSDS123标准的相关研究工作主要针对空间调制型光谱成像仪[15]。 不同于空间调制型光谱成像仪单次曝光获取被观测点的完整光谱信息, 楔形滤光片型光谱成像仪则需要对被观测点进行连续观测才可以获取被观测点的光谱信息, 图像数据具有“ 谱像混合” 的特点, 目前针对楔形滤光片型光谱成像仪的数据压缩研究较少。 因此, 开展CCSDS123标准在楔形滤光片型光谱成像仪数据压缩中的适用性研究是十分必要的。

本文首先介绍楔形滤光片型光谱成像仪的工作原理与数据特点。 然后结合楔形滤光片型光谱成像仪的仪器特点, 构建了适用于楔形滤光片型光谱成像仪的快速无损压缩算法WCCSDS123。 最后实验测试并比较了WCCSDS123和CCSDS123在楔形滤光片型光谱成像数据上的压缩性能。

1 楔形滤光片型光谱成像仪原理与数据特点

楔形滤光片型光谱成像仪通过在成像系统焦面位置安装楔形干涉滤光片, 实现了空间信息和光谱信息的混合调制, 避免了传统光栅/棱镜光谱成像仪中复杂的准直光学系统与二次成像光学系统, 具备简单紧凑的光机系统设计。 图1给出了一种楔形滤光片型光谱成像仪的示意图, 其光学系统仅包含成像镜, 光机复杂度较低, 楔形干涉滤光片位于探测器前面, 实现空间-光谱混合调制。 如图2所示, 楔形干涉滤光片一维为波长变化方向(探测器行方向), 另一维则保持滤光特性不变(探测器列方向)。 如图3所示, 探测器的每一帧图像都包含了不同的地物的不同波段信息, 光谱成像仪沿着波长变化方向推扫, 使得被观测点(图3中红点表示其像)依次成像于探测器的每一列。 因此, 楔形滤光片型光谱成像仪单次曝光的图像由不同场景点的不同波段下的信号组成, 同一观测点的光谱信息需要依靠仪器沿波长变化方向推扫来获得, 本文称这些特点为“ 谱像混合” 、 “ 推扫成谱” 。

图1 楔形滤光片型光谱成像仪示意图Fig.1 Optical layout of a wedge filter spectral imager

图2 楔形干涉滤光片与探测器Fig.2 Wedge filter and detector array

图3 数据结构与推扫机理Fig.3 Data structure and push-broommechanism

2 改进的压缩方法WCCSDS123
2.1 CCSDS123压缩标准基本原理

CCSDS123标准是基于FL算法的一种快速无损压缩技术。 压缩器包含预测器和编码器两个模块, 如图4, 其中x, y, z分别为行, 列, 波段的索引, 且0≤ xNx-1, 0≤ yNy-1, 0≤ zNz-1, Nx, Ny, Nz分别为输入图像的行、 列、 波段数。

图4 CCSDS123压缩框架Fig.4 CCSDS123 compressor schematic

预测器利用采样点sz, y, x的邻域局部和与局部差对sz, y, x的值进行预测, 预测值 s˙z, y, x与真实值的差值为预测残差Δ z, y, x, 整数映射后的映射预测残差δ z, y, x传递给编码器。 编码器对预测器输出的映射预测残差δ z, y, x进行熵编码完成数据压缩。

CCSDS123的预测模式包含全预测和简化预测两种预测模式, 支持邻域导向和与列导向局部和两种局部和类型。 编码器支持块自适应熵编码和采样自适应熵编码, 通常采样自适应熵编码的压缩率高于块自适应熵编码[7]

2.2 压缩方法WCCSDS123

按照CCSDS123标准中局部差向量的定义, 如式(1)所示, 计算采样点sz, y, x的局部差向量, 然后进行预测时, 参与计算局部差向量的先前波段的像素点与sz, y, x并非同一被观测点, 虽然仍能利用空间相关性, 但是不能有效地利用光谱相关性。 这是由楔形滤光片型光谱成像仪“ 谱像混合” 、 “ 推扫成谱” 造成的。

Dz, y, x=dz, y, xNdz, y, xWdz, y, xNWdz-1, y, xdz-2, y, xdz-Pz* , y, x=4sz, y-1, x-σz, y, x4sz, y, x-1-σz, y, x4sz, y-1, x-1-σz, y, x4sz-1, y, x-σz-1, y, x4sz-2, y, x-σz-2, y, x4sz-Pz* , y, x-σz-Pz* , y, x(1)

假定光谱成像仪的帧周期为T, 某被观测点在t时刻(第Z帧)成像于楔形滤光片型光谱成像仪探测器(y, x)像元处, 从图3可知, 在t-T时刻(第Z-1帧)该点成像于探测器的(y-1, x)像元处, 在t-2× T时刻(第Z-2帧)该点成像于探测器的(y-2, x)像元处, 依次类推, 在t-P× T时刻(第Z-P帧)该点成像于探测器(y-P, x)像元处, 根据这一特点, 本文定义新的局部差向量Uz, y, x, 如式(2), 构建适用于楔形滤光片型光谱成像仪的快速无损压缩方法WCCSDS123。 式(2)中参与计算局部差向量的像素点集合代表的是同一被观测点的光谱信息, 所以, 式(2)相对于式(1)可以更好地利用谱段间的相关性。

Uz, y, x=dz, y, xNdz, y, xWdz, y, xNWdz-1, y-1, xdz-2, y-2, xdz-Pz* , y-Pz* , x=4sz, y-1, x-σz, y, x4sz, y, x-1-σz, y, x4sz, y-1, x-1-σz, y, x4sz-1, y-1, x-σz-1, y-1, x4sz-2, y-2, x-σz-2, y-2, x4sz-Pz* , y-Pz* , x-σz-Pz* , y-Pz* , x(2)

图5给出了WCCSDS123的压缩流程。 对于采样点sz, y, x, 第一步, 计算局部和σ z, y, x与局部差 d˙z, y, x: 局部和σ z, y, x的计算方法由式(3)给出, 局部差 d˙z, y, x的计算由式(4)给出, 其中Wz, y, x为根据预测误差自适应更新的权值向量; 第二步, 计算预测值 s˙z, y, x: 首先利用局部和σ z, y, x、 局部差 d˙z, y, x根据式(5)— 式(7)计算缩放预测值 s˙z, y, x, 然后利用式(8)计算预测值 s˙z, y, x, 其中Ω 是用户指定的权值分辨率(4≤ Ω ≤ 19), R是寄存器容量参数(max{32, D+Ω +2}≤ R≤ 64), D是数据位深(2≤ D≤ 16), smin, smaxsmid为样本值可取到的最小值、 最大值和中间值; 第三步, 根据式(9)计算预测残差Δ z, y, x; 第四步, 对预测残差Δ z, y, x进行整数映射求取映射预测残差θ z, y, x; 第五步, 采样自适应熵编码: 对映射预测残差图像进行采样自适应熵编码完成压缩。

图5 WCCSDS123流程图Fig.5 Flowchart of WCCSDS123

3 实验与分析

为了测试本文方法WCCSDS123和CCSDS123对楔形滤光片型光谱成像仪数据的压缩效果, 利用西安光学精密机械研究所光谱成像技术重点实验室研发的可见近红外波段楔形滤光片光谱成像仪原理样机采集了6组数据进行压缩实验。 样机光机结构与图1相同, 图6给出了样机的实物图与推扫实验现场图。 样机光谱覆盖范围645~810 nm, 光谱维通道数1 024, 空间幅宽维通道数1 024, 像素匣深16 bits。 每组数据均包含1 000帧楔形滤光片光谱成像仪样机的推扫图像。

图6 楔形滤光片光谱成像仪样机与推扫实验图Fig.6 The wedge filter spectral imager prototype and push-broom experiments

图7(a)— (f)分别给出了不同预测模式与局部和类型的组合下, CCSDS123和WCCSDS123对6组测试数据进行压缩时, 压缩比与预测帧数的关系。 图例中f和r分别代表全模式和简化预测模式, n和c分别代表邻域导向和与列导向局部和类型, 可以看出CCSDS123对测试数据压缩得到的压缩比很低, 且在各种组合模式下随着预测波段数增加所能达到的最高压缩比均远低于WCCSDS123。 这是因为CCSDS123利用波段间的冗余性进行压缩, 而楔形滤光片型光谱成像仪单次曝光输出的图像既非单波段的图像, 也非地元的色散光谱图, 直接对楔形滤光片型光谱成像仪输出的图像进行预测, 参与计算局部差的采样点集合并非最合适的空间光谱集合, 在空间光谱三维空间中不是相邻的, 不能有效地消除光谱维的冗余信息, 因此压缩效果较差。 而WCCSDS123在计算局部差向量时充分结合了仪器数据“ 谱像混合” 、 “ 推扫成谱” 的特点, 参与计算局部差向量的采样点在空间光谱三维空间中是局部相邻的, 能够很好地利用局部邻域相关性, 消除冗余信息, 预测效果更好, 因此, 压缩比要明显高于CCSDS123, 能够获得更好的压缩效果。

图7 WCCSDS123和CCSDS123在6组数据上的压缩结果Fig.7 Compression results of WCCSDS123 and CCSDS123 on 6 datasets

从图7中, 还可以发现随着预测数不断增加, 压缩比并未一直增加, 甚至出现了缓慢下降。 这是由于光谱信息局部相关性高, 而在光谱维空间上距离较远的波段之间相关性较低的缘故, 出现过拟合造成的。 因此, 在实际应用中可以将预测数定义在一个较小的值, 既可以获得较好的压缩效果, 又可以减少对缓存的要求, 继而降低对压缩平台的要求。 此外, 从各组数据的压缩结果, 对于本文方法, 预测模式的选择对压缩效果的影响较小, 在同一种局部和类型下, 全预测模式和简化预测模式获得的压缩比几乎相同, 因此可以选取计算度较小的简化预测模式。 在简化预测模式下, 列导向局部和对于大部分数据获得了更高的压缩比, 因此局部和可以设定为列导向局部和类型。

表1给出了在预测数为3, 选取列导向局部和与简化预测模式下, 采用WCCSDS123和CCSDS123获得的无损压缩比。 从表中可以看出WCCSDS123的压缩比明显高于CCSDS123的压缩比, 压缩性能更好。

表1 预测数为3时6组数据的压缩比对比 Table 1 Compression ratio of the 6 datasets with 3 prediction bands

表2给出了WCCSDS123和CCSDS123对6组数据压缩耗时的比较, 代码采用JAVA编写, 运行于64位WIN7台式机电脑, 电脑CPU: i7-3770, 主频: 3.4 GHz, 内存: 8 GB。 从表2中可以看出对于同一组数据WCCSDS123与CCSDS123的压缩时间没有明显差异, 说明本文方法在提高压缩比同时, 保持了较低的复杂度。

表2 WCCSDS123和CCSDS123压缩耗时比较(单位: s) Table 2 Comparisonof computation time of WCCSDS123 and CCSDS123 (Unit: s)
4 结 论

针对CCSDS123在楔形滤光片型光谱成像仪数据上压缩比较低的问题, 结合楔形滤光片型光谱成像仪的成像机理, 提出了一种针对楔形滤光片型光谱成像仪的无损数据压缩方法WCCSDS123。 WCCSDS123方法结合了楔形滤光片型光谱成像仪“ 谱像混合” 、 “ 推扫成谱” 的特点, 重新定义了CCSDS123中的局部差向量, 相较于CCSDS123能够更加有效地去除空间光谱冗余信息。 压缩实验结果表明, WCCSDS123针对楔形滤光片型光谱成像仪数据能够获得更高的压缩比, 平均压缩比提高了约21.62%, 并且压缩耗时并未增加, 是一种较好的快速无损数据压缩方法。 下一步将在本文工作的基础上结合Lucana Santos等的研究开展WCCSDS123方法的FPGA实现研究, 为楔形滤光片型光谱成像仪硬件实时无损数据压缩提供一种良好的解决方案。

The authors have declared that no competing interests exist.

参考文献
[1] Moriya E A S, Imai N N, Tommaselli A M G, et al. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(2): 740. [本文引用:1]
[2] Kim J H, Kim J, Yang Y, et al. Optical Engineering, 2017, 56(5): 053101. [本文引用:1]
[3] Toth C, Józków G. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 115: 22. [本文引用:1]
[4] Dusselaar R, Paul M. Journal of the Optical Society of America A, 2017, 34(12): 2170. [本文引用:1]
[5] YU Lu, LIU Xue-bin, LI Hong-bo, et al(余璐, 刘学斌, 李洪波, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2017, 37(3): 939. [本文引用:1]
[6] Garcia-Vilchez F, Muñoz-Marí J, Zortea M, et al. IEEE Geoscience and Remote Sensing Letters, 2011, 8(2): 253. [本文引用:1]
[7] Emmanuel Christophe. Optical Remote Sensing-Advances in Signal Processing and Exploitation Techniques, Chapter Hyperspectral Data Compression Tradeoff. Berlin: Springer, 2011. 9. [本文引用:2]
[8] Consultative Committee for Space Data Systems. Lossless Multispectral & Hyperspectral Image Compression CCSDS 123. 0-B-1. 2012. [本文引用:1]
[9] Santos L, Berrojo L, Moreno J, et al. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(2): 757. [本文引用:1]
[10] Davidson R L, Bridges C P. IEEE Aerospace Conference, Bigsky, MT, 2017. 3. [本文引用:1]
[11] Liu S, Zhang C, Zhang Y, et al. SPIE AOPC: Optical Spectroscopy and Imaging, 2017, 10461: 104611K. [本文引用:1]
[12] Adão T, Peres E, Pádua L, et al. Proceedings of the Small Unmanned Aerial Systems for Environmental Research, Vila Real, Portugal, 2017. 28. [本文引用:1]
[13] Clark P, Malphrus B, Reuter D, et al. SPIE CubeSats and NanoSats for Remote Sensing, 2017, 9978: 99780C. [本文引用:1]
[14] Udelhoven T, Schlerf M, Segl K, et al. Sensors, 2017, 17(7): 1542. [本文引用:1]
[15] Augé E, Sánchez J E, Kiely A, et al. Journal of Applied Remote Sensing, 2013, 7: 074594. [本文引用:1]