引用本文
相里斌, 吕群波, 刘扬阳, 孙建颖, 王建威, 姚涛, 裴琳琳, 李伟艳. 连续推扫计算光谱成像技术[J]. 光谱学与光谱分析, 2018,38(4): 1256-1261.
XIANGLI Bin, L#cod#x000dc; Qun-bo, LIU Yang-yang, SUN Jian-ying, WANG Jian-wei, YAO Tao, PEI Lin-lin, LI Wei-yan. Continuous Pushbroom Computational Imaging Spectrometry[J]. Spectroscopy and Spectral Analysis, 2018,38(4): 1256-1261.
Doi:10.3964/j.issn.1000-0593(2018)04-1256-06  
Permissions
Copyright©2018, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
连续推扫计算光谱成像技术
相里斌1,2, 吕群波1,2,3,*, 刘扬阳1,2,3, 孙建颖1,2, 王建威1,2, 姚涛4, 裴琳琳1,2, 李伟艳1,2
1. 中国科学院光电研究院, 北京 100094
2. 中国科学院计算光学成像技术重点实验室, 北京 100094
3. 中国科学院大学, 北京 100049
4. 国防科工局重大专项工程中心, 北京 100101
*通讯联系人 e-mail: lvqunbo@aoe.ac.cn

作者简介: 相里斌, 1967年生, 中国科学院光电研究院研究员 e-mail: xiangli@cashq.ac.cn

收稿日期: 2013-07-09 接受日期: 2014-04-22
基金: 国家自然科学基金重点项目(61635002)资助
摘要

计算光谱成像技术具有高通量、 快照成像等优点, 但快照成像采样数据量不足, 导致利用压缩感知方法重构图谱精度很低。 通过对计算光谱成像技术各个环节进行系统研究, 提出一种新型的连续推扫计算光谱成像技术, 利用正交循环编码孔径代替传统的随机编码孔径, 通过逐行扫描方式及正交变换可完整重构图谱数据。 仿真和实际成像结果表明, 连续推扫计算光谱成像技术可消除图谱混叠影响, 理论上可完全重构图谱信息, 重构图谱精度明显优于传统的计算光谱成像技术。 相比国际上提出的多次曝光计算光谱成像技术, 连续推扫计算光谱成像技术不需要改变编码孔径与探测器间的相对位置, 也不需要凝视成像, 系统中没有活动元件, 稳定性高, 适用于常规航空航天遥感推扫成像。

关键词: 计算成像; 光谱成像; 信息重构
中图分类号:TP391.9 文献标志码:A
Continuous Pushbroom Computational Imaging Spectrometry
XIANGLI Bin1,2, LÜ Qun-bo1,2,3,*, LIU Yang-yang1,2,3, SUN Jian-ying1,2, WANG Jian-wei1,2, YAO Tao4, PEI Lin-lin1,2, LI Wei-yan1,2
1. Academy of Opto-Electronics, Chinese Academy of Sciences, Beijing 100094, China
2. Key Laboratory of Computational Optical Imaging Technology, Chinese Academy of Sciences, Beijing 100094, China
3. University of Chinese Academy of Sciences, Beijing 100049, China
4. The Earth Observation System & Data Center, China National Space Administration, Beijing 100101, China;
Abstract

Computational imaging spectrometry (CIS) has drawn great attention in recent years. It has the advantages of high optical throughput, snapshot imaging and so on. On the other hand, CIS has the disadvantage of insufficiency in sparse sampling which reduce the accuracy of reconstructed spatial-spectral data. By analyzing the optical property of CIS, a continuous pushbroom computational imaging spectrometry (CPCIS) is presented. In CPCIS, the orthogonal cyclic coded aperture was used, and the continuous scanning line by line was implemented through platform moving. The entire spatial-spectral data was reconstructed by orthogonal inversion. According to the imaging simulation and experiment, the aliasing in spatial-spectral image was eliminated, and the reconstructed image was well satisfied. Comparing to multiframe CIS, CPCIS has no moveable element, which can image without staring the object, thus it is suitable for the airborne and spaceborne remote sensing applications.

Keyword: Computational imaging; Imaging spectroscopy; Information reconstruction

引 言

光谱成像技术(imaging spectrometry, IS)作为光学遥感成像领域的重要研究方向, 目前已经在遥感、 生物医学、 农业等诸多领域得到广泛应用[1, 2, 3, 4]。 传统的光谱成像技术以色散型为主[5, 6, 7], 其典型特征是一次像面设置狭缝孔径, 极大降低了系统的光通量, 导致其在微弱目标光谱探测方面的应用受到极大限制。 在技术和应用需求的推动下, 以高通量和快照式为特征的新型光谱成像技术不断出现, 计算光谱成像技术(computational imaging spectrometry, CIS)是其中一种新型光谱成像技术[8], 该技术在传统光谱成像技术的基础上, 利用两维编码孔径代替狭缝孔径, 对目标图谱数据进行编码调制, 由两维面阵探测器对调制信号进行采样, 并采用压缩感知方法对获取的二维图像进行三维图谱重构, 实现目标空间信息和光谱信息的编码感知成像探测, 弥补了传统光谱成像技术光通量低的缺陷, 相比传统光谱成像技术, 其光通量可以提升两个数量级。

最初的CIS采用压缩感知采样和重构理论, 根据压缩感知理论, 信号在不满足Nyquist采样条件时仍能被准确重构的前提是信号具有稀疏性[9], 但CIS只考虑空间维稀疏采样, 对于光谱维则采用混叠压缩方式, 没有考虑光谱的稀疏采样, 致使最终图谱重构的精度很低。 为了提升重构精度, 国外提出了基于变换孔径的多次曝光成像方法[10, 11], 在保证高通量的前提下, 极大提升图谱重构精度, 但是, 该方法需要采用凝视成像方式, 且系统中存在移动编码模板的活动部件, 既不满足常规航空航天遥感推扫成像要求, 又降低了系统的稳定性, 使其应用受到极大的限制。 本工作从CIS成像特性分析入手, 针对现有技术存在的问题, 提出一种连续推扫计算光谱成像技术(continuous pushbroom computational imaging spectrometry, CPCIS), 具有高精度、 高通量、 高稳定度的优点, 并通过计算机仿真和成像实验, 对该技术进行验证。

1 CIS简介

CIS综合了光谱成像、 计算方法、 压缩感知等学科理论, 通过计算方法与传统色散型光谱成像过程融合, 将传统光谱成像技术的线视场(狭缝)扩展为面视场(编码模板), 极大提高了传统色散型光谱成像技术的光通量; 通过光学与压缩感知的结合, 实现了三维图谱信息的两维压缩感知成像和三维图谱重构, 极大降低了仪器获取的原始数据量。 CIS基本原理如图1所示。

图1 CIS光学原理示意图Fig.1 Optical principle of CIS

由CIS基本原理图可以看出, 入射光经前置镜后, 到达编码模板, 并完成特定的调制, 调制后的信号经准直镜到达色散元件进行分光, 分光后的信号经成像镜后, 在探测器感光面汇聚成像, 得到最终的编码混叠图谱信息。

对图1进行等效简化可以得到图2所示的等效模型[12], 假定入射光信号为复色光, 表示为f(x, y, λ ), 编码模板采用离散编码形式, 表示为t(x, y), 色散元件采用棱镜, 表示为δ (x, y; λ ), 其色散系数为α (λ ), 中心波长为λ c, 棱镜沿x方向色散, 则光信号经编码孔径调制和色散元件分光后, 在探测器像面的信号为:

g(x, y)=∬g(x, y, λ)dxdλ=∬f(x', y, λ)t(x', y)δ(x'-(x-α(λ)(λ-λc)))dx'dλ(1)

图2 CIS等效成像模型Fig.2 Equivalent model of CIS

可以看出, CIS是一种异点异谱积分成像技术, 探测器像元获得的能量是不同孔径不同谱段光能量的积分, 因此该技术具备高通量的优点, 光通量与普通照相机相似。 CIS通常采用压缩感知计算方法重构图谱信息, 可以简单理解为优化计算特定约束条件下的最小二乘解[13], 如式(2)所示

f˙=Ψ{argmins‖g-ΦΨTs‖22+κ‖s‖1}(2)

式(2)中, s为某正交基Ψ 下的变换系数, Φ M× N为观测矩阵, 对于CIS来说, Φ M× N由编码孔径形式决定, κ 为稀疏性约束因子。

假定目标场景的空间数字化采样点数为N× N, 其光谱数字化采样点数为P, 根据压缩感知理论, 对于CIS来说, 要高概率重构一个稀疏度为K的图谱, 其采样数据量M必须满足如下条件[14]

M≥Klog2N×N×PK(3)

事实上, CIS一次曝光采样的数据量为N× (N+P-1), 通常远小于压缩感知必须的采样数据量, 因此, 单次曝光采样无法实现三维图谱数据的高概率重构。 为了提高图谱重构精度, 国外学者提出多次曝光成像方法, 增加采样数据量。 根据文献[10]的分析, 对于一组给定的仿真数据, 相比单次曝光, 12次曝光重构图谱的峰值信噪比(PSNR)由23.2 dB提高到了35.7 dB。

但是, 多次曝光成像要求编码孔径在每次曝光时变更编码形式, 通常采用移动编码模板的方式实现, 如图3所示。 活动元件使得系统稳定性变差, 同时, 该方法要求CIS系统采用凝视成像方式, 也即是在完成多次曝光成像过程中, 系统拍摄的目标场景不变, 这不满足常规航空航天遥感推扫成像要求。

图3 多次曝光CIS成像原理示意图Fig.3 Multiframe imaging principle of CIS

2 CPCIS特性分析

CIS成像过程可以分为两部分, 一是编码采样成像, 其关键是设计最优编码孔径函数, 多数情况下选择随机函数[15, 16]; 二是三维图谱重构, 应用比较普遍是两步迭代收缩阈值算法[17](two-step iterative shrinkage/thresholding, TwIST)。 对于应用来说, 核心是高精度获取图谱精度, 快照式CIS的图谱重构精度明显不足, 多次曝光CIS虽然提升了重构精度, 但是其结果仍是最优估计值, 在理论上无法实现完全重构, 同时该方法又带来应用局限性。

为了解决现有CIS技术的不足, 需要从其成像过程入手, 同时结合实际应用需求, 改变其图谱信息获取和重构方法。 从成像过程考虑, 多次曝光CIS解决了数据量的问题, 但是需要改变编码模板, 如果将编码模板固定, 通过系统整体推扫, 让目标场景逐行遍历编码孔径, 在不改变编码模板的前提下, 同样可以极大提高采样数据量, 与此同时, 将系统色散方向与推扫方向保持垂直, 可以保证不同行目标图谱数据间的独立性, 由此提出CPCIS, 成像原理如图4所示。

图4 CPCIS成像原理示意图Fig.4 Principle of CPCIS

通过分析CIS和多次曝光CIS可以看出, 其编码孔径通常采用随机函数形式, 如图5(a)给出一种随机编码形式, 重构图谱为最优估计值。 而对于CPCIS来说, 既然可以实现逐行推扫成像, 如果其编码孔径采用正交函数形式, 如图5(b)给出一种正交循环编码形式, 在理论上只需要简单的正交变换就可以完全重构图谱, 既提高了重构图谱精度, 同时提高了计算效率。

图5 不同类型编码孔径
(a): 随机编码孔径; (b): 正交循环编码孔径Fig.5 Different types of coded aperture
(a): Radom coded aperture; (b): Orthogonal cyclic coded aperture

CPCIS的理论成像模型与CIS一致, 继承了CIS的高通量优点, 同时又消除了重构精度和稳定度等方面的缺陷。 下面以离散数字化模型对其成像和重构过程进行详细描述, 图6给出了CPCIS的离散数字化成像模型。

图6 CPCIS离散化成像模型Fig.6 Discretization imaging model of CPCIS

对于目标场景来说, 通常可以用两维空间x, y和一维光谱λ 进行数字化描述, 表示为fp, q, r, 如图6所示, 通常称为数据立方体。 沿与推扫方向垂直的平面任意取一切片, 表示为fp, r, 并依次逐行遍历编码模板, 模板表示为tm, n, 可以在探测器获取不同编码调制的图谱, 表示为gi, j, 假定p, m, n, j=1, …, h, r=1, …, l, i=1, …, l+h-1, 则有

gi, j=∑r=1lfk, rtk, jδk-(i-r+1)fk, r=0, if:i-r+1≤0andi-r+1> h(4)

遍历所有编码行, 可以得到一系列的编码采样数据, 对其进行重新排列后, 通过正交矩阵的逆变换, 就可以得到图谱数据, 举例说明, 设h=6, r=6, 依次可以得到离散化方程组形式, 以j=1为例, 方程组如式(5)

g1, 1=t1, 1f1, 1+t2, 1f0, 0+t3, 1f0, 0+t4, 1f0, 0+t5, 1f0, 0+t6, 1f0, 0g2, 1=t1, 1f1, 2+t2, 1f2, 1+t3, 1f0, 0+t4, 1f0, 0+t5, 1f0, 0+t6, 1f0, 0g3, 1=t1, 1f1, 3+t2, 1f2, 2+t3, 1f3, 1+t4, 1f0, 0+t5, 1f0, 0+t6, 1f0, 0g4, 1=t1, 1f1, 4+t2, 1f2, 3+t3, 1f3, 2+t4, 1f4, 1+t5, 1f0, 0+t6, 1f0, 0g5, 1=t1, 1f1, 5+t2, 1f2, 4+t3, 1f3, 3+t4, 1f4, 2+t5, 1f5, 1+t6, 1f0, 0g6, 1=t1, 1f1, 6+t2, 1f2, 5+t3, 1f3, 4+t4, 1f4, 3+t5, 1f5, 2+t6, 1f6, 1g7, 1=t1, 1f0, 0+t2, 1f2, 6+t3, 1f3, 5+t4, 1f4, 4+t5, 1f5, 3+t6, 1f6, 2g8, 1=t1, 1f0, 0+t2, 1f0, 0+t3, 1f3, 6+t4, 1f4, 5+t5, 1f5, 4+t6, 1f6, 3g9, 1=t1, 1f0, 0+t2, 1f0, 0+t3, 1f0, 0+t4, 1f4, 6+t5, 1f5, 5+t6, 1f6, 4g10, 1=t1, 1f0, 0+t2, 1f0, 0+t3, 1f0, 0+t4, 1f0, 0+t5, 1f5, 6+t6, 1f6, 5g11, 1=t1, 1f0, 0+t2, 1f0, 0+t3, 1f0, 0+t4, 1f0, 0+t5, 1f0, 0+t6, 1f6, 6(5)

式(5)中, 设f0, 0=0, 与其对应相乘的编码模板可以任意取值。 依次变化j, 可得到6个离散化方程组, 对其重新排列, 可得到11个新的方程组, 此处取6个离散化方程组的第一个方程为例, 可以得到

g1, 1=t1, 1f1, 1+t2, 1f0, 0+t3, 1f0, 0+t4, 1f0, 0+t5, 1f0, 0+t6, 1f0, 0g1, 2=t1, 2f1, 1+t2, 2f0, 0+t3, 2f0, 0+t4, 2f0, 0+t5, 2f0, 0+t6, 2f0, 0g1, 3=t1, 3f1, 1+t2, 3f0, 0+t3, 3f1, 1+t4, 3f0, 0+t5, 3f0, 0+t6, 3f0, 0g1, 4=t1, 4f1, 1+t2, 4f0, 0+t3, 4f0, 0+t4, 4f0, 0+t5, 4f0, 0+t6, 4f0, 0g1, 5=t1, 5f1, 1+t2, 5f0, 0+t3, 5f0, 0+t4, 5f0, 0+t5, 5f0, 0+t6, 5f0, 0g1, 6=t1, 6f1, 1+t2, 6f0, 0+t3, 6f0, 0+t4, 6f0, 0+t5, 6f0, 0+t6, 6f0, 0(6)

式(6)所述方程组以矩阵形式表示如式(7)

g1=g1, 1g1, 2g1, 3g1, 4g1, 5g1, 6=t1, 1t2, 1t3, 1t4, 1t5, 1t6, 1t1, 2t2, 2t3, 2t4, 2t5, 2t6, 2t1, 3t2, 3t3, 3t4, 3t5, 3t6, 3t1, 4t2, 4t3, 4t4, 4t5, 4t6, 4t1, 5t2, 5t3, 5t4, 5t5, 5t6, 5t1, 6t2, 6t3, 6t4, 6t5, 6t6, 6f1, 1f0, 0f0, 0f0, 0f0, 0f0, 0=Tf1(7)

理论上, 通过重新构建的11个方程组, 可以完全重构原始图谱, 如图7所示。 在实际中, 由于数学意义上的正交编码模板存在负值, 在物理层面无法实现, 因此, 需要对数学意义上的正交模板进行一定的变换, 并在解码重构过程中对其进行逆变换, 从而使得最终的解码重构矩阵具备正交性[18]。

图7 CPCIS光谱图像重建过程Fig.7 Spectral image reconstruction of CPCIS

3 仿真及成像验证

为了验证CPCIS技术的正确性, 采用计算机仿真和实验相结合的验证方式。 可以看出, CPCIS的关键是设计合理的编码孔径, 既能够保证重构图谱的完全性, 同时利于实现。 借鉴了在通信编码中具有极强的纠错能力的m序列循环编码方法, 该方法采用伽罗华域本原多项式构建m序列[19](m=2n-1), 由“ 0” 和“ 1” 组成, 对应到实际的编码模板, “ 0” 代表光的透光率为0, “ 1” 代表光的透过率为1, 可以通过光刻的方式实现。 对m序列循环移位可以得到m阶编码矩阵, 该矩阵可以与一个m+1阶的Sylvester型方阵H实现互逆变换[18], 而矩阵H具有如下特性

HHT=(m+1)I(8)

其中, 上标“ T” 代表矩阵转置, I为单位矩阵, 因此, 由m序列循环编码构成的编码模板可以保证重构过程中解码矩阵的正交性。

在仿真阶段, 首先构建m阶编码矩阵, 如图5(b)所示, 仿真采用的输入是由AVIRIS获取的高光谱数据, 谱段范围为366~1 253 nm, 谱段数为33, 如图8所示。 按照前述成像方法, 对其进行推扫成像和图谱重构过程仿真, 结果如图9所示, 其中, 图9(a)为单次曝光获取的编码混叠数据, 图9(b)为重构的图谱数据, 图9(c)为随机选取的单点地物对应的光谱曲线。 由仿真结果可以看出, 在不考虑噪声等因素影响的情况下, 可以实现图谱的完全重构。

图8 仿真用原始光谱图像Fig.8 Original spectral image used for simulation

图9 CPCIS仿真结果
(a): 仿真生成编码数据; (b): 仿真重构光谱图像; (c): 仿真重构光谱Fig.9 Simulated results of CPCIS
(a): Coded data by simulation; (b): Reconstructed image; (c): Reconstructed spectrum

利用研制的原理样机对室外地物进行推扫成像实验验证, 样机采用棱镜分光, 光谱范围450~900 nm, 谱段数25, 实验场景如图10(a)所示, 利用转台实现连续推扫。 由于扩展孔径光谱成像仪的实现难度较大, 为了降低难度, 样机采用子孔径拼接方式, 如图10(b)所示, 单次曝光获得的编码图谱如图10(c)所示。 对连续推扫的编码图谱数据进行重构, 结果如图11所示, 选择场景中的树和土壤两类典型地物光谱, 并与标准光谱设备采集的光谱进行对比, 如图12所示。

图10 CPCIS样机推扫成像实验及获取的编码数据
(a): 成像实验装置; (b): 样机编码孔径; (c): 样机获取的编码数据Fig.10 Pushbroom experimental setup and coded data of CPCIS prototype
(a): Experimental setup; (b): Coded aperture; (c): Coded data of prototype

图11 CPCIS样机成像实验重构光谱图像Fig.11 Reconstructed image of CPCIS prototype

由图12可以看出, 原理样机采集并重构的地物光谱与标准光谱设备采集的光谱吻合较好。 为了定量化描述, 分别计算重构光谱与标准光谱的相对偏差和相关系数[20], 如表1所示, 可以看出, 重构的两类地物光谱与标准光谱间相对偏差小于8%, 满足实际应用对图谱精度的要求[21]。

图12 成像实验重构光谱与标准光谱对比
(a): 树光谱曲线; (b) 土壤光谱曲线Fig.12 Comparison between standard and reconstructed spectrum
(a): Spectrum of tree; (b): Spectrum of soil

表1 重构光谱与标准光谱间的相对偏差和相关系数对比 Table 1 Relative deviation and correlative coefficient between standard and reconstructed spectra
4 结 论

CIS充分体现了多学科交叉融合的优势, 弥补了传统光谱成像技术光通量低的缺陷, 是光谱成像技术的一个新发展方向, 但该技术存在重构图谱精度低这一突出问题。 多次曝光CIS可提升重构图谱精度, 但重构图谱仍然是一个估计值, 而且系统稳定性变差, 其凝视成像方式也不满足常规航空航天遥感推扫成像要求。 提出一种新型的CPCIS技术, 理论分析表明, 该技术同样具有高通量优点, 理想情况下可实现图谱数据的完全重构。 通过仿真和实验验证表明, 其重构图谱的精度可以达到应用级精度要求, 此外, PCCIS系统中不存在活动元件, 稳定性高, 符合航空航天遥感推扫成像方式。

The authors have declared that no competing interests exist.

参考文献
[1] Gowen A A, Feng Y Z, Gaston E, et al. Talanta, 2015, 137: 43. [本文引用:1]
[2] Wu D, Sun D W. Innovative Food Science and Emerging Technologies, 2013, 19: 15. [本文引用:1]
[3] Belgiu M, Dragut L. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 114: 24. [本文引用:1]
[4] Clark R N, Brown R H, Jaumann R, et al. Nature, 2005, 435: 66. [本文引用:1]
[5] Schaepman M E, Jehle M, Hueni A, et al. Remote Sensing of Environment, 2015, 158: 207. [本文引用:1]
[6] Ziph-Schatzberg L, Swartz B, Warren C, et al. Proc. SPIE, 2015, 9482: 948210. [本文引用:1]
[7] Pearlman J S, Barry P S, Segal C C, et al. IEEE Trans. Geosci. Rem. Sens. , 2003, 41(6): 1160. [本文引用:1]
[8] Gehm M E, McCain S T, Pitsianis N P, et al. Appl. Opt. , 2006, 45(13): 2965. [本文引用:1]
[9] Donoho D L. IEEE Trans. Inform. Theory, 2006, 52: 1289. [本文引用:1]
[10] Kittle D, Choi K, Wagadarikar A A, et al. Appl. Opt. , 2010, 49(36): 6824. [本文引用:2]
[11] Arguello H, Arce G R. 18th European Signal Processing Conference (EUSIPCO-2010), Aalborg, Denmark, August 23-27, 2010, 1434. [本文引用:1]
[12] Qian L L, Lu Q B, Huang M. Chin. Phys. B, 2015, 24(8): 080703. [本文引用:1]
[13] Kim S J, Koh K, Lustig M, et al. IEEE[J]. Sel. Top. Sign. Proces. , 2007, 1(4): 606. [本文引用:1]
[14] Ward R. IEEE Trans. Inform. Theory, 2009, 55(12): 5773. [本文引用:1]
[15] Stern A, Javidi B. [J]. Display Technol. , 2007, 3(3): 315. [本文引用:1]
[16] SUN Biao, ZHANG Jian-jun(孙彪, 张建军). Acta Phys. Sin. (物理学报), 2011, 60(11): 110701. [本文引用:1]
[17] Bioucas-Dias J M, Figueiredo M A T. IEEE Trans. Image Process, 2007, 16(12): 2992. [本文引用:1]
[18] Nelson E D, Fredman M L. [J]. Opt. Soc. Am. , 1970, 60(12): 1664. [本文引用:2]
[19] Goresky M, Klapper A M. IEEE Trans. Info. Theory, 2002, 48(11): 2826. [本文引用:1]
[20] Boardman J W. Proc. SPIE, 1990, 1298: 222. [本文引用:1]
[21] XIANGLI Bin, WANG Zhong-hou, LIU Xue-bin, et al(相里斌, 王忠厚, 刘学斌, 等). Remote Sensing Technology and Application(遥感技术与应用), 2009, 24(3): 257. [本文引用:1]