引用本文
梁玮, 郝雯, 李秀秀, 王映辉, 杨秀红. 兼顾色度和光谱精度的多光谱图像LabW2P编解码[J]. 光谱学与光谱分析, 2019,39(6): 1823-1828.
LIANG Wei, HAO Wen, LI Xiu-xiu, WANG Ying-hui, YANG Xiu-hong. Multispectral Image LabW2P Codec for Improvement of Both Colorimetric and Spectral Accuracy[J]. Spectroscopy and Spectral Analysis, 2019,39(6): 1823-1828.
Doi:10.3964/j.issn.1000-0593(2019)06-1823-06  
Permissions
Copyright©2019, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
兼顾色度和光谱精度的多光谱图像LabW2P编解码
梁玮*, 郝雯, 李秀秀, 王映辉, 杨秀红
西安理工大学计算机科学与工程学院, 陕西 西安 710048
*通讯联系人

作者简介: 梁玮, 1985年生, 西安理工大学计算机科学与工程学院讲师 e-mail: wliang@xaut.edu.cn

收稿日期: 2018-01-18 接受日期: 2018-06-29
基金: 陕西省教育厅专项科研计划项目(17JK0535); 西安理工大学高层次人员科研启动金项目(112-256081503); 国家自然科学基金项目(61602373, 61502382, 61801380)资助
摘要

针对可见光多光谱图像在通用领域的应用, 为提高压缩效率, 有效提升重建光谱曲线的色度及光谱精度, 进一步存储传输, 提出了一种非线性光谱反射率模型, 并基于此设计了复杂度适中、 光照稳定性好且支持光谱跨设备再现的LabW2P编解码算法。 首先根据多光谱图像物理特性, 提出非线性光谱反射率模型, 将光谱数据表示为线性成分和差别光谱, 线性成分由六维变换空间及光谱投影系数组成, 差别成分为非线性表示成分, 该模型用于光谱数据至不同基变换空间的分解及表示, 为算法的构建, 光谱及色度重建性能的提升, 提供了理论基础; 然后, 根据人眼视觉系统特征、 光照条件, 借助CIE标准色度空间转换函数, 提取光谱反射率中的三维色度信息 Lab, 保证重建图像的色度精确性; 基于光谱非线性表示模型, 采用类视觉曲线的三角函数基, 提取线性成分前两维投影系数作为光谱编码的后两维 W1和 W2, 用于近似描述CIERGB色度空间中R和G通道, 同时有效提高光谱数据的色度和光谱还原度; 利用误差补偿机制生成预测差别光谱, 采用主成分分析(PCA)法提取其第一维主成分作为编码值 P, 补偿了线性光谱重建误差, 并进一步提升了光谱精确性; 最后, 组合提取的三部分数据, 形成LabW2P编码。 LabW2P解码即编码的逆过程。 首先, 根据 Lab及 W1和 W2, 结合CIELAB至CIEXYZ色度空间转换函数、 光照条件、 CIE标准观察者色匹配函数、 及三角函数基, 采用最小二乘回归, 获得变换空间上的重建投影系数, 进而重建线性光谱数据; 然后, 根据 P值, 采用PCA逆变换, 获取重建预测差别数据, 最后, 结合两部分重建数据, 获得光谱重建图像。 实验分析显示, LabW2P算法的平均色度精度为0.207 6, 较经典的PCA, LabPQR和LabRGB法分别提升了81.54%, 55.48%, 32.29%, 最大平均色差为0.507 0, 此外均处于0~0.5之间, 达到了视觉难以辨认的可忽略色差的色彩重建水平; 平均光谱精度为0.012 7, 较PCA性能稍弱, 较LabPQR和LabRGB法分别提升了13.01%, 6.62%, 表明LabW2P编码法的色度和光谱重建性能优势明显。 此外该算法可直接用于物体色估计, 较PCA和LabPQR法, 传输附加信息少, 可达压缩比更高。

关键词: 可见光谱; 多光谱图像编解码; 色彩再现; 非线性光谱模型; 预测法
中图分类号:TN919.81 文献标志码:A
Multispectral Image LabW2P Codec for Improvement of Both Colorimetric and Spectral Accuracy
LIANG Wei*, HAO Wen, LI Xiu-xiu, WANG Ying-hui, YANG Xiu-hong
School of Computer Science and Engineering, Xi’an University of Technology, Xi’an 710048, China
*Corresponding author
Abstract

In order to improve visible multispectral image (MSI) compression efficiency and further facilitate their storage and transmission for the applications of generic fields, in which both high colorimetric and spectral accuracy are desired, a nonlinear spectral reflectance model is proposed. Then based on this, LabW2P codec is presented, which has the advantages of moderate complexity, good illuminant stability and support for consistent color reproduction across devices. First, according to spectral characteristics of MSIs, a nonlinear spectral reflectance model is proposed for the decomposition and representation of spectral data to different transformation spaces. In the model, spectra are expressed as linear component and difference spectra. The linear component consists of six transformation basis and spectral projection coefficients. And the difference spectra are non-linear represented components. The model provides the theoretical basis for the construction of the coding algorithm and the improvement of spectral and chrominance reconstruction performance. Then, according to the characteristics of human visual system, illumination conditions, and CIE standard chromaticity space transform function, the three-dimensional (3D) colorimetric information Lab of spectral reflectance is extracted to ensure the colorimetric accuracy of the reconstructed image. Meanwhile, based on the nonlinear spectral model, visual-curve-like trigonometric function basis are used to obtain the first 2D projection coefficients of linear component as the latter 2D coding values that are W1 and W2, which can be utilized to approximate R and G channels, and also improve the colorimetric and spectral reconstruction accuracy. Combined with error compensation mechanism, predicted difference spectral is generated. The Principal Component Analysis (PCA) method is used to extract the first principal component P which compensates for the linear spectral reconstruction error and further improves the spectral accuracy. Finally, the extracted three components are combined to form LabW2P coding. LabW2P decoding scheme is the inverse of the coding. First, according to Lab, W1 and W2, combined with CIELAB to CIEXYZ conversion function, illumination conditions, CIE standard observer color matching function, and trigonometric function basis, the reconstructed projection coefficients on transform space are obtained by using least square regression, and then linear spectral data is rebuilt. Next, based on the value of P, inverse PCA is utilized to gain the reconstructed prediction difference data. Finally, two parts of reconstruction data are combined to get the reconstructed MSI. Experimental results show that the average colorimetric precision of LabW2P algorithm is 0.207 6, which is increased by 81.54%, 55.48% and 32.29% respectively in comparison with that of the classical PCA, LabPQR and LabRGB methods. The maximum average color difference is 0.507 0, and in addition, it is between 0 and 0.5, reaching the color reconstructed level of being visually neglected. Meanwhile, the average spectral precision is 0.012 7, which is slightly weaker than that of PCA, but 13.01% and 6.62% higher than that of LabPQR and LabRGB respectively. The results indicate that LabW2P has obvious advantages of both colorimetric and spectral reconstruction performance. Besides, our coding values can be used directly for object color estimation. And compared with PCA and LabPQR, LabW2P transmits less side information and has higher compression ratio.

Keyword: Visible spectrum; Multispectral image codec; Color reproduction; Non-linear spectral model; Prediction
引言

多光谱图像是一种结合二维空间信息和一维光谱特征的三维数据立方体。 其像素值描述了对象在各频带的光谱反射特性, 较传统色度图像可以更全面地反映场景的各种光学属性, 因此多光谱图像不但一直广泛应用于遥感, 亦逐步应用于纺织、 医疗彩色成像、 艺术品存档、 高保真色彩再现等领域[1, 2, 3]。 在众多的应用领域中, 常常不仅需要高精度的光谱数据用于光谱分析, 同时也需要高精确性的颜色信息用于色彩的可视化、 再现以及控制传输。 但是, 由于多光谱图像数据包含了丰富的多通道场景信息, 数据量庞大, 为高效存储和传输, 须根据其应用, 充分利用其光谱特性, 进行合理有效地压缩。

多光谱图像压缩方法主要集中在两个领域— — 遥感和高保真色彩再现。 面向遥感的多光谱图像压缩并未考虑重建图像的色彩还原度, 主要目标是降低重建图像与原图像间的光谱误差。 而针对色彩再现的多光谱图像压缩方法, 着重考虑去相关阶段如何保留色彩信息, 光谱和色彩重建精度常常顾此失彼。

目前, 面向多光谱色彩再现的压缩方法主要为降维法, 如: 主成分分析(PCA), Labplus, LabPQR, LabRGB等[4, 5, 6, 7, 8]。 算法基于物体的光谱反射率表示模型[2], 从不同的基变换空间, 对源光谱数据进行筛选和降维。 PCA算法[2, 4]是应用普遍的经典光谱降维法, 具备通常最优的去除二阶线性相关性能。 但是, 其未考虑色度重建性能, 且在解码端重建原始数据时需传输变换矩阵信息, 压缩附加数据较多。 对于Labplus, LabPQR和LabRGB, 算法前三维编码值表示物体在特定照明下的可视色刺激值, 其余通道用来描述同色异谱黑成分。 Labplus与LabPQR算法的前三通道常为D65照明下物体光谱对应在均匀色度空间CIELAB中的色度值, 其余通道由异谱差异数据中的若干主成分构成。 两者的区别在于, LabPQR算法提取差异数据的前三主成分, 其余通道数为三, 而Labplus的其余通道数通常大于且不限于三。 由于这两种算法均基于PCA, 因此也需要传递较多的附加信息。 Nakaya[7]提出的LabRGB算法解决了附加信息的问题, 算法的Lab通道依然是特定照明下的均匀空间色度三刺激值, 而RGB三通道由源光谱数据投影至三角函数基形成, 文章将投影系数假设为物体的RGB空间色度值, 编码值实现了原始物体色的实际物理值估计, 方便了接收端的信息处理与分析。 此类面向色彩再现的压缩算法研究均集中在光谱维冗余去除方面, 无针对性编码方案, 优秀的重建色度精度常常以损失重建光谱精度为代价。

针对现有色彩再现类多光谱图像压缩算法存在的附加信息多、 编码值无实际物理意义, 色度光谱不能兼顾等问题, 研究了光谱反射率非线性表示模型, 给出了兼顾色度和光谱的多光谱图像LabW2P编解码算法。 算法可有效降低图像传输中的附加信息, 并且提供预估实际物体色的编码值。 实验表明, 在相同维数下, 本算法以较少的附加信息保证了更优秀的色度和光谱重建精度。

1 多光谱图像谱间六维稀疏表示
1.1 光谱反射率线性模型

多光谱图像空间子图[2], 代表地物在不同波段上的光谱反射率数值, 可由4~8个基函数近似线性表示, 常建立为式(1)所示线性模型, 用于去除谱间冗余。

r=∑i=16wiei(1)

其中, r为图像某一空间位置的光谱反射比矢量, 即空间子图, ei为变换空间基矢量, wi为各基矢量对应的权重, 基矢量个数为6。 若将多光谱图像视为行或列主序形成的N幅空间子图数据矩阵R, 即R=[r1r2 … rN], 则其可表示如式(2)

R=EW(2)

式(2)中, E=[e1e2 … e6], W=[ w1T w2T… w6T]T。 以下经典算法正是基于或部分基于上述线性模型的。

1.2 PCA, LabPQR与LabRGB

对R进行PCA变换的本质是找到一组正交基组成的线性变换T, 有Y=TR, 使得变换后的Y的协方差矩阵CY为对角阵, 从而保证变换后的成分能量集中且互不相关。 重构光谱时, 为使‖ R- R̂‖22最小, 采用最小二乘法, 此时 R̂=TTY。 结合式(2)知, E为TT, ei即CR的特征向量; wi对应第i个主成分。 PCA算法重构图像具备较高的光谱重建质量, 但是未考虑色度精度。

对于LabPQR算法, Lab色度值由原光谱数据经由三个阶段形成: ①r结合给定光照、 观察者条件, 计算出对应的三刺激值t; ②t规范至[0, 1]区间, 形成规范化三刺激值c; ③c借助CIEXYZ至CIELAB非线性转换函数, 获得Lab三通道数据。 利用转换过程中存在的关系C=DR, 其中D为观察环境矩阵, 可得Er=R-pinv(D)C。 为补偿光谱信息, 算法采用PCA提取Er的前三主成分作为PQR三通道数据。 重建数据时有 R̂=pinv(D)C+ Êr。 LabRGB算法的Lab值, 采用了与LabPQR相同的色度值提取方法。 在表示同色异谱信息时, 算法基于式(1), 将R投影至与数据源无关的六维三角函数基空间E, 保留前三维系数形成RGB值。 重建时, 首先由Lab获取C, 然后结合RGB值重建 Ŵ, 最后通过 R̂=E Ŵ得到重建图像。 两种算法的编码数据在传递色度信息的同时, 保证了一定的光谱重建质量。

2 兼顾色度和光谱精度的LabW2P编解码
2.1 光谱反射率非线性模型

为使编码值更好地表征原始光谱图像的色度和光谱信息, 建立光谱反射率非线性表示模型如式(3)所示

r=∑i=16wiei+rrest(3)

式(3)中, r被划分为第一部分(Part 1)线性表示部分和第二部分(Part 2)描述偏差成分rrest。 该模型一方面可以保持线性模型的优势, 有效降低线性冗余, 另一方面可有效提升光谱表示精确性, 进一步增强重建质量。 本压缩算法正是基于该模型设计, 可实现多光谱图像的近无损压缩。

2.2 LabW2P编解码流程

基于式(3), 结合误差补偿机制, 提出LabW2P编解码流程如图1。

图1 LabW2P编解码流程图
(a): LabW2P编码流程图; (b): LabW2P解码流程图Fig.1 Flow chart of LabW2P codec
(a): LabW2P encoder; (b): LabW2P decoder

2.2.1 LabW2P编码

如图1(a)所示, LabW2P压缩码流分为三部分, 共六通道。 为使得编码值在光谱和色度上都能很好地表征原多光谱图像, 算法用前三维表示光谱反射率在特定光照、 观察者条件下的均匀色彩空间色度值Lab, 后两维用于模拟特定观察环境下的R和G通道, 最后一维用来补偿光谱信息, 提高重建光谱精度。

误差补偿机制是提升重建精度的又一措施。 为进一步提升压缩性能, 算法在最后一维编码值生成时, 并未直接对rrest进行PCA降维, 而是对包含了rrest和rpart1重建误差的预测差别成分r'rest进行降维。 故可在r重建时, 对rpart1重建误差进行有效补偿, 得到更精确的r重建光谱。

LabW2P编码步骤如下。

(1) 提取Lab色度值。 首先, 由C=DR获得标准化CIEXYZ三刺激值矩阵C; 然后利用CIEXYZ至CIELAB非线性变换函数, 获取均匀空间色度值Lab。

(2) 获取投影系数矩阵W1和W2。 算法采用类视觉特性三角函数基矢量ei, 形成变换矩阵E, 将R投影至E获取系数矩阵W, 选取前两行向量作为W1和W2编码值。 其中, ei=[ei(λ min) … ei(λ max)]T, λ ∈ [400, 700], i=1, …, 6。 ei(λ )如式(4)所示。

e1(λ)=sin12πλ-λminλmax-λmine2(λ)=cos12πλ-λminλmax-λmine3(λ)=sinπλ-λminλmax-λmine4(λ)=cos32πλ-λminλmax-λmine5(λ)=sin2πλ-λminλmax-λmine6(λ)=cos52πλ-λminλmax-λmin(4)

(3) 对LabW2值进行解码, 生成式(3)中Part 1重建光谱数据。 解码过程如图1(b)中所示。

(4) 利用误差补偿机制, 由式(3)可得r'rest=r- r̂part1, 对R'rest进行PCA, 提取第一大主成分作为P编码值。

2.2.2 LabW2P解码

如图1(b)所示, 重建光谱图像由Part 1重建光谱 R̂part1与预测差别重建光谱 R̂'rest两部分构成。 LabW2P解码过程如下。

(1) 重建Part 1光谱数据。

① Lab值, 经由CIELAB至CIEXYZ色度空间非线性逆变换, 获得光谱图像对应的规范化三刺激值矩阵C。

② W1和W2编码值, 结合D, E和上一步所得的C, 获得E上的投影系数重建矩阵 W˙。 由C=DR及式(2)可得C=D(E1∶ 2W1∶ 2+E3∶ 6W3∶ 6)=C'+DE3∶ 6W3∶ 6, 故可获取最小二乘解 W˙3∶6=pinv(DE3∶ 6)(C-C')。 因此, Ŵ=[ w1T w2T W3∶6T]T。 其中, E1∶ 2=[e1e2], W1∶ 2= w1w2, E3∶ 6和W3∶ 6同理。

③ 根据式(2)及 Ŵ, 由E Ŵ, 获得Part 1重建光谱 R̂part1。

(2) 由P成分, 利用逆PCA, 获得重建差别光谱数据 R̂'rest。

(3) 由 R̂= R̂part1+ R̂'rest, 获得重建多光谱图像。

3 算法验证
3.1 性能评价指标

为评价重建光谱图像的色度和光谱精度, 采用两种度量方式[9, 10]。 ① 色差。 在色度性能保持方面, 对于每条重建光谱, 算法采用光谱在CIELAB空间内重建前后产生的色度值偏移即色差来衡量。 色差公式为Δ Eab= (ΔL)2+(Δa)2+(Δb)2。 ② 光谱均方根误差(RMSE)。 在光谱精度保证方面, 算法采用RMSE度量, 其公式为

RMSE=1N∑i=1N(r(λi)-r̂(λi))2

式中, N为光谱反射率的维数; r(λ i)和 r̂(λi)分别为物体在λ i处的光谱反射率数值和重建值。

3.2 色度与光谱重建性能

为验证算法有效性, 选取哥伦比亚和东芬兰大学发布的三幅代表性多光谱图像, 与经典的PCA, LabPQR和LabRGB算法进行了压缩对比实验。 测试光谱图像包含31波段(波长范围: 400~700 nm, 光谱分辨率: 10 nm), 量化位数16 bit, 其对应的RGB图如图2所示。

图2 多光谱图像的合成RGB图
(a): 多光谱玩具图, 空间分辨率512× 512; (b): 多光谱小女孩图, 空间分辨率147× 87; (c): 多光谱水果与花图, 空间分辨率120× 160Fig.2 Composite RGB images of multispectral images
(a): Stuffed-toys, 512× 512; (b): Little-girl, 147× 87;
(c): Fruit-flower, 120× 160

由图2可知, 多光谱玩具图包含毛绒玩具及色彩丰富的色靶, 小女孩图反映了人类体肤, 水果与花图刻画了常见的水果与花朵, 分别描述了不同颜色和材质的典型自然场景, 有利于重建图像的光谱综合重建性能评价。 算法压缩性能对比如表1— 表3所示。

表1 多光谱玩具图, 不同观察条件下各算法的重建图色彩失真及光谱失真对比 Table 1 RMSE and Δ Eab performance comparison of stuffed-toys with various algorithms
表2 多光谱小女孩图, 不同观察条件下各算法的重建图色彩失真及光谱失真对比 Table 2 RMSE and Δ Eab performance comparison of little-girl with various algorithms
表3 多光谱水果与花图, 不同观察条件下各算法的重建图色彩失真及光谱失真对比 Table 3 RMSE and Δ Eab performance comparison of fruit-flower with various algorithms

由表1— 表3可知, 在可达压缩比方面, LabW2P算法具备与LabRGB算法相当的压缩比, 整体最优, 其次是LabPQR算法, PCA算法压缩比最低。 在色度重建性能方面, 对于不同多光谱图像, LabW2P算法, 较PCA, LabPQR及LabRGB算法, 在各个照明条件下, 均具有最小的平均重建色度误差。 LabW2P算法的最大平均色差为0.507 0, 除此之外都处于0~0.5之间, 达到了肉眼难以辨认出的可忽略色差的色彩重建水平。

对于stuffed-toys, PCA算法的色度重建性能最差。 LabW2P算法最优, 其次是LabRGB, 再次是LabPQR。 LabW2P算法较PCA, LabPQR和LabRGB, 在同是六维编码, 且附加信息极少的情况下, 平均色差在D65, D50, A照明环境中分别降低了0.546 6, 0.568 2, 0.390 1; 0, 0.092 8, 0.042 7和0, 0.013 9, 0.032 9; 平均色精度均值分别提升了69.50%, 17.02%和6.62%。

对于little-girl, PCA算法的色度重建性能最差。 LabW2P算法最优, 其次是LabPQR, 再次是LabRGB。 LabW2P算法在D65, D50和A照明条件下, 较PCA, LabPQR和LabRGB算法, 平均色差分别降低了1.009 2, 0.959 8, 1.121 1; 0, 0.050 4, 0.223 1和0, 0.119 9, 0.607 9; 平均色精度均值分别提升了84.33%, 32.26%和55.89%。

对于fruit-flower, PCA算法的色度重建性能最差。 LabW2P算法最优, 其次是LabRGB, 再次是LabPQR。 LabW2P算法较PCA, LabPQR和LabRGB, 平均色差在D65, D50, A照明环境中分别降低了1.557 1, 1.371 7, 0.726 7; 0, 0.481 5, 1.437 2和0, 0.027 1, 0.088 7; 平均色精度均值分别提升了85.22%, 75.17%和15.45%。

另外, 最大色度误差对比显示, 对于fruit-flower, LabW2P算法最优; 对于stuffed-toys, LabW2P算法与LabPQR相当; 对于little-girl, LabW2P优于LabPQR, 与LabRGB相当。 结合LabW2P最优的平均色度重建精度, 说明了本算法对绝大部分光谱曲线的优秀色彩重建性能。

在光谱重建性能方面, 对于stuffed-toys和little-girl, RMSE从小到大, 分别是PCA, LabPQR, LabW2P和LabRGB; 对于fruit-flower, RMSE从小到大排序为PCA, LabRGB, LabW2P和LabPQR。 由此可知, LabW2P算法的可达光谱精度处于LabRGB和LabPQR之间, 重建光谱性能较优。

综上, LabW2P法具有最优的重建色度精度和较优的光谱重建性能。 LabW2P算法的附加信息少, 仅为PCA法附加信息的1/6, LabPQR法的1/3。 此外, LabW2编码值可直接用作估计物体的Lab及R, G值, B值可由计算间接获得, 故可在部分接收端直接使用, 简去了解码过程, 为用户提供快速、 便利的体验。

4 结论

以多光谱图像的高重建色度精度和光谱精度作为压缩目标, 提出光谱反射率非线性表示模型, 并基于此设计了LabW2P压缩算法。 LabW2P算法较现有色彩再现领域的经典六维光谱编码算法PCA, LabPQR, 附加信息量低, 重建色度精度高, 光谱精度较优, 且编码值可表述更多的实际色度信息; 较LabRGB, 其色度精度高, 光谱重建性能通常更优或相当。 LabW2P算法, 基于rpart1-rrest非线性表示模型, 结合了类视觉特性曲线的三角函数基与误差补偿机制, 进一步提升了重建图像的色度和光谱重建性能。 另外, LabW2P算法中W2与部分投影系数具有一定关联, 可利用此先验进一步提升算法的压缩重建性能。

The authors have declared that no competing interests exist.

参考文献
[1] Valsesia D, Magli E. IEEE Geoscience and Remote Sensing Letters, 2017, 14(3): 394. [本文引用:1]
[2] Liang W, Zeng P, Xiao Z, et al. Journal of Electronic Imaging, 2016, 25(4): 043026. [本文引用:4]
[3] Hagag A, Hassan E S, Amin M, et al. Optik-International Journal for Light and Electron Optics, 2017, 131: 1023. [本文引用:1]
[4] Ciprian R, Carbucicchio M. Journal of Optics, 2011, 13(11): 115402. [本文引用:2]
[5] Agahian F, Funt B. Color Research and Application, 2016, 41(1): 7. [本文引用:1]
[6] Wu G, Liu Z, Fang E, et al. Optik-International Journal for Light and Electron Optics, 2015, 126(11-12): 1249. [本文引用:1]
[7] Nakaya F. Proc SPIE Color Imaging XVI: Displaying, Processing, Hardcopy, and Applications, 2011, 7866: 78660Y. [本文引用:2]
[8] Ma L, Qiu X, Cong Y. Proc SPIE, MIPPR 2015: Multispectral Image Acquisition, Processing, and Analysis, 2015, 9811: 98110C. [本文引用:1]
[9] Moan S L, Urban P. IEEE Transactions on Image Processing, 2014, 23(5): 2058. [本文引用:1]