对抗曝光变化的自适应加权光谱重建方法研究

引用本文

梁金星, 辛磊, 程靖尧, 周景, 罗航. 对抗曝光变化的自适应加权光谱重建方法研究[J]. 光谱学与光谱分析, 2023,43(11): 3330-3338.
LIANG Jin-xing, XIN Lei, CHENG Jing-yao, ZHOU Jing, LUO Hang. Adaptive Weighted Spectral Reconstruction Method Against Exposure Variation[J]. Spectroscopy and Spectral Analysis, 2023,43(11): 3330-3338.
Doi:10.3964/j.issn.1000-0593(2023)11-3330-09 复制到剪切板

Permissions

《光谱学与光谱分析》期刊社所有

对抗曝光变化的自适应加权光谱重建方法研究

梁金星^1,^2,³, 辛磊¹, 程靖尧¹, 周景¹, 罗航^1,^3,^*

1.武汉纺织大学计算机与人工智能学院, 湖北武汉 430200

2.湖北省服装信息化工程技术研究中心, 湖北武汉 430200

3.湖北省文物颜色信息数字化与虚拟再现工程技术研究中心, 湖北武汉 430079

*通讯作者 e-mail: luohang@whu.edu.cn

作者简介: 梁金星, 1989年生, 武汉纺织大学计算机与人工智能学院博士研究生, 湖北省楚天学者计划楚天学子 e-mail: jxliang@wtu.edu.cn

收稿日期: 2022-05-07 修回日期: 2022-10-07

基金: 湖北省自然科学基金项目(2022CFB537, 2020CFB386), 国家自然科学基金项目(62175191)资助

摘要

光谱是颜色信息的指纹, 也是表征物质物化属性的重要特征, 对于颜色的高保真复制和物质的精准识别分析具有重要应用价值。基于光谱重建的多光谱成像技术利用成像系统拍摄物体表面数字图像, 并通过光谱重建计算得到物体表面的多光谱图像, 能够克服传统RGB图像对成像条件的依赖性, 更加精细化地表征识别物体。该技术相对于价格昂贵的高光谱相机而言, 能够有效提升多光谱图像的空间分辨率和获取效率, 降低设备成本。然而, 无论是基于机器学习还是基于深度学习的光谱重建方法, 在光谱重建应用时均对图像的曝光变化敏感, 即光谱重建方法在一种曝光水平下建立的光谱重建模型, 无法直接在另一曝光水平下进行光谱重建应用, 否则将导致重建光谱曲线的形状特征偏离真实光谱, 制约着光谱重建面向光照强度易变和光照不均性场景的应用。针对现有光谱重建方法对图像曝光水平变化敏感的问题, 论文提出了一种基于根多项扩展的自适应加权光谱重建方法, 首先利用根多项式对样本rawRGB图像数据进行扩展, 并利用伪逆法建立光谱重建模型, 以解决模型对曝光水平变化的敏感性, 然后在光谱不变特征空间构建自适应加权矩阵, 以进一步提升光谱重建精度。研究以理论实验和具体实验样本为基础, 首先对现有光谱重建方法对曝光变化的敏感性进行分析, 然后将该方法与现有同类型光谱重建方法进行对比, 最后探讨了加权策略对该方法的影响。实验结果表明, 现有先进光谱重建方法均对曝光水平变化敏感, 而该方法能有效对抗曝光水平变化, 且光谱重建的光谱均方根误差(RMSE)和色差(ΔEab*)显著低于现有同类方法。此外, 在光谱不变特征空间构建自适应加权矩阵, 对于该方法提升光谱重建精度至关重要。研究成果对开放场景下的高精度光谱重建具有重要应用价值。

关键词: 光谱分析; 光谱重建; 多光谱图像; 根多项式; 光谱不变特征

中图分类号:O432.3 文献标志码:A

Adaptive Weighted Spectral Reconstruction Method Against Exposure Variation

LIANG Jin-xing^1,^2,³, XIN Lei¹, CHENG Jing-yao¹, ZHOU Jing¹, LUO Hang^1,^3,^*

1. School of Computer Science and Artificial Intelligence, Wuhan Textile University, Wuhan 430200, China

2. Engineering Research Center of Hubei Province for Clothing Information, Wuhan 430200, China

3. Hubei Province Engineering Technical Center for Digitization and Virtual Reproduction of Color Information of Cultural Relics, Wuhan 430079, China

*Corresponding author

Abstract

The surface spectral reflectance of the object is regarded as the fingerprint of its color, and at the same time, it is also an important feature to characterize the physical and chemical properties of substances. Multispectral imaging technology that is based on spectral reconstruction can overcome the dependence of RGB images on imaging conditions. Meanwhile, it can effectively improve the spatial resolution and acquisition efficiency of multispectral images and reduce equipment costs. Different from the principle of multispectral cameras, multispectral imaging based on spectral reconstruction first capture the digital images of the object using a digital imaging system, and then the corresponding multispectral images are reconstructed using spectral reconstruction methods. However, due to the mechanism of current spectral reconstruction methods, for both machine learning and deep learning methods, they are sensitive to exposure change of the image in practice. This means the spectral reconstruction model established at one exposure level cannot be directly used at another exposure level, or the curve shape of the reconstructed spectral reflectance will deviate from the ground truth. The sensitivity to exposure changes of current spectral reconstruction methods has limited their application in open environments with variable illumination intensity and inhomogeneity. To deal with the problems of current methods, an adaptive weighted spectral reconstruction method based on polynomial root expansion is proposed in this paper. In the proposed method, the raw RGB response of samples is firstly expanded by the root polynomial, and then the spectral reconstruction model is established by the pseudo-inverse algorithm. It will ensure the proposed method will be against the exposure changes. After that, an adaptive weighting matrix is constructed in the spectral invariant feature space to improve the spectral reconstruction accuracy further. The proposed method is verified and compared with the existing method through theoretical experiments and three sample sets. Results show that the existing spectral reconstruction methods are all sensitive to exposure change, and the proposed method can effectively adapt to the exposure change. The spectral root-mean-square error (RMSE) and the color difference (ΔEab*) are significantly lower than existing methods. In addition, results indicate that constructing the adaptive weighting matrix in spectrally invariant feature space is crucial to improve the spectral reconstruction accuracy of the proposed method. The research results are important for high-precision multispectral image acquisition in the open environment.

Keyword: Spectral analysis; Spectral reconstruction; Multispectral imaging; Root-polynomial; Spectral invariant feature

文章图片

引言

光谱是颜色信息的指纹, 同时也是表征物质物理化学属性的重要特征之一, 高精度的多光谱图像获取对于颜色高保真复制和高精度光谱分析至关重要。基于光谱的颜色复制技术可以克服光源和设备因素对颜色复制的影响, 利用光谱数据可以分析皮肤生理指标水平, 原位无损地分析古代壁画的颜料成分, 提升物体识别精度^{[1, 2, 3, 4]}。分光光度计、光谱辐射度计以及光谱相机通过基于单点方式或者低空间分辨率的光学扫描成像方式, 获得目标物体的单点光谱数据或者低空间分辨率多光谱图像, 虽然能够较为准确的获得物体的光谱信息, 但是应用场景和测量对象类型存在较大局限性。

光谱重建技术能够克服传统光谱测量设备的应用局限性, 获取高空间分辨率多光谱图像。目前常见光谱重建方法可分为传统方法^{[2, 5, 6, 7, 8, 9, 10]}与深度学习方法^{[11, 12, 13, 14, 15, 16, 17]}。传统方法主要包括伪逆法、维纳估计法以及主成分分析法等^{[2, 5, 6, 7, 8, 9, 10]}。此类方法基于相机成像模型, 通过求解光谱重建矩阵开展光谱重建。 Shen等较早提出基于自适应局部回归的光谱重建方法^[5], 并对方法进行了优化提升^[6], 此后提出了一种基于相机响应的多项式和偏最小二乘的光谱估计方法^[7], 显著优于Connah等提出的最小二乘与多项式回归^[8]。 Liang等基于单幅RGB图像进行光谱重建研究, 提出基于局部加权的非线性回归光谱估计方法^[9]。 Xu等提出了一种基于核算法的自训练光谱重建方法^[2], Li等提出一种样本优化方法^[10]。

随着深度学习的发展, 深度学习被用于光谱重建领域^{[11, 12, 13, 14, 15, 16, 17]}。基于深度学习的重建模型通常基于大量数据样本, 建立RGB图像与光谱图像之间的映射关系。 Shi等通过在网络结构中引入残差与密集连接结构^{[11, 12, 13]}, 实现了由RGB图像到多光谱图像的高精度重建^[14]。 Zhang等提出了基于密集连接的深度学习模型^[15], 有效提升了建模效率。 Zhao等提出四级层次回归网络^[16], 并且网络中采用残差密集块来消除由光谱重建误差引起的伪影效应, Li等提出一种自适应加权注意力网络^[17], 可以整合网络通道之间的相关性重新分配通道特征, 有效提升光谱重建精度。

然而, 现有光谱重建方法对曝光水平变化敏感[如图1(a)所示], 即在某一曝光水平建立的光谱重建矩阵, 无法直接应用于另一曝光水平进行光谱重建, 否则将引起重建光谱曲线形状特征丢失。研究对抗曝光变化的光谱重建方法[如图1(b)所示], 能够有效应对曝光水平变化对光谱重建结果的影响, 确保重建光谱曲线物理特征的保持, 从而保证对于物质分析识别的准确性。这对于在光照强度易变和光照不均匀等实际开放环境下的高精度光谱图像获取至关重要, 能够推动开放场景下的多光谱图像获取技术的发展。

	Figure Option View Download New Window
	图1 光谱重建方法示例 (a): 非对抗曝光的光谱重建方法; (b): 对抗曝光的光谱重建方法Fig.1 Examples of spectral reconstruction methods (a): Exposure sensitive spectral reconstruction method; (b): Exposure invariant spectral reconstruction method

为此, 提出一种基于根多项扩展的自适应加权光谱重建方法, 首先利用根多项式对样本raw RGB图像数据扩展, 利用伪逆法建立光谱重建模型, 解决模型对曝光水平变化的敏感性, 然后在光谱不变特征空间计算自适应加权矩阵, 进一步提升光谱重建精度。本方法旨在通过提升方法对曝光水平变化的鲁棒性, 解决现有光谱重建方法对曝光水平变化的敏感性, 同时提升光谱重建的精度。本方法所构建的光谱重建模型能有效对抗曝光水平变化, 且在同等实验条件的光谱均方根误差(root-mean-square error, RMSE)和CIE1976色差(Δ $E_{ab}^{*}$ )均能明显低于现有方法。

1 模型及方法

1.1 光谱重建模型

相机的成像过程总体可划分为线性的光学成像与非线性的数字图像处理两个阶段^[9], 其中相机感光元件将光信号转化为raw RGB图像数据为线性阶段, 然后raw RGB图像数据会经过一系列的非线性数字图像处理(如去暗电流、白平衡校正、去马赛克、颜色空间转换以及阶调调整等), 最终才会输出成视觉满意的RGB图像^[8]。但由于品牌不同相机采用不同的后处理算法, 难以对raw RGB图像的后处理进行精准建模表达, 因此现有研究多以原始的raw RGB图像为基础, 开展光谱重建研究。具体成像模型如式(1)所示^[9], 其中d_i表示图像中一个像素点第i个通道的响应值, l(λ )为照明光源的光谱分布, r(λ )为物体表面一个点的光谱反射率, t(λ )为相机镜头光学器件的总体透射率, f_i(λ )为相机第i个通道滤光片的透射率, s(λ )为相机感光元件光谱灵敏度函数, λ 表示波长, n_i表示数码相机第i个通道的噪声信号, m_i=l(λ )t(λ )f_i(λ )s(λ )表示数码相机第i个通道的整体光谱灵敏度函数。

$\begin{array}{l} d_{i} = \int l (λ) r (λ) t (λ) f_{i} (λ) s (λ) d λ + n_{i} \\ = \int m_{i} (λ) r (λ) d λ + n_{i} \end{array}$ (1)

在对成像系统的噪声进行校正的前提下, 可将式(1)写成如式(2)所示矩阵表达形式

$d = Mr$ (2)

式(2)中, d表示一个像素点的K× 1维响应值向量, K为成像系统通道数, M表示包含了l(λ ) 、 t(λ ) 、 f_i(λ )和s(λ )在内的K× N维系统整体灵敏度函数矩阵, r表示一个像素点的N× 1维光谱向量。光谱重建方法实质就是实现上述成像模型的反向求解, 具体如式(3)所示, 即实现由多通道响应信号d到对应光谱信息r的计算, 确保对于给定的任意多通道响应值d均能重建得到其对应光谱数据r, 其中f(· )代表光谱重建所采用的具体方法。

$r = f (d)$ (3)

1.2 光谱重建方法

如上所述, 为了使光谱重建方法具有对抗曝光的能力, 以克服现有光谱重建方法对曝光水平变化的敏感性, 以伪逆算法为求解光谱重建模型的基础, 进一步引入根多项扩展技术和自适应加权策略, 提出一种对抗曝光变化的自适应加权光谱重建方法。方法的具体实现流程如图2所示, 对方法的详细介绍如下。

	Figure Option View Download New Window
	图2 对抗曝光变化的自适应加权光谱重建方法流程图Fig.2 Workflow of the adaptive weighted exposure invariant spectral reconstruction method

首先对三通道raw RGB图像数据进行扩展, 不同于传统方法采用标准多项式扩展的形式^{[18, 19]}, 采用根多项式对样本raw RGB图像数据进行扩展^[20], 以提升图像数据特征维度。以三阶的根多项式为例, 三通道图像数据的扩展形式如式(4)所示。

${{d}_{\text{exp}}}={{(\text{r}, \text{ }\!\!~\!\!\text{ g}, \text{ }\!\!~\!\!\text{ b}, \sqrt{rg}, \sqrt{rb}, \sqrt{gb}, \sqrt[3]{{{r}^{2}}g}, \sqrt[3]{{{r}^{2}}b}, \sqrt[3]{r{{g}^{2}}}, \sqrt[3]{r{{b}^{2}}}, \sqrt[3]{g{{b}^{2}}}, \sqrt[3]{{{g}^{2}}b}, \sqrt[3]{rgb})}^{\text{T}}}$(4)

式(4)中, r、 g和b分别为样本的R通道、 G通道和B通道的raw格式响应值, d_exp表示一个样本扩展后的raw格式响应值向量, 上标“ T” 为转置符号。按照式(4)所示形式, 对所有训练样本进行根多项式扩展^[20], 即可获得训练样本的扩展响应值矩阵D, 结合训练样本的光谱矩阵R, 采用式(5)所示方法求解得到光谱重建矩阵Q,

$Q=R{{({{D}^{\text{T}}}D+\lambda I)}^{-1}}{{D}^{\text{T}}}$(5)

式(5)中, R表示维度为N× S的训练样本光谱数据矩阵, N为光谱的波段数, S为样本数量, D表示维度为K× S训练样本raw格式响应值扩展后的矩阵, K为根多项式扩展维度, Q为光谱重建矩阵, 维度为N× K, 上标“ T” 为转置符号, 上标“ -1” 表示求逆运算, λ 为正则化约束系数, I为单位矩阵, λ I用以对抗光谱重建矩阵求解中的噪声信息, 防止模型过拟合^[8], 同时使得D^TD的逆矩阵可求解, 其中λ 的值通常取0.001。

获得训练样本的全局光谱重建矩阵Q之后, 对待重建的测试样本进行全局光谱重建, 即可获得任何测试样本的全局重建光谱r, 重建方法如式(6)

$r = Qd$ (6)

式(6)中, d表示维度为K× 1测试样本raw响应值的根多项式扩展向量, Q为光谱重建矩阵, r为重建得到的测试样本的光谱数据向量, 维度为N× 1。获得任一测试样本的重建光谱数据r之后, 分别利用式(7)和式(8)所示方法, 对训练样本和测试样本重建光谱进行标准化处理, 在光谱不变的特征空间计算得到相应的标准化光谱数据R_{n_i}和r_n。

$R_{n_i} = \frac{R_{i} - u (R_{i})}{s (R_{i})}$ (7)

$r_{n} = \frac{r - u (r)}{s (r)}$ (8)

其中, R_i表示训练样本中的第i个训练样本, u(R_i)为第i个训练样本的光谱均值, s(R_i)为第i个训练样本的标准差, u(r)为测试样本的光谱均值, s(r)为测试样本的标准差, R_{n_i}为标准化处理之后的第i个训练样本光谱向量, r_n为标准化处理之后的测试样本光谱向量。

以上述标准化光谱数据R_{n_i}和r_n为基础, 计算测试样本与训练样本之间的均方根误差RMSE_i, 计算方法如式(9)所示

$RMS E_{i} = sqrt (\frac{1}{N} sum ((r_{n} - R_{n_i}) .^{\land} 2))$ (9)

式(9)中, sqrt()为开根号函数, sum()为求和函数, “ .^∧” 为求幂算子, RMSE_i为测试样本标准化光谱与第i个训练样本标准化光谱之间的均方根误差, N为光谱的波段数。在光谱重建研究中, 通常取光谱范围为400~700 nm, 采样间隔为10 nm, 因此N的值为31。得到每个测试样本的均方根误差RMSE_i之后, 利用其分别对训练样本的光谱矩阵R和raw响应值扩展矩阵D进行加权, 其中加权系数w_i的计算如式(10)所示, 加权矩阵W的计算如式(11)所示, 光谱和扩展响应值的加权方式分布如式(12)和式(13)所示

$w_{i} = \frac{1}{RMS E_{i} + α}$ (10)

$W = [\begin{array}{l} w_{1} & 0 & \dots & 0 \\ 0 & w_{2} & 0 & ︙ \\ ︙ & 0 & ⋱ & 0 \\ 0 & \dots & 0 & w_{P} \end{array}]$ (11)

$R_{W} = RW$ (12)

$D_{W} = DW$ (13)

其中, α 是一个为防止RMSE_i为零很小的调整因子, 以防分母出现0值的情况, w_i为第i个训练的样本的加权系数, W为包括所有训练样本加权系数的加权矩阵, p表示训练样本的个数, R_W为加权后的训练样本光谱矩阵, D_W为加权后的训练样本扩展响应值矩阵。依据经验, α 的值取通常为0.001。得到训练样本的光谱和扩展响应值加权矩阵R_W和D_W之后, 即可按照式(14)所示形式, 计算任一测试样本的自适应加权光谱重建矩阵Q_W

${{Q}_{W}}={{R}_{W}}{{({{D}^{\text{T}}}_{W}{{D}_{W}}+\lambda I)}^{-1}}{{D}^{\text{T}}}_{W}$(14)

式(14)中, R_W为训练样本光谱数据矩阵, D_W为训练样本raw格式响应值扩展后的矩阵, Q_W为自适应加权光谱重建矩阵。获得测试样本对应的自适应加权光谱重建矩阵之后, 即可按照式(15)计算得到该测试样本的最终重建光谱

$r_{f} = Q_{W} d$ (15)

式(15)中, d为测试样本raw响应值的根多项式扩展向量, Q_W为由式(14)计算得到的自适应加权光谱重建矩阵, r_f为测试样本的最终重建光谱。

2 实验部分

2.1 样本

本方法与现有同类方法均以本领域常用的标准色卡以及一组包含784个颜色的矿物颜料样本为基础, 测试方法对抗曝光变化的性能, 并将本方法与现有同类方法进行比较。其中, 标准色卡采用爱色丽ColorChecker SG色卡(简称SG)和经典24色ColorChecker Rendition Chart色卡(简称CC), 色卡中的颜色样本为自然界常见的典型物体颜色。标准色卡和矿物颜料色卡的光谱反射率数据均采用爱色丽分光光度计测量i1-pro获得, 各实验样本的色度分布如图3所示。

	Figure Option View Download New Window
	图3 各实验样本在CIELAB颜色空间中a-b色度平面的分布 (a): SG色卡; (b): CC色卡; (c): 颜料样本Fig.3 Chromaticity distribution of different experiment samples in a-b plane of color space of CIELAB (a): SG chart; (b): CC chart; (c): pigment samples

此外, 为测试现有深度学习光谱重建方法抗曝光水平变化的敏感性, 以Zhang^[15]、 HSCNN-D^[13]、 HSCNN-R^[13]、 HRNet^[16]以及AWAN^[17]等目前几种光谱重建效果较好的方法为具体研究对象, 以ICVL多光谱图像数据集为训练样本^[21]、 CAVE多光谱图像数据集作为测试样本, 开展方法对曝光变化敏感性的测试。实验中训练样本和测试样本的具体设置如表1所示。其中, 样本的光谱数据的范围均为400~700 nm, 光谱步长均为10 nm。

表1 实验训练样本与测试样本的设置 Table 1 Experimental training sample and test sample settings

2.2 方法

以上述实验样本为基础, 首先对现有光谱重建方法对曝光变化的敏感性进行探讨, 然后将本方法与现有同类型方法的光谱重建精度进行对比, 最后探讨加权策略对本方法光谱重建精度的影响。其中, 仿真成像系统采用数码相机Nikon D7200光谱灵敏度函数[如图4(a)所示]和CIED65标准光源相对光谱功率分布[如图4(b)所示]构成, 通过对各个通道添加40 dB的高斯白噪声^[22], 以模拟系统的成像噪声。

	Figure Option View Download New Window
	图4 仿真实验参数 (a): 数码相机光谱灵敏度函数; (b): 光源相对光谱功率分布Fig.4 (a) spectral sensitivity function of digital camera; (b) relative spectral power distribution of light source

对于光谱重建方法对曝光变化敏感性的测试, 首先在曝光水平等于1(Exposure× 1)的条件下利用训练样本构建光谱重建模型, 然后分别在曝光水平等于0.5(Exposure× 0.5)、 1(Exposure× 1)以及2(Exposure× 2)三组测试条件下, 利用建立的光谱重建模型重建测试样本的光谱反射率, 并将重建结果分别乘以曝光校正系数2、 1和0.5, 从而计算测试样本在不同曝光水平下的光谱重建误差, 以评价光谱重建方法对曝光变化的敏感性, 并完成本方法与同类型方法的光谱重建精度对比, 测试加权策略对本方法光谱重建精度的影响。

2.3 评价指标

采用均方根误差(RMSE)和CIE1976色差(Δ $E_{ab}^{*}$ )两个客观指标对光谱重建结果进行评价, 以判定各个方法对曝光水平变化的敏感性, 同时对比本方法与同类光谱重建方法的精度性能。其中, RMSE和Δ $E_{ab}^{*}$ 的值越小, 重建光谱的光谱精度和色度精度越好。光谱均方根误差和色差的计算公式分别如式(16)和式(17)所示。其中, I_R表示重建光谱, I_G表示真实光谱数据, N表示光谱的波段数, i表示第i个波段, ( $L_{R}^{*}$ , $a_{R}^{*}$ , $b_{R}^{*}$ )为重建光谱的CIELAB色度值, ( $L_{G}^{*}$ , $a_{G}^{*}$ , $b_{G}^{*}$ )为真实光谱的CIELAB色度值。

$RMSE=\sqrt{\frac{1}{N}\overset{N}{\mathop{\underset{i=1}{\mathop \sum }\, }}\, {{(I_{\text{R}}^{\left( i \right)}-I_{\text{G}}^{\left( i \right)})}^{2}}}$ (16)

$\text{ }\!\!\Delta\!\!\text{ }E_{\text{ab}}^{\text{*}}=\sqrt{{{(L_{\text{R}}^{\text{*}}-L_{\text{G}}^{\text{*}})}^{2}}+{{(a_{\text{R}}^{\text{*}}-a_{\text{G}}^{\text{*}})}^{2}}+{{(b_{\text{R}}^{\text{*}}-b_{\text{G}}^{\text{*}})}^{2}}}$ (17)

3 结果与讨论

3.1 方法对曝光变化敏感性测试结果分析

表2和表3分别给出了包括本方法在内的传统机器学习光谱重建方法对曝光变化敏感性的结果。其中表2为采用标准色卡的测试结果, 表3为采用颜料样本的测试结果。表4展示了目前几种先进的深度学习光谱重建方法对曝光变化敏感性的测试结果。

表2 采用标准色卡测试传统机器学习光谱重建方法对曝光变化敏感性的结果 Table 2 Test results of machine learning based spectral reconstruction methods using color chart

	Exposure× 1		Exposure× 0.5		Exposure× 2
	RMSE /%	Δ $E_{ab}^{*}$	RMSE /%	Δ $E_{ab}^{*}$	RMSE /%	Δ $E_{ab}^{*}$
Kernel^[2]	2.34	3.18	4.30	5.57	14.73	18.20
Shen^[6]	2.65	2.68	4.02	4.98	2.68	2.23
RLS^[8]	2.48	2.81	3.74	3.03	11.03	8.95
Liang^[9]	2.11	2.95	3.78	3.58	11.64	10.49
TPSRBF^[10]	2.91	1.57	3.58	2.12	3.71	1.81
Ours	1.92	1.73	1.92	1.73	1.92	1.73

表2 采用标准色卡测试传统机器学习光谱重建方法对曝光变化敏感性的结果 Table 2 Test results of machine learning based spectral reconstruction methods using color chart

表3 采用颜料样本测试传统机器学习光谱重建方法对曝光变化敏感性的结果 Table 3 Test results of machine learning based spectral reconstruction methods using pigment samples

	Exposure× 1		Exposure× 0.5		Exposure× 2
	RMSE /%	Δ $E_{ab}^{*}$	RMSE /%	Δ $E_{ab}^{*}$	RMSE /%	Δ $E_{ab}^{*}$
Kernel^[2]	2.46	2.37	4.00	3.27	11.46	11.86
Shen^[6]	2.47	2.36	3.81	3.84	2.94	2.45
RLS^[8]	2.69	2.49	4.27	2.65	8.23	4.41
Liang^[9]	2.43	2.47	4.69	5.21	8.70	6.81
TPSRBF^[10]	3.04	1.45	4.89	2.12	3.94	1.51
Ours	2.19	2.48	2.19	2.48	2.19	2.48

表4 现有深度学习光谱重建方法对曝光变化敏感性的测试结果 Table 4 Test results of deep learning based spectral reconstruction methods

	Exposure× 1		Exposure× 0.5		Exposure× 2
	RMSE /%	Δ $E_{ab}^{*}$	RMSE /%	Δ $E_{ab}^{*}$	RMSE /%	Δ $E_{ab}^{*}$
Zhang^[15]	3.95	5.50	4.39	8.47	4.43	5.49
HSCNN-D^[13]	4.35	4.97	4.88	8.74	4.31	4.10
HSCNN-R^[13]	4.58	6.70	5.28	11.13	5.01	5.80
HRNet^[16]	2.82	1.98	3.08	2.99	3.30	2.72
AWAN^[17]	2.80	1.91	2.95	2.97	3.53	2.91

表4 现有深度学习光谱重建方法对曝光变化敏感性的测试结果 Table 4 Test results of deep learning based spectral reconstruction methods

由表2和表3中的实验结果可知, 无论是采用标准色卡还是颜料样本开展实验, 除本方法之外, 现有基于机器学习的光谱重建方法均对曝光水平变化敏感, 即当测试样本的曝光水平与光谱重建模型建立时的曝光不一致时, 相应的光谱重建误差发生变化。总体而言, 仅当光谱重建训练和测试时的曝光水平一致时, 现有机器学习光谱重建方法才能取得最好的光谱重建精度, 否则光谱重建误差将增加。本文提出的光谱重建方法能够有效对抗曝光变化的影响, 从表2和表3中的实验结果可知, 无论对于标准色卡还是颜料样本, 本方法在三种测试曝光水平下的光谱均方根误差(RMSE)和色差(Δ $E_{ab}^{*}$ )总是保持不变, 证明了本方法对抗曝光变化的优势。

由表4中的实验结果可知, 现有基于深度学习的光谱重建方法均对曝光水平的变化敏感, 即当模型训练和模型应用时的曝光水平不一致时, 光谱重建误差发生变化。总体上而言, 仅当模型训练和应用时的曝光水平一致时, 现有机器学习光谱重建方法才能取得最好的光谱重建精度。其中, HRNet和AWAN两种深度学习光谱重建方法总体上展现出更好的光谱重建精度, 显著优于参考文献[11]和[13]的方法。

3.2 本方法与现有同类方法的性能对比

此外, 依据表2和表3中的实验结果不仅可以分析每个方法对曝光变化的敏感性, 同时还可以比较各个方法的光谱重建性能。除对抗曝光变化的能力之外, 光谱重建精度越好的方法光谱重建总体性能越好。如图5所示为CC色卡中的6号样本在不同光谱重建方法下的重建结果。其中, 光谱重建模型建立时的曝光水平为1(Exposure× 1), 光谱重建模型应用测试时的曝光水平分别为0.5、 1和2, 即图例中的Exposure× 0.5、 Exposure× 1和Exposure× 2, Ground truth表示真实参考光谱。 “ 未经曝光校正光谱” 为不同测试曝光水平下的初始重建光谱, “ 经曝光校正光谱” 表示重建光谱分别乘以曝光校正系数2、 1和0.5的结果, 表2、表3和表4中的重建误差均是采用经曝光校正光谱计算获得。

	Figure Option View Download New Window
	图5 CC色卡中的6号样本在不同方法和曝光水平下的光谱重建结果 (a)列: 真实光谱; (b)列: 未经校正光谱; (c)列: 校正后光谱Fig.5 Spectral reconstruction results of 6th sample in CC chart using different methods under different exposure conditions Column (a): Ground truth; Column (b): Uncorrected; Column (c): Exposure corrected

由图5所示结果可知, 当光谱重建模型训练和应用的曝光水平不一致时, 不同方法对同一样本的重建光谱曲线存在显著差异。当测试的测试曝光水平为Exposure× 0.5时, 各方法重建光谱曲线基本能够保持真实光谱曲线的形状特征, 经曝光水平校正后能够较好地与真实光谱曲线重合。当测试曝光水平为Exposure× 2时, 除本方法重建的光谱曲线能够有效保持真实光谱曲线特征之外, 其他方法重建的光谱曲线均不同程度偏离真实光谱曲线的形状特征, 这将导致重建光谱数据无法应用于颜色的高保真复制和物质的高精度识别分析。

此外, 由表2和表3中的实验结果可知, 在各方法光谱重建模型训练和应用的曝光水平均为Exposure× 1时, 无论对于标准色卡还是颜料样本, 本方法的光谱误差(RMSE)均显著优于对比方法。在色度误差(Δ $E_{ab}^{*}$ )方面, 本方法对于CC色卡的色差略大于参考文献[10]的方法, 显著低于其他对比方法; 对于颜料样本而言, 参考文献[10]方法具有最小色差, 本方法与其他对比方法色差基本一致。

此外, 虽然参考文献[10]方法总体上具有较小的色差, 但其对于两组测试样本的光谱误差均显著大于其他方法, 如CC色卡的2.91和颜料样本的3.04, 说明该方法重建的光谱相当于其他方法存在更多同色异谱问题。总体而言, 本方法的光谱重建性能显著优于现有同类方法。

3.3 加权策略对本方法的影响分析

表5为两组测试样本下, 本方法(以M1表示)以及本方法不使用自适应加权(以M2表示)两种情况下的光谱重建结果。由表5中的结果可知, 本方法对抗曝光变化的能力不受加权策略影响, 但光谱重建精度与加权策略直接相关。对于CC色卡的光谱重建结果而言, 本方法(M1)相对于未加权(M2)时光谱精度提升近20%, 色度精度提升约30%。对于颜料样本而言, 本方法(M1)相对于未加权(M2)时光谱精度提升超20%, 色度精度基本保持不变, 使得光谱曲线与真实光谱更加接近。图6所示为CC色卡和颜料样本中各一个样本重建光谱的分布情况。显然本方法(M1)重建光谱更接近真实光谱。

表5 加权策略对本文方法光谱重建结果的影响 Table 5 The influence of weighting factor on spectral reconstruction result of proposed method

		Exposure× 1		Exposure× 0.5		Exposure× 2
		RMSE /%	Δ $E_{ab}^{*}$	RMSE /%	Δ $E_{ab}^{*}$	RMSE /%	Δ $E_{ab}^{*}$
CC色卡	M1	1.92	1.73	1.92	1.73	1.92	1.73
CC色卡	M2	2.38	2.45	2.38	2.45	2.38	2.45
颜料样本	M1	2.19	2.48	2.19	2.48	2.19	2.48
颜料样本	M2	2.75	2.45	2.75	2.45	2.75	2.45

表5 加权策略对本文方法光谱重建结果的影响 Table 5 The influence of weighting factor on spectral reconstruction result of proposed method

	Figure Option View Download New Window
	图6 利用M1和M2方法重建两个样本的光谱曲线分布 (a): CC色卡样本; (b): 颜料样本Fig.6 Spectral distribution of two spectral reflectance reconstructed by M1 and M2 method (a): Sample from CC chart; (b): Sample from pigment samples

4 结论

基于光谱重建的多光谱成像技术具有广阔的应用前景, 针对现有重建方法对曝光变化敏感, 难以面向光照强度易变和光照不均匀的开放环境应用的问题, 提出了一种基于根多项式扩展的自适应加权光谱重建新方法。方法利用根多项式扩展和违逆算法实现对抗曝光变化的能力, 在此基础上, 进一步提出在光谱不变特征空间计算自适应加权矩阵的策略, 有效提升了光谱重建精度。实验结果表明, 新方法不仅具备对抗曝光变化的能力, 同时在光谱重建精度方面显著优于现有同类型的光谱重建方法。研究结果对于开放场景下的高精度光谱重建具有重要应用前景。后续将针对本方法开展更多实验研究, 并针对现有深度学习光谱重建方法存在的曝光变化敏感性进行研究, 以期建立能够对抗曝光变化的深度学习光谱重建方法, 进一步推进光谱重建技术在开放光照环境的有效应用。

参考文献

文献列表

[1]	Berns R S, Taplin L A, Imai F H, et al. Spectral Imaging of Matisse’s Pot of Geraniums: A Case Study. In Proceedings of the IS&T/SID Eleventh Color Imaging Conference, 2003, 149. [本文引用:1]
[2]	Xu P, Xu H, Diao C, et al. Applied Optics, 2017, 56(30): 8461. [本文引用:4]
[3]	WANG Ke, WANG Hui-qin, YIN Ying, et al(王可, 王慧琴, 殷颖, 等). Laser Technology(激光技术), 2019, 43(2): 280. [本文引用:1]
[4]	Hwang S, Park J, Kim N, et al. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015. 1037. [本文引用:1]
[5]	Shen H, Mou T, Xin J H. J. Electron. Imaging, 2006, 15(4): 041204. [本文引用:3]
[6]	Shen H, Xin J H. J. Opt. Soc. Am. A, 2006, 23(7): 1566. [本文引用:3]
[7]	Shen H, Wan H, Zhang Z. J. Electron. Imaging, 2010, 19(2): 020501. [本文引用:3]
[8]	Connah D R, Hardeberg J Y. Proc. SPIE, 2005, 5667: 65(doi: DOI:10.1117/12.586315). [本文引用:5]
[9]	Liang J, Wan X. Optics Express, 2017, 25(23): 28273. [本文引用:5]
[10]	Li Y, Wang C, Zhao J, et al. The Visual Computer, 2018, 34: 1773. [本文引用:6]
[11]	He K, Zhang X, Ren S, et al. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 770. [本文引用:4]
[12]	Huang G, Liu Z, Van Der Maaten L, et al. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017. 4700. [本文引用:3]
[13]	Shi Z, Chen C, Xiong Z, et al. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2018. 1052. [本文引用:6]
[14]	Arad B, Ben-Shahar O, Timofte R N, et al. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2018. 1042. [本文引用:3]
[15]	Zhang J, Sun Y, Chen J, et al. Opt. Lett. , 2020, 45(20): 5676. [本文引用:4]
[16]	Zhao Y, Po L M, Yan Q, et al. Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2020. 422. [本文引用:4]
[17]	Li J, Wu C, Song R, et al. Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2020: 462. [本文引用:4]
[18]	Liang J, Wan X, Liu Q, et al. Color Res. Appl. , 2016, 41(6): 585. [本文引用:1]
[19]	LIANG Jin-xing, WAN Xiao-xia(梁金星, 万晓霞). Acta Optica Sinica(光学学报), 2018, 37(9): 0933001. [本文引用:1]
[20]	Finlayson G D, Mackiewicz M, Hurlbert A. IEEE Trans. Image Process. , 2015, 24(5): 1460. [本文引用:2]
[21]	Arad B, Timofte R, Ben-Shahar O, et al. Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2020. 446. [本文引用:1]
[22]	Liang J, Zhu Q, Liu Q, et al. Color Res. Appl. , 2022, 47(1): 107. [本文引用:1]

2003

0.0

... 基于光谱的颜色复制技术可以克服光源和设备因素对颜色复制的影响, 利用光谱数据可以分析皮肤生理指标水平, 原位无损地分析古代壁画的颜料成分, 提升物体识别精度^[1,2,3,4] ...

2017

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 传统方法主要包括伪逆法、维纳估计法以及主成分分析法等^{[2, 5,6,7,8,9,10]} ...

... Xu等提出了一种基于核算法的自训练光谱重建方法^[2], Li等提出一种样本优化方法^[10] ...

2019

0.0

2015

0.0

2006

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 传统方法主要包括伪逆法、维纳估计法以及主成分分析法等^{[2, 5,6,7,8,9,10]} ...

... Shen等较早提出基于自适应局部回归的光谱重建方法^[5], 并对方法进行了优化提升^[6], 此后提出了一种基于相机响应的多项式和偏最小二乘的光谱估计方法^[7], 显著优于Connah等提出的最小二乘与多项式回归^[8] ...

2006

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 传统方法主要包括伪逆法、维纳估计法以及主成分分析法等^{[2, 5,6,7,8,9,10]} ...

2010

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 传统方法主要包括伪逆法、维纳估计法以及主成分分析法等^{[2, 5,6,7,8,9,10]} ...

2005

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 传统方法主要包括伪逆法、维纳估计法以及主成分分析法等^{[2, 5,6,7,8,9,10]} ...

... 1 光谱重建模型相机的成像过程总体可划分为线性的光学成像与非线性的数字图像处理两个阶段^[9], 其中相机感光元件将光信号转化为raw RGB图像数据为线性阶段, 然后raw RGB图像数据会经过一系列的非线性数字图像处理(如去暗电流、白平衡校正、去马赛克、颜色空间转换以及阶调调整等), 最终才会输出成视觉满意的RGB图像^[8] ...

... I用以对抗光谱重建矩阵求解中的噪声信息, 防止模型过拟合^[8], 同时使得D^TD的逆矩阵可求解, 其中#cod#x003bb ...

2017

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 传统方法主要包括伪逆法、维纳估计法以及主成分分析法等^{[2, 5,6,7,8,9,10]} ...

... Liang等基于单幅RGB图像进行光谱重建研究, 提出基于局部加权的非线性回归光谱估计方法^[9] ...

... 具体成像模型如式(1)所示^[9], 其中d_i表示图像中一个像素点第i个通道的响应值, l(#cod#x003bb ...

2018

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 传统方法主要包括伪逆法、维纳估计法以及主成分分析法等^{[2, 5,6,7,8,9,10]} ...

... Xu等提出了一种基于核算法的自训练光谱重建方法^[2], Li等提出一种样本优化方法^[10] ...

... )方面, 本方法对于CC色卡的色差略大于参考文献[10]的方法, 显著低于其他对比方法 ...

... 对于颜料样本而言, 参考文献[10]方法具有最小色差, 本方法与其他对比方法色差基本一致 ...

... 此外, 虽然参考文献[10]方法总体上具有较小的色差, 但其对于两组测试样本的光谱误差均显著大于其他方法, 如CC色卡的2 ...

2016

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 随着深度学习的发展, 深度学习被用于光谱重建领域^{[11,12,13,14,15,16,17]} ...

... Shi等通过在网络结构中引入残差与密集连接结构^[11,12,13], 实现了由RGB图像到多光谱图像的高精度重建^[14] ...

... 其中, HRNet和AWAN两种深度学习光谱重建方法总体上展现出更好的光谱重建精度, 显著优于参考文献[11]和[13]的方法 ...

2017

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 随着深度学习的发展, 深度学习被用于光谱重建领域^{[11,12,13,14,15,16,17]} ...

... Shi等通过在网络结构中引入残差与密集连接结构^[11,12,13], 实现了由RGB图像到多光谱图像的高精度重建^[14] ...

2018

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 随着深度学习的发展, 深度学习被用于光谱重建领域^{[11,12,13,14,15,16,17]} ...

... Shi等通过在网络结构中引入残差与密集连接结构^[11,12,13], 实现了由RGB图像到多光谱图像的高精度重建^[14] ...

... 此外, 为测试现有深度学习光谱重建方法抗曝光水平变化的敏感性, 以Zhang^[15]、 HSCNN-D^[13]、 HSCNN-R^[13]、 HRNet^[16]以及AWAN^[17]等目前几种光谱重建效果较好的方法为具体研究对象, 以ICVL多光谱图像数据集为训练样本^[21]、 CAVE多光谱图像数据集作为测试样本, 开展方法对曝光变化敏感性的测试 ...

... 其中, HRNet和AWAN两种深度学习光谱重建方法总体上展现出更好的光谱重建精度, 显著优于参考文献[11]和[13]的方法 ...

2018

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 随着深度学习的发展, 深度学习被用于光谱重建领域^{[11,12,13,14,15,16,17]} ...

... Shi等通过在网络结构中引入残差与密集连接结构^[11,12,13], 实现了由RGB图像到多光谱图像的高精度重建^[14] ...

2020

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 随着深度学习的发展, 深度学习被用于光谱重建领域^{[11,12,13,14,15,16,17]} ...

... Zhang等提出了基于密集连接的深度学习模型^[15], 有效提升了建模效率 ...

2020

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 随着深度学习的发展, 深度学习被用于光谱重建领域^{[11,12,13,14,15,16,17]} ...

... Zhao等提出四级层次回归网络^[16], 并且网络中采用残差密集块来消除由光谱重建误差引起的伪影效应, Li等提出一种自适应加权注意力网络^[17], 可以整合网络通道之间的相关性重新分配通道特征, 有效提升光谱重建精度 ...

2020

0.0

... 目前常见光谱重建方法可分为传统方法^{[2, 5,6,7,8,9,10]}与深度学习方法^{[11,12,13,14,15,16,17]} ...

... 随着深度学习的发展, 深度学习被用于光谱重建领域^{[11,12,13,14,15,16,17]} ...

2016

0.0

... 首先对三通道raw RGB图像数据进行扩展, 不同于传统方法采用标准多项式扩展的形式^[18,19], 采用根多项式对样本raw RGB图像数据进行扩展^[20], 以提升图像数据特征维度 ...

2018

0.0

2015

0.0

... 按照式(4)所示形式, 对所有训练样本进行根多项式扩展^[20], 即可获得训练样本的扩展响应值矩阵D, 结合训练样本的光谱矩阵R, 采用式(5)所示方法求解得到光谱重建矩阵Q, ...

2020

0.0

2022

0.0

... 其中, 仿真成像系统采用数码相机Nikon D7200光谱灵敏度函数[如图4(a)所示]和CIED65标准光源相对光谱功率分布[如图4(b)所示]构成, 通过对各个通道添加40 dB的高斯白噪声^[22], 以模拟系统的成像噪声 ...