引用本文
梁金星, 周文森, 胡鑫, 李壹帆, 王鼎康, 李宁, 彭涛. 基于相机响应值预测的光谱重建方法研究[J]. 光谱学与光谱分析, 2025,45(7): 1809-1819.
LIANG Jin-xing, ZHOU Wen-sen, HU Xin, LI Yi-fan, WANG Ding-kang, LI Ning, PENG Tao. Research on Spectral Reconstruction Based on Camera Response Prediction[J]. Spectroscopy and Spectral Analysis, 2025,45(7): 1809-1819.
Doi:10.3964/j.issn.1000-0593(2025)07-1809-11  
Permissions
Copyright©2025, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
基于相机响应值预测的光谱重建方法研究
梁金星1,2, 周文森1, 胡鑫1, 李壹帆1, 王鼎康1, 李宁1, 彭涛1,2,*
1.武汉纺织大学计算机与人工智能学院, 湖北 武汉 430200
2.湖北省服装信息化工程技术研究中心, 湖北 武汉 430200
*通讯作者 e-mail: pt@wtu.edu.cn

作者简介: 梁金星, 1989年生,武汉纺织大学计算机与人工智能学院副教授 e-mail: jxliang@wtu.edu.cn

收稿日期: 2024-09-12 修回日期: 2025-02-06 接受日期: 2025-02-06
基金: 国家自然科学基金项目(62305255),湖北省自然科学基金项目(2022CFB537)资助
摘要

光谱是颜色信息的指纹, 也是表征物质物化属性的重要特征, 对于颜色高保真复制和物质识别分析具有重要应用价值。 基于光谱重建的光谱成像技术利用成像系统拍摄物体表面数字图像, 并通过光谱重建计算得到物体的光谱图像, 能够克服传统RGB图像对成像条件的依赖性, 更加精细地表征和识别物体。 相对于价格昂贵的高光谱相机而言, 该项技术能够有效提升光谱图像的空间分辨率和获取效率, 降低设备成本。 尽管该技术在实验室已经取得较好的进展, 但其面向光源多变、 光照不均、 以及成像参数易变的开放环境应用时, 仍面临许多挑战。 光谱重建技术对成像条件变化敏感, 以上因素导致成像条件的多变性, 使得单一成像条件下构建的光谱重建模型难以成像多变的开放环境。 为此, 本研究提出一种基于相机raw响应值预测的光谱重建方法。 方法以数码相机适应模型为基础, 通过预测训练样本集在任意成像条件下的raw响应值, 对相机进行光谱特性化建模, 然后对相同成像条件下的测试对象进行光谱重建, 能够有效克服开放环境下光谱重建面临的成像条件多变难题。 研究以Colorchecker SG140色卡为训练样本, 以Colorchecker 24色卡为测试样本, 分别在实验室和开放环境的不同成像条件下对方法进行了测试。 实验结果显示, 在实验室不同成像条件下, 利用预测响应值对拍摄响应值的光谱重建的平均RMSE为4.02%, 平均色差Δ E00为5.3; 在开放环境不同成像条件下, 利用预测响应值对拍摄响应值的光谱重建的平均RMSE为3.2%, 平均色差Δ E00为4.5, 验证了所提方法在实验室和开放环境下的有效性, 为开放场景下的光谱重建提供了一种可行的参考方案。 此外, 研究发现所提方法对使用的光谱重建算法敏感, 不同的光谱算法在光谱和色度方面的表现存在一定差异。

关键词: 光谱重建; 开放环境; 数码相机; 成像模型; raw响应值预测
中图分类号:O432.3 文献标志码:A
Research on Spectral Reconstruction Based on Camera Response Prediction
LIANG Jin-xing1,2, ZHOU Wen-sen1, HU Xin1, LI Yi-fan1, WANG Ding-kang1, LI Ning1, PENG Tao1,2,*
1. School of Computer Science and Artificial Intelligence, Wuhan Textile University, Wuhan 430200, China
2. Engineering Research Center of Hubei Province for Clothing Information, Wuhan 430200, China
*Corresponding author
Abstract

The surface spectral reflectance of the object is regarded as the fingerprint of its color. At the same time, it is also important to characterize the physical and chemical properties of substances. Spectral imaging technology based on spectral reconstruction can overcome the dependence of RGB images on imaging conditions. Meanwhile, it can effectively improve the spectral image's spatial resolution and acquisition efficiency and reduce equipment costs. Different from the principle of multispectral cameras, spectral imaging based on spectral reconstruction first captures the digital images of the object using a digital imaging system, and then the corresponding spectral images are reconstructed using spectral reconstruction methods. Current research has made great achievements in the laboratory; however, dealing with rapidly changing light sources, illumination, and imaging parameters in an open environment presents significant challenges for spectral reconstruction. This is because a spectral reconstruction model established under one set of imaging conditions is not suitable for use under different imaging conditions. To deal with the challenges, we explored the feasibility of spectral reconstruction based on camera raw response prediction in this study. In the proposed method, the camera raw response of the training dataset under specific imaging conditions is first predicted via the camera imaging model, then the spectral reconstruction algorithm is applied to spectrally characterize the digital camera based on the training dataset, at last, the spectral reflectance of the testing target is reconstructed from the captured image under the same imaging condition. The study tested the prediction results of raw response values for ColorChecker SG 140 color cards in a closed-light box environment and an outdoor open environment under five different combinations of exposure time and ISO. Spectral reconstruction tests were also conducted using the ColorChecker SG 140 color card for the ColorChecker 24 color card. In the closed lightbox and under different imaging conditions, the average RMSE(%) for reconstructing the true photographic response values using the predicted response values was 4.02, with an average CIEDE2000 color difference of 5.3. In the outdoor open environment and under different imaging conditions, the average RMSE(%) was 3.2, with an average CIEDE2000 color difference of 4.5. The experimental results show that the proposed method still has good reconstruction accuracy in outdoor environments, providing a feasible reference solution for spectral reconstruction in an open environment. In addition, we find that the proposed method is sensitive to the spectral reconstruction algorithms used, and different algorithms have different performances in spectral and chromaticity aspects.

Keyword: Spectral reconstruction; Open environment; Digital camera; Imaging model; Raw response prediction
引言

光谱是颜色信息的“ 指纹” , 也是表征物质物化属性的重要特征, 对于高保真颜色复制和精准物质分析具有重要应用价值。 以数码相机成像模型为基础, 利用光谱重建技术可获得物体的光谱图像。 该项技术能够克服分光光度计仅能进行单点测量的应用限制, 相对于多光谱相机而言, 能够进一步提升光谱图像空间分辨率, 降低硬件系统成本, 成为近些年光谱图像获取的研究热点[1, 2, 3, 4]。

目前, 光谱重建技术在光照条件(如光源类型、 光照均匀性)和成像参数(如感光度ISO、 曝光时间、 光圈、 焦距)严格可控的实验室环境条件下的研究取得显著进展, 但由于光谱重建模型对成像条件变化敏感[1], 导致其面向自然开放环境应用时仍然面临许多挑战。 如图1所示, 在CIED65光源条件下构建光谱重建矩阵, 应用于CIEA光源的下壁画进行光谱重建时, 重建的光谱均方根误差(root-mean-square error, RMSE)从2.87%陡增至41.32%, 说明光谱重建对光源变化敏感。 此外, 光照不均匀性和成像参数变化, 也将导致成像条件改变, 造成如图1所示的光谱重建误差显著增加。 因此, 面对成像条件多变的开放环境进行光谱重建应用, 如何构建相应光谱重建方法至关重要。

图1 光谱重建精度对光源变化敏感的示例Fig.1 Example of the spectral reconstruction accuracy sensitive to changes in light source

针对光谱重建在开放环境中应用遇到的难题, 近年来学者们开展了相关探索研究。 其中, Shrestha等以双目相机为基础, 通过在其中一目镜头前添加宽带滤光片对光源光谱功率分布进行估计, 并利用估计的光源信息对系统进行光谱特性化建模, 进而重建物体光谱图像[5]。 Khan等以颜色恒常性理论为启发, 提出了基于光谱恒常性的光谱适应变换方法[6, 7]。 Finlayson和Liang等在开放光照环境的光谱重建研究中发现, 现有先进光谱重建算法均对光照不均引起的曝光水平变化敏感, 导致重建光谱曲线特征偏离真实光谱, 并提出了解决方法[1, 8, 9, 10, 11]。 以上研究虽然取得了初步成果, 但距离面向开放光照环境的实际应用仍然存在一定差距。

为此, 研究提出一种基于相机raw响应值预测的光谱重建方法。 方法以数码相机成像模型为基础[12, 13, 14], 通过预测训练样本集在任意成像条件下的raw响应值, 对相机进行光谱特性化建模, 然后对相同成像条件下的拍摄对象进行光谱重建。 方法理论上能够实现相机在不同开放场景下的实时光谱特性化建模, 从而重建相应场景下拍摄对象的光谱图像, 支撑基于光谱的各类实际应用。 研究结果表明, 在实验室和开放环境的不同曝光和ISO组合条件下, 相对于传统使用拍摄训练样本重建拍摄测试样本而言, 虽然基于响应值预测的光谱重建方法光谱重建精度略低于传统方法, 但总体上也保持了较好的光谱重建精度, 两类方法重建的光谱反射率与真实测量反射率之间均保持了较好的一致性。

1 响应值预测模型

对彩色数码相机而言, 从场景信息获取到图像显示涉及一系列复杂的转换[12, 13]。 研究中以线性化的相机raw响应值为对象[14], 开展基于相机响应值预测的光谱重建方法研究。 首先, 光源的辐射光谱分布l(λ )照射在物体表面, 经过物体的吸收和反射后形成辐射光谱, 如式(1)所示

Lscene(x, y, λ)=r(x, y, λ)l(λ)(1)

式(1)中, λ 为波长, r(x, y, λ )是图像中(x, y)像素的光谱反射率, l(λ )为光源的相对光谱辐度, Lscene(x, y, λ )为每个像素处的辐射光谱。 随后, 辐射光谱图像经由相机镜头聚焦后进入传感器[13], 在进入传感器前形成辐照度图像, 如式(2)所示

Iimage(x, y, λ)≈πT(λ)1+4(f/#)2(1+m)2Lscenexm, ym, λ(2)

式(2)中, f/#为透镜的有效光圈数, m为透镜放大倍数, T(λ )为透镜的透过率, L(x, y, λ )为每个像素处的辐射光谱, Iimage(x, y, λ )为每个像素处的辐照度。 进一步的, 辐照度图像进入相机传感器, 经过光电转换和模数转换处理, 得到拜耳(Bayer)模式的马赛克图像, 并通过插值算法得到场景的相机raw响应值图像, 流程如式(3)— 式(6)所示

Q(x, y)=∫ΩIimage(x, y, λ)Si(λ)dλ(3)

式(3)中, Ω 为光谱波长范围, 本研究中取值范围为400~700 nm, Si(λ )为相机的光谱灵敏度函数, Q(x, y)为像素(x, y)处单位时间内的光电转换数量, 在给定曝光时间τ 内, 相机传感器总的光电转换量定义为

ϕ(x, y)=fs∫τQ(x, y)dt(4)

式(4)中, fs为感光度函数, 通常将ISO数值除以100得到, τ 为曝光时间。 当光谱辐照度和传感器的量子效率在一次拍摄期间保持不变时, ϕ (x)可进一步简化为式(5)所示形式

ϕ(x, y)=fsτQ(x, y)(5)

根据式(3)和式(5)可知, 图像任意像素点(x, y)处的raw响应值p(x, y)即可表示为

p(x, y)=fsτ∫ΩπT(λ)1+4(f/#)2(1+m)2·Lscenexm, ym, λSi(λ)dλ(6)

此外, 考虑相机传感器的辐照度与相机读出响应之间的非线性关系[14], 模型进一步引入c1, c2和β 三个常数来表征曝光时间和ISO之间的非等效性, 即可得到最终任意像素点的raw响应值p(x, y)表达式。

p(x, y)=fs[(τ∫ΩπT(λ)1+4(f/#)2(1+m)2·Lscenexm, ym, λSi(λ)dλ+c1)β+c2](7)

本研究以式(7)所示的相机成像模型为基础, 预测任意实验条件下的色卡raw响应值, 实现基于相机响应值预测的光谱重建方法。

2 实验部分
2.1 实验室环境实验

实验室环境下, 以封闭式的均匀照明灯箱为基础, 以ColorChecker SG140 (CCSG)色卡为训练样本, 以ColorChecker 24 (CC)色卡为测试样本, 利用Nikon D7200数码相机拍摄色卡数字图像, 提取得到色卡的拍摄raw响应值。 拍摄过程中, 将色卡放置于拍摄视野的中心(如图2所示), 其中色卡平面距离相机传感器平面约1 m, 相机焦距为35 mm。 实验分别在5种不同的曝光和ISO组合下(如表1所示)拍摄色卡, 各组曝光组合条件下的色卡图像均无过曝问题, 以保证实验数据有效。

图2 曝光时间为1/25 s和ISO为100时拍摄的CCSG和CC色卡图像Fig.2 Captured images of the CCSG and CC color charts with the exposure 1/25 s and ISO 100

表1 实验室环境实验的五组曝光设置 Table 1 Five groups of exposure settings in laboratory

实验中, Nikon D7200的光谱灵敏度函数采用Jiang等提出的方法[15, 16]估计得到, 如图3(a)所示。 光源的相对光谱功率分布采用EVERFINE SPIC-300AW光谱彩色照度计测量得到, 如图3(b)所示。 色卡的光谱反射率采用X-rite i1-Pro3分光光度计测量获得。 在获得光谱反射率、 光谱灵敏度函数、 光谱功率分布以及成像参数的前提下, 即可利用响应值预测模型预测色卡的raw响应值数据, 其中, 透镜放大倍数m和透镜的透过率T(λ )均设置为1, 其余成像参数均可通过相机raw格式图像元数据读取获得。 对于不同成像条件下的曝光和ISO组合的非等效性, 研究采用式(8)所示参数拟合方法[14]进行估计校正,

rfS=r̂0fS+c1β+c2(8)

式(8)中, r为拍摄得到的raw响应值, r̂0为使用预测模型预测得到的raw响应值。

图3 (a) Nikon D7200的相机灵敏度函数; (b) 灯箱光源的相对光谱功率分布Fig.3 (a) The spectral sensitivity function distribution of Nikon D7200; (b) the relative spectral power distribution of light source in lightbox

2.2 开放环境实验

开放环境实验在室外自然场景中开展, 如图4(a)所示。 同样利用Nikon D7200数码相机拍摄CCSG色卡和CC色卡, 提取得到各色卡的拍摄raw响应值数据。 此外, 开放环境实验中, 同样设置了5种不同的曝光和ISO的组合, 具体如表2所示。 其中, 第一组曝光和ISO组合下的色卡图像存在轻微过曝, 其余各组曝光和ISO组合下色卡图像无过曝问题。 拍摄过程中, 同步使用EVERFINE SPIC-300AW光谱彩色照度计测量光源的相对光谱功率分布, 结果如图4(b)所示。 其余实验条件以及色卡raw响应值预测方法均与实验室环境保持一致。

图4 (a)开放环境拍摄的CCSG色卡和CC色卡; (b)开放环境光源的相对光谱功率分布Fig.4 (a) Captured images of the CCSG and CC color charts with the exposure 1/80 s and ISO 100 in the open environment; (b) Relative spectral power distribution of the light source in the outdoor environment

表2 开放环境实验的五组曝光设置 Table 2 Five group of exposure settings in the open environment
2.3 光谱重建与评价指标

在光谱重建测试中, 采用“ M1” 代表传统的光谱重建形式, 即利用拍摄的训练样本重建拍摄的测试样本, 采用“ M2” 代表本研究提出的方法, 即利用预测的训练样本重建拍摄的测试样本。 研究分别采用Liang、 OLS、 Cao和Kernel四种光谱重建算法[17, 18, 19, 20], 开展光谱重建测试。 其中, 前两种为基于回归的光谱重建方法, 后两种为基于插值的光谱重建方法。 实验中, 训练样本为CCSG色卡, 测试样本CC色卡。

在实验结果方面, 研究利用CIEDE2000(Δ E00)色差[21]对色卡raw响应值预测的结果进行评价, 利用光谱均方根误差(RMSE)和CIEDE2000色差对光谱重建结果进行评价。 光谱均方根误差RMSE的计算方法如式(9)所示,

RMSE=1N(r1-r2)T(r1-r2)(9)

式(9)中, r1为测量得到光谱反射率, r2为重建得到的光谱反射率, 上标T为转置算子, N为采样波长数量, 本研究中为31。

3 结果与讨论
3.1 响应值预测

依据上述raw相应预测模型和实验设置, 以CCSG和CC色卡为测试对象, 分别在实验室环境和开放环境下, 对本研究提出的raw响应值预测模型进行了测试。 实验过程中针对模型预测raw响应值和实际拍摄raw响应值之间的曝光水平不一致性, 采用最大最小归一化方法进行处理, 之后利用颜色科学工具箱转换得到对应色度值, 计算预测raw响应值和实际拍摄raw响应值之间的色差, 评价本研究提出的响应值预测模型的性能, 实验结果如下。

3.1.1 实验室环境

由表3中的实验结果可知, 在实验室环境下, CCSG色卡在五组成像条件下的平均raw响应值预测色差虽然有所差异, 但大部分色差在2以下, 总体平均值为1.81。 其中, 第5组的预测色差达到2.12, 可能由于成像条件中曝光时间和感光度ISO变化导致的成像系统非线性相应增加导致, 与理论上具有等效曝光量的前4组结果相比, 预测误差有所增加。 此外, CC的预测误差总体大于CCSG色卡, 五组的平均色差为3.22, 其原因可能由于曝光和ISO非等效的校正参数, 主要利用CCSG色卡估计得到。 表3中括号内为色差最大值。

表3 实验室环境五组不同成像条件下预测和拍摄色卡raw响应值之间的色差 Table 3 The color difference between the predicted and captured raw response of color charts under five groups of imaging settings in the laboratory

为直观地观察预测与实际拍摄raw响应值的分布, 图5绘制了表3中第1组成像条件下的预测和拍摄raw响应值分布情况。 由图5中的raw响应值分布情况可知, CCSG和CC两个色卡的预测和拍摄raw响应值总体上虽然存在一定的分布误差, 但未明显观察到预测和拍摄raw响应值之间在不同颜色上的显著差异性, 所存在的偏差理论上来自于数码相机实际成像流程和响应值预测模型之间存在的固有差异。

图5 实验室环境下预测与拍摄raw响应值的分布情况
(a): CCSG色卡; (b): CC色卡Fig.5 The distribution of the predicted and captured raw responses in the laboratory
(a): Color chart of CCSG; (b): Color chart of CC

3.1.2 开放环境

开放环境下的色卡raw响应值预测和拍摄结果比较如表4和图6所示, 表4中括号内为色差最大值。 由表4中的实验结果可知, CCSG色卡在五组成像条件下的预测与拍摄raw响应值的总体平均色差为1.98, 其中后4组的预测raw响应值色差均小于2, 第1组的预测误差显著大于其余4组, 经确认发现是由于第1组的成像条件下, 色卡中的白色色块存在轻微的过渡曝光问题导致。 与实验室环境下的实验结果趋势一致, CC色卡的raw响应值预测误差仍然大于CCSG色卡, 但总体上也保持了良好的预测精度。 此外, 由图6中的raw响应值分布可知, 开放环境下色卡的预测和拍摄raw响应值同样存在一定程度的偏差, 但同样未明显观察到预测和拍摄raw响应值之间在不同颜色上的显著差异性。

表4 开放环境五组不同成像条件下预测和拍摄色卡raw响应值之间的色差 Table 4 The color difference between the predicted and captured raw response of color charts under five groups of imaging settings in the open environment

图6 开放环境下预测与拍摄raw响应值的分布情况
(a): CCSG色卡; (b): CC色卡Fig.6 The distribution of the predicted and captured raw responses in the open environment
(a): Color chart of CCSG; (b): Color chart of CC

3.2 光谱重建

在上述raw响应值预测结果下, 研究进一步开展了基于响应值预测的光谱重建测试, 并与传统采用拍摄训练样本重建拍摄测试样本的情况进行比较。 实验环境和开放环境下的光谱重建结果分别在3.2.1和3.2.2节进行讨论。 在每个实验环境下, 分别比较了M1和M2两种测试模式下的光谱重建结果。 其中, M1表示利用拍摄的训练样本重建拍摄的测试样本, M2表示利用预测的训练样本重建拍摄的测试样本, 即本研究提出的方法。

3.2.1 实验室环境

实验室环境下, M1和M2两种模式下的光谱重建结果分别如表5和表6所示, 每种光谱重建方法下的重建误差箱线图分布如图7所示。 由表5和表6中的数据可知, 对于M1模式而言, 实验室环境下四种光谱重建方法在不同成像条件下的光谱重建结果总体较好, 其中基于自适应加权回归的Liang方法的光谱误差和色差均明显低于其余三种方法, 基于插值方式的Cao方法光谱重建结果相对较差。

表5 实验室环境五组不同成像条件下M1的光谱重建误差 Table 5 The spectral reconstruction errors of M1 under five different groups of imaging settings in the laboratory
表6 实验室环境五组不同成像条件下M2的光谱重建误差 Table 6 The spectral reconstruction errors of M2 under five different groups of imaging settings in the laboratory environment

图7 实验室环境下光谱重建误差的箱线图
(a): M1模式下的RMSE; (b): M1模式下的Δ E00; (c): M2模式下的RMSE; (d): M2模式下的Δ E00Fig.7 Box plots of the spectral reconstruction errors in the laboratory
(a): RMSE of M1; (b): Δ E00 of M1; (c): RMSE of M2; (d): Δ E00 of M2

对于M2模式而言, 由于采用预测的训练样本重建实际拍摄的测试样本, 对应Liang方法的光谱误差和色差增加至5.73%和3.53, Cao方法的光谱误差和色差增加至4.02%和5.30。 Liang方法在光谱误差方面增加的程度明显大于Cao方法, 在色差方法增加的程度与Cao方法相当。 此外, 其余两种方法的误差也都呈现不同程度的增加, OLS方法误差增加情况基本与Liang方法一致, Kernel方法误差增加情况基本与Cao方法一致。 由此可知, 训练样本raw响应值的预测误差影响光谱重建的结果, 且Liang等基于回归的光谱重建算法受影响程度较大, Cao等基于插值的方法受影响相对较小, 证明了本研究基于响应值预测的光谱重建方法对光谱重建算法具有一定敏感性, 图7中的误差分布进一步证明了这一结论。 其中, 蓝色框的上下边界分别表示上下四分位数, 框内红线表示中位数, 上下黑色短横线表示数据的最大值和最小值, 红色十字标记表示异常值。

此外, 依据表5、 表6、 图7中的实验结果和光谱重建的研究经验可知, 虽然当前M2模式下的光谱重建性能略逊于M1, 但其重建精度总体上保持在较为合理的水平。 为了进一步比较M1和M2两种测试模式下的光谱重建结果, 图8绘制了Cao方法在两种测试模型下选取的四个覆盖可见光不同波段代表样本的光谱重建曲线分布情况。 由图8中的实验结果可知, 虽然在M1和M2两种测试模式下重建光谱反射率与真实测量数据之间存在一定程度的偏差, 但总体上均能较好地保持真实测量光谱曲线的形状特征, 并且M1和M2两种模式下的重建光谱曲线总体上也保持了较好的重合度, 初步证明了本研究基于响应值预测的光谱重建方法的可行性。

图8 实验室环境M1和M2模式下Cao方法重建光谱反射率曲线的分布
(a): CC色卡第11个色块; (b): CC色块第16个色块; (c): CC色卡第18个色块; (d): CC色卡第19个色块Fig.8 The reconstructed spectral reflectance by Cao's method under M1 and M2 in the laboratory
(a): 11th color patch in CC; (b): 16th color patch in CC; (c): 18th color patch in CC; (d): 19th color patch in CC

3.2.2 开放环境结果与分析

开放环境下的光谱重建结果分别如表7和表8所示, 每种光谱重建方法下的重建误差箱线图分布如图9所示。 由表5 中的实验结果可知, 开放环境下, 利用拍摄的训练样本重建拍摄的训练样本(即M1测试模式), 不同光谱重建算法同样展现出良好的光谱重建精度, Liang方法仍然表现出优于其他方法的结果, Cao方法虽然展示了较好的光谱精度, 但光谱重建的色差仍显著大于其余方法。

表7 开放环境五组不同成像条件下M1的光谱重建误差 Table 7 The spectral reconstruction errors of M1 under five different groups of imaging settings in the open environment
表8 开放环境五组不同成像条件下M2的光谱重建误差 Table 8 The spectral reconstruction errors of M2 under five different groups of imaging settings in the open environment

图9 开放环境下光谱重建误差的箱线图
(a): M1模式下的RMSE; (b): M1模式下的Δ E00; (c): M2模式下的RMSE; (d): M2模式下的Δ E00Fig.9 Box plots of the spectral reconstruction errors in the open environment
(a): RMSE of M1; (b): Δ E00 of M1; (c): RMSE of M2; (d): Δ E00 of M2

对于采用预测训练样本重建实际拍摄测试样本的M2模式而言, 与实验室环境下的情况一致, Liang方法和其余方法的光谱重建误差, 相对于M1模式而言均呈现增加趋势, 其中Liang和OLS两种基于回归模型的方法误差增加显著, 而Cao和Kernel两种方法的误差仅有略微增加。 结合实验室环境下M2相对于M1模式不同光谱重建算法误差增加的情况可知, 本研究基于响应值预测的光谱重建方法确实对选用的光谱重建算法敏感, 并且采用Cao等基于插值的光谱重建算法能获得更好的光谱精度, 采用Liang等基于回归的光谱重建算法能够获得较好的色度精度, 图9中的的误差分布也证明了这一结论。

同样, 在开放环境下, 虽然当前M2模式下的光谱重建性能略逊于M1, 但其重建精度总体上保持在较好的水平。 图10同样展示了Cao方法在两种测试模型下的四个覆盖可见光不同波段代表样本的光谱重建曲线分布情况。 由图10中的光谱曲线分布与比较可知, M1和M2模式下的重建光谱基本重合, 且均与真实测量光谱保持较好的分布一致性。 综合实验室环境的测试结果, 进一步证明了本研究基于响应值预测的光谱重建方法的可行性, 有望推进光谱重建技术向开放环境中的应用。

图10 开放环境M1和M2模式下Cao方法重建光谱反射率曲线的分布
(a): CC色卡第11个色块; (b): CC色块第16个色块; (c): CC色卡第18个色块; (d): CC色卡第19个色块Fig.10 The reconstructed spectral reflectance by Cao's method under M1 and M2 in the open environment
(a): 11th color patch in CC; (b): 16th color patch in CC; (c): 18th color patch in CC; (d): 19th color patch in CC

4 结论

针对光谱重建技术面向开放光照环境应用面临的光源多变、 光照不均和拍摄参数多变等挑战, 本研究提出了基于相机raw响应值预测的光谱重建方法。 方法以相机raw响应值成像模型为基础, 预测特定成像条件下训练样本的raw响应值, 并利用训练数据集的预测raw响应值和光谱反射率构建光谱重建模型, 从而对相同成像条件下的拍摄对象进行光谱重建。 该方法不同于现有通过光源估计技术, 将开放场景成像条件向实验室环境成像条件进行校正的研究思路, 方法更具面向实际应用的灵活性。 实验结果证明了本研究方法的有效性。 在未来的研究中, 我们将重点对提出的响应值预测模型进行优化, 并研发集成式应用系统。

参考文献
[1] Liang J, Xin L, Zuo Z, et al. Frontiers in Neuroscience, 2022, 16: 1031546. [本文引用:3]
[2] Zhao Y, Po L M, Yan Q, et al. Hierarchical Regression Network for Spectral Reconstruction From RGB Images. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020. 1695. [本文引用:1]
[3] Cai Y, Lin J, Lin Z, et al. MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022. 745. [本文引用:1]
[4] Lin Yitun, Graham D Finlayson. Sensors, 2021, 21(16): 5586. [本文引用:1]
[5] Shrestha R, Hardeberg J Y. Optics Express, 2014, 22(8): 9123. [本文引用:1]
[6] Khan H A, Thomas J B, Hardeberg J Y, et al. JOSA A, 2017, 34(7): 1085. [本文引用:1]
[7] Khan H A, Thomas J B, Hardeberg J Y, et al. Optics Express, 2019, 27(2): 1051. [本文引用:1]
[8] Lin Y T, Finlayson G D. Exposure Invariance in Spectral Reconstruction From RGB Images. Color and Imaging Conference, Society for Imaging Science and Technology, 2019. 284. [本文引用:1]
[9] Lin Y T, Finlayson G D. Physically Plausible Spectral Reconstruction From RGB Images. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020. 532. [本文引用:1]
[10] Ibrahim A, Tominaga S, Horiuchi T. Optical Review 2011, 18(2): 231. [本文引用:1]
[11] LIANG Jin-xing, XIN Lei, CHENG Jing-yao, et al(梁金星, 辛磊, 程靖尧, 等). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2023, 43(11): 3330. [本文引用:1]
[12] Ramanath R, Snyder W E, Yoo Y, et al. IEEE Signal Processing Magazine, 2005, 22(1): 34. [本文引用:2]
[13] Farrell J E, Catrysse P B, Wand ell B A. Applied Optics, 2012, 51(4): A80. [本文引用:3]
[14] Qiu J, Xu H. Applied Optics, 2016, 55(25): 6989. [本文引用:4]
[15] Jiang J, Liu D, Gu J, et al. What is the Space of Spectral Sensitivity Functions for Digital Color Cameras? 2013 IEEE Workshop on Applications of Computer Vision (WACV), 2013. 168. [本文引用:1]
[16] Tominaga S, Nishi S, Ohtera R. Sensors, 2021, 21(15): 4985. [本文引用:1]
[17] Liang J, Wan X. Optics Express, 2017, 25(23): 28273. [本文引用:1]
[18] Connah D R, Hardeberg J Y. Spectral Recovery Using Polynomial Models. Color Imaging X: Processing, Hardcopy, and Applications. SPIE, 2005, 5667: 65. [本文引用:1]
[19] Cao B, Liao N, Cheng H. Color Research and Application, 2017, 42(3): 327. [本文引用:1]
[20] Xu P, Xu H, Diao C, et al. Applied Optics, 2017, 56(30): 8461. [本文引用:1]
[21] Luo M R, Cui G, Rigg B. Color Research and Application, 2001, 26(5): 340. [本文引用:1]