基于相机rawRGB通过加权多项式和维纳估计方法重建光谱反射率
李富豪, 李长军*
辽宁科技大学计算机与软件工程学院, 辽宁 鞍山 114051
*通讯作者 e-mail: cjliustl@sina.com

作者简介: 李富豪, 1996年生, 辽宁科技大学计算机与软件工程学院硕士研究生 e-mail: 1783951755@qq.com

摘要

基于相机RGB预测物体光谱反射率的研究一直备受研究者们的关注。 传统方法都是通过单一光源下的信息进行光谱反射率恢复。 最近, Zhang等在Color Research & Application报道了一种基于单光源相机RGB信息预测物体光谱反射率的两步方法。 首先基于单个光源下的相机响应RGB值, 挑选出一定量的训练数据, 采用多项式模型和伪逆的方法预测出不同光源下的CIE XYZ值; 然后根据预测的多光源下的CIE XYZ值及整体训练数据预估光谱反射率, 再通过预估的光谱反射率挑选一定量训练样本, 通过伪逆方法预测出物体光谱反射率。 尽管仍然基于一个光源下的相机响应RGB, 但通过映射到多光源下的色度值XYZ, 提高输入信息的维度来优化光谱反射率的重建精度。 受Zhang等工作的启发, 提出新的基于单一光源下相机的raw RGB响应信息, 通过三阶多项式模型扩展的加权最小二乘方法对多光源下的CIE XYZ值进行预测, 然后根据预测出的多光源下的CIE XYZ值再通过维纳估计的方法进行光谱反射率重建, 通过这样的两步方法实现从相机响应RGB到光谱反射率的重构。 该新方法, 采用全体训练数据, 应用十分方便, 避免了Zhang等的方法需要挑选一定量的局部训练样本的问题。 同时Zhang等的方法挑选出的局部训练样本同等重要, 而该方法在第1步中, 根据训练样本与给定的测试样本的接近程度, 赋予训练样本不同的权重, 以提高预测精度。 通过采用140色色卡作为训练样本, 24色色卡和自制的44色印刷品样本进行测试, 以判断预测和实测反射率接近程度的均方根误差(RMSE)和人感知色差为评价标准进行比较, 结果表明, 该方法明显优于Zhang等的方法, 而且预测精度随着光源数量的增加而提高, 当光源个数达到6时, 表现最佳。

关键词: 多光源; 光谱反射率重建; 加权; 维纳估计
中图分类号:O433 文献标志码:A
Spectral Reflectance Reconstruction Based on Camera Raw RGB Using Weighted Third-Order Polynomial and Wiener Estimation
LI Fu-hao, LI Chang-jun*
School of Computer Science and Software Engineering, University of Science and Technology Liaoning, Anshan 114051, China
*Corresponding author
Abstract

The research on predicting the spectral reflectance information of objects based on the camera RGB value has always attracted researchers’ attention. The traditional method is to restore spectral reflectance through the information under a single light source. Recently, Zhang et al. [Color Research & Application, 2017, 42: 68] proposed a two-step method for predicting reflectance based on camera RGB information under a single light source. Firstly, the camera response RGB value under a single light source is transformed to CIE XYZ values under different light sources through a polynomial model with local training samples using a pseudo-inverse method. Then the reflectance can be estimated based on the predicted CIE XYZ values under multiple light sources using local training samples and pseudo-inverse method. Though the method still uses camera RGB information under a single light source, obtaining CIE XYZ values under multiple illuminants improves the reconstruction accuracy of the spectral reflectance. Motivated by Zhang et al., a new two-step method is proposed for reconstructing spectral reflectance based on the raw camera RGB. Firstly, camera raw RGB is transformed to CIE tristimulus values under multi-illuminants via polynomial expansion of order 3 and weighted least square approach. Reflectance of the object is predicted based on the transformed CIE tristimulus values under multi-illuminants using the Wiener estimation. The prosed method uses the full set of training samples in order to avoid selecting a certain number of training samples that existed with the method of Zhang et al. Hence the proposed method is easy to be applied. Furthermore, in the method of Zhang et al., selected training samples are considered as equalimportant, while the proposed method assigns different weights to each of the training samples depending on the closeness to the given test sample in the first step so that prediction accuracy is increased. Comparison between the proposed method and the method given by Zhang et al. is considered. Both methods are trained using the X-Rite Color Checker Standard Digital (SG) chart and tested using the Color Checker Classic Chart and self-made 44 printed samples. Comparison results have shown that the proposed method outperforms the method given by Zhang et al. in terms of root mean square error (RMSE) and CIEDE2000 colour difference. Furthermore, the prediction accuracy of the proposed method is improved with the increase of the number of illuminants used, and the proposed method performs the best with 6 illuminants.

Keyword: Multi-illuminants; Spectral reflectance reconstruction; Weighting coefficients; Wiener estimation
引言

随着数字图像技术的迅猛发展, 如何精确的实现颜色复制, 是颜色科学领域的重要课题。 为了能精确得到色度信息, 可以通过获取物体表面光谱反射率方法来判断物体的真实颜色[1, 2]。 传统获取物体光谱反射率的方法是利用分光光度计准确地直接获取物体的光谱反射率, 但是难以对非平面的物体表面进行测量, 限制了其在复杂物体表面的应用。 数码相机可以对物体表面进行非接触式的拍摄, 并且可以记录RGB信息[3]。 Cao等[4]设计了一种基于RGB图像的局部线性近似的估计方法。 Amiri和Fairchild[5]提出了加权非线性方法, 通过加权提高了重构精度。 Liang等[6]通过对训练数据进行加权最小二乘来预测光谱反射率。 但此类方法都是通过单一光源下的RGB信息进行光谱反射率重建。 Zhang等[7]提出基于单一光源下相机RGB对多光源下的CIE XYZ值进行预测, 再根据多光源下的CIE XYZ值估计光谱反射率。

Zhang等的方法(以下简称Zhang方法)相比单光源下的光谱重构效果有所提高, 但两次自适应选取局部训练样本, 计算量较大, 在应用上不十分方便, 另外对选取的局部训练样本视为同等重要。 受Zhang方法启发, 本工作延用多光源的思想, 在单光源下的相机响应值预测不同光源下的CIE XYZ值这一过程进行加权来避免对训练样本的选取, 并采用维纳估计来重建光谱反射率。 通过实测数据比较表明本方法的光谱反射率预测精度明显好于Zhang方法。

1 相机成像原理

假定相机获取物体的响应值RGB构成的列向量为d, 则相机的成像系统模型[8]可以表示为

d=RGB=λminλmaxl(λ)s(λ)o(λ)r(λ)dλ+e(1)

式(1)中, l(λ )为照明光源的光谱功率分布, r(λ )为所成像物体的光谱反射率, o(λ )为系统滤光片的光谱透过率, s(λ )为设备的光谱敏感函数, e为系统所产生的噪声。 当不考虑噪声时, 式(1)的代数离散表达式可以简写成如式(2)矩阵向量形式

d=Mr(2)

式(2)中, M为相机整体系统的光谱灵敏度矩阵, 列向量r为物体反射率在可见光范围内均匀离散取点得到, 通常400~700 nm, 10 nm间隔取点, 共31个分量。 本文所述的相机响应值RGB, 均为rawRGB数据。 以下不再特别说明。

2 新方法介绍
2.1 基于RGB数据, 预测多光源下的CIE XYZ值

首先将相机响应向量d通过3阶多项式模型扩展为向量v, 其表达式为

v=(1 R G B RG RB GB R2 G2 B2 R2GR2B G2R G2B B2R B2G RGB R3 G3 B3)T(3)

这里的上标‘ T’ 为向量或矩阵的转置。 然后确定转换矩阵Q使得

u=Qv(4)

其中, u表示m个光源下的3m个分量的三刺激值列向量。 转换矩阵Q可由训练数据确定。 假定训练样本个数为n, 并令u(j)表示第j个训练样本在m个光源下的CIE XYZ构成的列向量; v(j)表示第j个训练样本相机响应向量d(j)按三阶多项式拓展的列向量; r(j)表示第j个训练样本的光谱反射率。 定义如式(5)和式(6)矩阵

U=(u(1), u(2), , u(n))(5)

V=(v(1), v(2), , v(n))(6)

所以由式(4)—式(6)可以得到

U=QV(7)

式(7)中, 3m× n的矩阵U, 20× n矩阵V均已知, 因此可以通过式(7)采用伪逆或最小二乘方法确定出转换矩阵Q, 其表达式为

Q=UV+(8)

这里上标‘ +’ 表示广义逆[9]。 按上述方法确定的转换矩阵, 假定训练数据同等重要。 为根据给定的待测样本的相机响应向量d赋予训练数据不同的权重, 首先需要预估出该样本对应的CIE D65光源下的三刺激值。 为此需要按上述方式, 仅在CIE D65一个光源下训练出转换矩阵, 记为QD65。 因此对给定的待测样本的相机响应向量d, 便可计算出其扩展的向量v, 待测样本的预估三刺激值向量为

uD65=QD65v(9)

对于每个(第j个)训练样本, 其在CIE D65光源下三刺激值已知, 记为 uD65(j), 因此可以计算uD65uD65(j)之间的CIELAB色差(记为cd(uD65, uD65(j))), 即

e(j)=cd(uD65, uD65(j)), j=1, 2, , n(10)

色差e(j)体现对于给定的待测样本与第j个训练样本的接近程度, 越接近的训练样本, 权重应该越大, 本工作采用如式(11)计算权重

w(j)=1e(j)+σ, j=1, 2, , n(11)

其中σ取值0.01, 代表补偿系数, 以防色差为零时计算权重为无穷大。 通过w(j)建立加权矩阵

W=w(1)000w(2)00000w(n)n×n(12)

有了加权矩阵W, 式(7)可以改写为

UW=QVW(13)

因此通过伪逆法便可获得转换矩阵Q

Q=UW(VW)+(14)

需要说明的是, 权重矩阵W[式(12)], 和转换矩阵Q[式(14)]是随着待测样本的改变而改变, 而转换矩阵QD65[式(9)]适合所有样本。

还需要说明的是Zhang方法在RGB空间计算与每个训练样本的欧氏距离, 挑选N个对应最小距离的训练数据构成矩阵UV, 利用式(8)计算出转换矩阵QN究竟选多大需要探索, 本工作是使用所有训练数据, 避免了挑选训练数据的问题, 根据测试样本赋予不同训练数据不同的权重, 确定转换矩阵Q, 以提高预测精度。

2.2 基于预测的m个光源下的三刺激值向量u, 预测光谱反射率

基于预测的u, 采用维纳估计[10, 11]预测样本的光谱反射率r。 首先注意到, 三刺激值u与物体反射率r还有多光源下的加权表A[12, 13, 14]满足关系式

u=Ar(15)

维纳估计基于方程(15)和训练数据确定转换矩阵G, 预测出给定待测样本的反射率 r~, 即

r~=Gu(16)

S为由n个训练样本的反射率(r(j))构成的矩阵

S=(r(1), r(2), , r(n))(17)

转换矩阵G的表达式为

G=[KSAT][AKSAT]-1(18)

其中KS为光谱反射率S的自相关矩阵, 由式(19)和式(20)给出

KS=1n-1j=1n(r(j)-r̅)(r(j)-r̅)T(19)

r̅=1nj=1nr(j)(20)

说明, 上述的转换矩阵G适合所有测试样本, 因此G仅需要计算一次。 Zhang方法采用自适应伪逆法计算转换矩阵G, 也就是先通过伪逆法计算出一个整体转换矩阵Gr, 通过Gr用预测出m个光源下的三刺激值向量u, 便得到反射率的预估值rp, 根据rp计算出与每个训练样本在反射率空间的欧氏距离挑选出一定数量训练数据, 当然选取多少训练数据需要探索, 应用上也不方便。 本方法利用全体训练数据, 避免了这一过程。

3 实验部分

(1)实验样本: 训练样本选用X-Rite公司的标准140色色卡。 测试样本选用X-Rite公司的标准24色色卡和自制的覆盖色域较广的44个印刷色块。

(2)测量仪器: 采用尼康D610数码相机和KONICAMINOLTA生产的分光光度计(CM-2600d)。

(3)测量条件: 采用美国X-Rite 公司生产的Spectra Light QC标准光源箱提供稳定的D65光源。 将摄像机固定在三脚架上, 拍摄距离为70 cm, 照明与被摄物角度为45° , 数码相机镜头与测量目标垂直, 其余参数固定, 闪光灯、 亮度优化及光量校正均为禁用。 手动设置相机的焦距以捕获清晰的图像, 相机曝光时间为1/60 s, 光圈大小为f4.5, 感光度ISO为320, 白平衡采用人工输入色温6 500 K。 实验光源为CIE光源D65, A, F11, D50, F2, F7。 通过测量的光谱反射率及CIE1931年配色函数计算出在各光源下的三刺激值。

(4)评价标准: 为比较本方法与Zhang方法, 用文献[7]中使用的均方根误差(RMSE)和D50光源下CIEDE2000(Δ E00)色差公式评价光谱反射率的重构精度。

4 结果与讨论

在报道的Zhang方法中训练样本的数量为1296个打印色块, 工作量大, 不方便应用。 我们采用标准140色卡作为训练样本进行实验比较。

图1(a)和(b)分别给出了按平均RMSE和平均色差Δ E00度量, 利用24色色卡的测试数据进行比较的结果。 由图1(a)可以看出, 随着光源个数(横轴)由1个增加到6个, 两种方法的光谱反射率的重构精度(纵轴)都在提高。 光源个数为1时, Zhang方法要略优于本方法, 但随着光源个数的增加本方法的RMSE要明显优于Zhang方法, 并且在光源个数达到6时结果最好。 同样, 由图1(b)可以看出, 不论本方法还是Zhang方法两个光源明显好于一个光源的色差预测精度, 光源多于2个的预测色差精度与两个光源下的精度基本一致。 比较而言, 一个光源下, 两种方法一样好, 当2个或更多光源时, 本方法要好于Zhang方法。

图1 利用24色色卡作为测试样本时本方法和Zhang方法的结果对比Fig.1 Performance comparison of RMSE and Δ E00 between Zhang’ s method and our method using Color Checker Classic Chart

在图2中, 给出印刷品为测试样本的平均RMSE和平均色差Δ E00比较结果。 从图2(a)和图2(b)可以看出Zhang方法的曲线都高于本方法的曲线, 不管用几个光源, 本方法都优于Zhang方法。 对于Zhang方法, 采用两个光源达到最佳, 而本方法, 尽管多于2个光源时, 预测的色差已经不能再提高, 但采用6个光源时RMSE度量为最好。

图2 印刷样品作为测试样本时本方法和Zhang方法的结果对比Fig.2 Performance comparison of average RMSE error and colour difference Δ E00 between the method proposed in this paper and Zhang’ s method using 44 printed samples

表1为6个光源下, 采用24色色卡和印刷样本两种测试数据, 分别按平均、 最大和中值均方根误差和色差的比较结果。 对应用加黑表达的数字的方法占优。 当采用色差度量时, 采用色卡和印刷测试数据, 本方法有两种指标占优, 而Zhang方法有一种指标占优。 若两种度量共有6个指标, 不论采用色卡还是印刷测试数据, 本方法都有5种指标占优, 而Zhang方法有1种指标占优。 因此本方法明显优于Zhang方法。 24色色卡的精度要高于印刷品的精度, 这主要是因为24色色卡与140色训练色卡有相同材质, 而印刷样品与训练样本材质不同。

表1 光源个数为6个时, 采用24色色卡和44个印刷样本经测试, 两种方法重构精度的比较结果 Table 1 Performance of the proposed and Zhang methods tested using Color Checker Classic Chart and self-made 44 printed samples under 6 illuminants
5 结论

受Zhang方法的启发, 提出了新的2步方法, 基于相机raw RGB数据重建物体反射率。 第1步, 采用加权三次多项回归算法, 映射raw RGB数据d(通过扩展向量v)到多光源下的三刺激值向量u; 第2步是利用维纳估计预测物体光谱反射率。 本方法的2步过程中, 采用全体训练数据, 避免了Zhang方法中需要从训练数据中挑选一定数量的样本, 在应用上十分方便。 通过140色卡为训练样本, 24色色卡和44色印刷样本的实际数据进行测试表明本方法要明显优于Zhang的方法。 同时比较结果表明本方法在6个光源下达到最佳。

参考文献
[1] SI Zhan-jun, LI Yu, GU Chong(司占军, 李煜, 顾翀). Packaging Engineering(包装工程), 2013, (5): 98. [本文引用:1]
[2] YANG Ping, LIAO Ning-fang, Abed F M, et al(杨萍, 廖宁放, Abed F M, ). Optical Technique(光学技术), 2008, 34(6): 870, 876. [本文引用:1]
[3] CHEN Yi-yi, XU Hai-song, ZHANG Xian-dou, et al(陈奕艺, 徐海松, 张显斗, ). Acta Optica Sinica(光学学报), 2009, (5): 1416. [本文引用:1]
[4] Cao B, Liao N, Cheng H. Color Research & Application, 2016. 42(3), 327. [本文引用:1]
[5] Amiri M M, Fairchild M D. Color Research & Application, 2018, 43: 675. [本文引用:1]
[6] Liang J, Xiao K, Pointer M R, et al. Optics Express, 2019, 27(4): 5165. [本文引用:1]
[7] Zhang X, Wang Q, et al. Color Research & Application, 2017, 42: 68. [本文引用:2]
[8] LIANG Jin-xing, WAN Xiao-xia(梁金星, 万晓霞). Acta Optica Sinica(光学学报), 2017, (9): 363. [本文引用:1]
[9] YIN Zhao, JIA Shang-hui(尹钊, 贾尚晖). Mathematics in Practice and Theory(数学的实践与认识), 2009, 39(9): 239. [本文引用:1]
[10] LIANG Dong, ZHANG Lei-hong, LI Bei(梁东, 张雷洪, 李贝). Packaging Engineering(包装工程), 2016, 37(11): 164. [本文引用:1]
[11] WANG Li-mei, KONG Ling-jun(王丽梅, 孔玲君). Packaging Engineering(包装工程), 2015, (19): 125. [本文引用:1]
[12] Li C J, Luo M R, Wang G. Proc. of SPIE, 2006, 6033: 198. [本文引用:1]
[13] Li C J, Luo M R, Rigg B. Color Research & Application, 2010, 29(2): 91. [本文引用:1]
[14] Li C J, Luo M R, Melgosa M, et al. Color Research & Application, 2016, 41(2): 125. [本文引用:1]