局部 k最近邻加权线性回归的光谱反射率重建
卢德俊, 爨凯旋, 张伟峰*
华南农业大学数学与信息学院, 广东 广州 510642
*通讯联系人 e-mail: zhangwf@scau.edu.cn

作者简介: 卢德俊, 1992年生, 华南农业大学数学与信息学院硕士生 e-mail: dejunlu@foxmail.com

摘要

现实中很多场景都需要精确的颜色表示, 如纺织、 印刷、 艺术品扫描存档、 在线商品展示等。 光谱反射率是决定物体颜色的本质属性, 如果知道了光谱反射率, 就可以重现物体在任何光照和观测条件下的颜色。 采用专业仪器测量光谱反射率有成本高、 分辨率低、 测量时间慢等问题。 随着数码成像设备的普及, 基于相机RGB响应值的光谱反射率重建算法具有重要现实意义。 光谱反射率重建的目的是建立低维RGB响应值到高维光谱反射率向量的映射关系, 回归方法在这一领域已取得广泛应用。 由于光谱反射率向量所处的空间是嵌在高维欧氏空间中的一个低维子流形, 在训练样本有限的条件下, 传统的全局回归方法不能有效地学习该流形结构, 往往导致过拟合, 使得学习出来的模型泛化能力较差。 局部线性回归方法虽然可以改善全局回归过拟合的问题, 但是局部学习方法易受例外点的影响, 导致拟合不足。 针对这一问题, 提出一种基于局部加权线性回归的光谱反射率重建方法, 这种方法在一个 k最近邻范围约束内, 给每个局部训练样本赋予不同的权重, 从而有所侧重地利用局部训练样本来估计光谱反射率。 实验结果表明, 基于局部 k最近邻加权线性回归的方法能更有效地利用局部信息, 缓解过拟合和拟合不足, 更准确地重建光谱反射率。

关键词: 光谱反射率重建; 局部加权线性回归; k最近邻; 权值函数
中图分类号:TH744 文献标识码:A
Research on Spectral Reflectance Estimation Using Locally Weighted Linear Regression within k-Nearest Neighbors
LU De-jun, CUAN Kai-xuan, ZHANG Wei-feng*
School of Mathematics & Informatics, South China Agricultural University, Guangzhou 510642, China
Abstract

Many real applications require accurate color reproduction, such as textile, printing, art painting archiving and online product exhibition. The most accurate and informative way to represent a natural object’s color is to use its spectral reflectance. However, the very professional measuring instrument of spectrophotometer has the drawbacks of being expensive and having low measuring resolution and slow measuring speed. As digital cameras have become the most widely used devices for color acquisition, developing accurate reflectance estimation methods from RGB responses has received increasing attention. The aim of spectral reflectance estimation is to build estimation function between RGB tristimulus values and the spectral reflectance vector from training samples. Regression methods have been widely used for this problem. Recent studies have shown that natural objects’ reflectance resides on a lower dimensional submanifold which is embedded in the high-dimensional ambient Euclidean space. Due to the limitation of high dimensional and low training sample size, previous global regression approaches could not exploit the local manifold structure well and are prone to be over-fitting. Local linear regression method can improve the problem of overfitting, but the local learning method is susceptible to the influence of outliers, which will lead to under-fitting. Aiming at this problem, this paper proposes a spectral reflectance estimation method based on locally weighted linear regression, which gives different weights to each local training sample within a k-nearest neighbor constraint. The experimental results show that the method based on locally weighted linear regression can make more effective use of local information, alleviate the over-fitting and under-fitting and reconstruct the spectral reflectance more accurately.

Key words: Spectral reflectance estimation; Locally weighted linear regression; k-nearest neighbors; Weight functions
引 言

如何精确的获取和再现色彩, 是颜色科学领域的重要课题[1, 2]。 使用数码相机或扫描仪采集得到的RGB颜色值是与设备和光照条件相关的, 即不同相机对同一场景下的物体采集到的RGB三色值不同。 为了使颜色能够在不同的媒介间保真传递, 需要使用更为精确的颜色表示。 决定物体颜色的本质属性是物体在可见光波长范围内的光谱反射率, 知道了光谱反射率, 就能准确再现物体在各种成像环境下的色彩, 这对很多应用场景, 如电影电视、 出版印刷、 艺术品扫描存档、 文物修复、 在线商品展示等都具有重要意义[3, 4]

光谱反射率的测量需要使用专业分光光度仪, 不仅价格昂贵而且只能逐色块扫描, 不适合高分辨率像素点密集的应用场景。 光谱反射率是一个关于波长的连续函数。 由于自然界物体的光谱反射率都是光滑的[5], 所以通过在可见光波长400~700 nm间等距采样, 光谱反射率可以用一个高维向量表示。 光谱反射率重建, 是指利用普通成像设备如扫描仪、 相机等采集场景中物体的低维颜色值来估计对应的高维光谱反射率向量。 光谱反射率重建可以大大降低光谱反射率的获取时间和成本, 一直是光学研究中的重要方向[6]。 其中, 最为常见的是通过彩色数字相机获取RGB三色值来估计光谱反射率。 此外, 通过增加成像通道获得高光谱颜色信息, 可以获得更精确的重建结果。

常用的光谱反射率重建算法可以分为三类: Wiener估计法[7]、 有限维模型法[8和回归模型法[6]。 这些方法都需要一些光谱反射率已知的训练样本来估计模型参数, 不同的是, Wiener估计法和有限维模型法还需要知道相机的光谱灵敏度函数和光源的光谱能量分布。 在实际情况下, 相机的光谱敏感度曲线和光照能量分布很难通过专业仪器直接获取, 只能通过间接法进行估计, 这样不仅增加了算法的难度, 而且会造成误差的二次传播[7]。 回归模型法直接利用训练样本建立RGB响应值与光谱反射率向量之间的回归函数, 不需要任何关于成像系统和光照的先验信息, 相比前两种方法具有更好的实用性。 许多经典的回归模型被应用到光谱反射率重建, 如线性回归、 多项式回归、 核回归、 支持向量回归等。 其中, Heikkinen等[6]提出的基于再生核Hilbert空间的正则化回归方法, 能够较好地拟合出颜色值与光谱反射率向量之间的非线性关系, 当训练样本较多时比其他方法效果更好。 以上回归方法都是利用全体训练样本构建重建函数, 称作全局回归方法。 由于光滑性特征, 自然界物体的光谱反射率向量并不是充满整个高维空间, 而是嵌在高维欧氏空间中的一个低维子流形[8]。 由于空间维数较高, 训练样本数目相对较少, 所以训练样本往往在空间中分布不均。 全局回归方法不能有效地学习该流形结构, 容易造成过拟合, 当训练样本和测试样本来自不同分布总体时效果较差[6]

针对此问题, Zhang等[9, 10, 11]提出了基于局部线性回归的光谱反射率重建算法, 该方法根据光谱反射率的空间分布特性, 假设每个光谱反射率向量和其周围近邻处在一个低维线性子空间, 然后用局部近邻作为训练样本的线性回归方法估计光谱反射率。 相较于传统的全局回归, 局部线性回归具有更好的泛化能力, 而且其简单的线性结构可以缩短计算时间。 实验结果显示, 当训练样本和测试样本来源于不同总体时, 局部线性回归方法比全局核回归方法误差更小, 速度更快。

局部线性回归方法虽然可以改善全局回归过拟合的问题, 但是线性回归方法易受例外点的影响, 尤其是局部线性回归的训练样本数目更少, 例外点的影响更大[12]。 为了克服这个缺点, 提出一种基于局部加权线性回归的光谱反射率重建算法。 其思想是, 在利用样本训练回归模型时, 给每个样本按其与待估计样本的相似程度赋予权值, 与待测样本越近的样本权值越大。 这种方法可以在保持局部线性回归良好的泛化能力同时, 通过对样本点给予不同的关注, 减少例外点的影响, 提高重建精确度。

1 问题描述

成像设备获取颜色值的过程可以简单地描述为: 具有某种光谱能量分布的光源照射到物体表面后, 经过物体反射被成像设备的感光元器件捕获, 最终生成相应的颜色值。 其中颜色值可以用一个向量x来表示。 对于普通RGB三通道照相机, x为一个3× 1的列向量, 而对于多通道相机, 向量维度则为m× 1。 光谱反射率可以用一个n× 1的列向量表示, 代表物体对400~700 nm的可见光波长的n个等距采样点上的反射率。 从数学形式上, 成像过程可以表示为

x=SLy+e(1)

其中S表示照相机传感元器件的光谱敏感度, 是一个m× n的矩阵, 而Ln× n的对角矩阵, 对角线为场景光照的光谱能量分布, em× 1的照相机成像的系统误差向量。 式(1)可以简写为如下形式

x=My+e(2)

其中M=SL, 统称为光谱响应矩阵。

假设拥有一组训练样本集S={(xi, yi), xiR3, yiRn, i=1, …, l}, 光谱反射率重建的目的就是要从中学习出输入输出变量之间的关系, 利用照相机的成像颜色值x估计其对应的光谱反射率 y˙, 使得 y˙尽可能地接近真实的光谱反射率y

回归模型方法用于光谱反射率重建时, 并不需要事先知道光谱响应矩阵M, 从而省略掉对M的测量和估计过程, 使得光谱反射率重建更方便和更具可行性。 传统的回归方法把光谱反射率重建问题看作一系列函数的回归问题

y˙j=fj(x), j=1, 2, , n(3)

这些函数分别对应光谱反射率的一个采样波长, 当给定物体的颜色值x, 可以用 y˙=( y˙1, y˙2, …, y˙n)T作为x对应的真实光谱反射率y的一个估计。 由于光谱反射率向量所处的空间维度要比成像设备获得的颜色值所处空间维度高, 所以x与各个采样波长段的反射率yj的函数关系应该是非线性。 对于式(3)的回归函数, 应该选择足够光滑的函数才能恰当的拟合出上述非线性关系。 在这一方面, Heikkinen等[6]提出的一系列基于正则化核回归的光谱反射率方法取得了不错的效果。

以上方法都需要充足的训练样本来保证回归函数能够学习到全局非线性关系。 如果样本点过少或分布不均, 回归函数就容易过拟合, 导致泛化能力降低。 比如训练样本使用的是Munsell色卡, 而测试样本使用的是普通的布片、 纸张、 树叶等, 由于训练样本和测试样本分布在不同的子空间, 回归函数即使很好的拟合了Munsell色卡但仍然无法准确预测出其他材质物体的光谱反射率。

为了克服这一问题, Zhang等[9]提出了基于正则化局部线性模型(regularized local linear model, RLLM)的光谱反射率重建方法, 该方法假设每个待估计样本和其周围的k个近邻处在一个低维线性子空间, 首先找出待测样本xk个近邻, 然后学习一组最优线性重构系数, 最后使用这组系数对xk个近邻相应的光谱反射率向量进行线性组合, 从而得到x的光谱反射率向量的估计。 实验结果表明, RLLM方法比传统的全局回归方法具有更好的泛化能力。 Zhang等[10, 11]在后续的研究工作中证明, 局部正则化线性模型等价于局部线性回归模型。

2 方 法

由于其局部学习特点, RLLM可以避免高维小样本所带来的过拟合问题。 但也由于其局部线性的假设, RLLM也更容易受例外点的影响[12]。 实际上, RLLM在局部近邻数为15时能达到效率与效果的最佳平衡点, 15个训练样本中如果存在个别例外点那么对最终的回归结果就会影响很大。 为此提出利用局部加权线性回归来避免例外点的影响, 对测试样本的训练样本根据其相似程度加上权值, 使其在构造回归函数时的贡献不同, 从而避免例外点产生较大影响。 考虑两种实现途径, 一是在全局学习框架下对所有的训练样本加权, 距离待测样本越近的权值越大; 另一种是引入k近邻范围约束, 先确定局部训练样本, 然后只对近邻加权。

2.1 局部加权线性回归模型

{(xi, yi), xiRm, yiRn, i=1, 2, …, l}为一组训练集, x为测试样本, 局部加权线性回归模型根据测试样本x与训练样本之间的距离信息计算训练样本的权重, 权重可采用高斯核函数进行计算

wi=exp-x-xi2σ2(4)

然后拟合一个线性函数

y˙=Vx+b(5)

使得下面的加权误差平方和函数最小

i=1lwiyi-y˙i2(6)

为了推导方便, 式(5)的形式可简化为

y˙=Vx(7)

并暂时忽略Vx的维度变化。 所以维度为n× m的系数矩阵V为求解目标。

式(6)展开为

i=1lwij=1n(yij-y˙ij)2=j=1ni=1lwi(yij-y˙ij)2=j=1nerrj(8)errj=i=1lwi(yij-y˙ij)2(9)

由式(9)得errj≥ 0, 所以有

minj=1nerrj=j=1nminerrj(10)

至此, 式(6)对应的最小化问题, 可以转化为式(9)中对每个errj最小化后再求和。 又由式(9)把errj用矩阵形式表示有

errj=i=1lwi(yij-y˙ij)2=(rj-r˙j)TW(rj-r˙j)(11)

其中, W是一个对角矩阵, 对角上的元素为训练样本权重wi, rj是一个列向量, 其中的每个元素对应训练样本光谱反射率向量yi的第j分量, r˙j为对应的估计向量, 定义如式(12)

r˙j=Xvj(12)

式(12)中X是一个l× m维的矩阵, X的每一行为 xTi, 而vj对应的是系数矩阵V的第j行的转置。 由式(10)— 式(12)得vj可通过式(13)求得

argminvj(rj-Xvj)TW(rj-Xvj)(13)

易知式(13)对应的解为

vj=(XTWX)-1XTWrj(14)

利用式(14), 可得系数矩阵V

V=YTWX(XTWX)-1(15)

式(15)中, Y是一个l× n的矩阵, 其每一行对应于 yTi。 至此, 利用式(7)和式(15)可重建出测试样本x的光谱反射率。

2.2 k近邻范围约束与权值函数

局部加权线性回归模型根据训练样本距离测试样本x的远近不同, 给训练样本赋予不同的权重, 根据式(4)可知, 离x近的训练样本可获得较大的权重, 而离x远的训练样本获得的权重就会较小。 通过权重调节的方式, 局部加权线性回归实现了对局部样本的重点学习, 但是这种方法需要为所有的训练样本计算权值。 这不仅增加了模型计算成本, 而且离测试样本x远的训练样本会影响模型对局部特征的学习, 因此, 可以对训练样本引入关于xk近邻范围约束。

基于欧氏距离选择离测试样本x最近的k个训练样本, 构成了x的一个k近邻局部, 然后再进行局部加权线性回归。 具体步骤为: 首先从训练集中选择xk近邻{x1, x2, …, xk}, 这k个近邻对应的光谱反射率向量为: {y1, y2, …, yk}, 由此得到了xk近邻局部作为新的训练样本集{(xi, yi), xiRm, yiRn, i=1, 2, …, k}, 接着, 利用式(4), 计算得到每个训练样本的权重wi并构建对角矩阵Wk并利用公式(16)计算局部加权线性回归系数矩阵Vk

Vk=YTkWkXk(XTkWkXk)-1(16)

式(16)中, Xk的每一行对应为 xTi, i = 1, 2, …, k, Yk的每一行对应为 yTi, i=1, 2, …, k

权值函数的选择对局部加权线性回归模型非常关键, 在上述局部模型中, 使用了经典的高斯核函数作为权值函数, 所以整个模型有两个参数需要设定, 一个是控制局部邻域训练集大小的k, 另一个是控制加权函数带宽的参数σ , 这两个参数都影响模型对测试点x的邻域点的选择和使用。 更自然地, 可以使用经典的基于三次方函数构造的权值函数[12]

wi=1-x-ximaxx-xi33, i=1, , k(17)

使用式(17)构造的局部模型仅仅需要设定一个参数即可, 也就是近邻个数k

3 实验与讨论

比较六种方法在光谱反射率重建问题上的效果: 基于高斯核的全局核回归方法(KR-G)、 基于Dochon样条核的全局核回归方法(KR-D)、 正则化局部线性模型(RLLM)、 局部加权线性回归(LWLM-G)、 基于高斯核加权函数的k近邻局部加权线性回归(LWLM-KG)和基于三次方加权函数的k近邻局部加权线性回归(LWLM-KC)。 实验所使用的光谱反射率数据集如表1所示, 这些数据来源于芬兰约恩苏大学[13], 光谱反射率采样自可见光波长400~700 nm区间, 并以10 nm为一个采样间隔。 成像设备的颜色值由Sony DXC-930照相机的光谱敏感曲线[14]模拟生成, 光照使用CIE标准光源D65。

表1 实验数据集 Table 1 Experimental datasets
3.1 内集测试

为了比较6个方法的学习能力, 首先利用Munsell Matte数据集进行内部测试, 训练集、 验证集和测试集都使用Munsell Matte中的数据。 首先, 随机从数据集中抽取300个样本作为验证集, 另外再随机抽取300个样本作为测试集。 数据集剩下的669个样本, 再从中随机选取300或600个作为模型的训练集。 通过验证集选择模型最优的参数, 并在测试集中比较各个模型的光谱反射率重建误差(方根平均平方误差(RMSE))。 此外, 还将比较照相机成像颜色值是否含有噪声时各个方法的重建结果, 加入了独立同分布均值为0标准差为0.01的高斯噪声。 重复上述实验50次, 各方法的平均重建误差如表2所示。

表2 内集测试各方法重建误差 Table 2 Comparison of reconstruction error for six methods in the inner test
3.2 外集测试

光谱反射率重建的初衷是利用已有的光谱反射率数据库, 估计新图像中对应物质的光谱反射率, 所以本文考虑到实际的应用场景, 使用多个不同的光谱反射率数据库进行实验, 实验的目的是比较各个模型方法在光谱反射率重建问题上的泛化能力。 使用Agfa IT8.7/2数据集作为验证集, 用于选择模型的参数, 使用Paper数据集作为测试集, 在Paper数据集上比较模型的重建误差。 使用Munsell Matte数据集作为训练集, 从中随机抽取四种不同规模的样本: 100, 300, 600, 900用于比较不同大小的训练集合对光谱反射率重建的影响。 与第一部分实验类似, 还会在照相机成像颜色值中引入高斯噪声, 比较模型的抗噪能力, 实验重复50次, 各方法的平均重建误差如图1、 图2所示。

图1 无噪声下外集测试各方法重建误差Fig.1 Comparison of six methods in the external test without noise
1: KR-D; 2: KR-G; 3: LWLM-G; 4: RLLM; 5: LWLM-KG; 6: LWLM-KC

图2 高斯噪声下外集测试各方法重建误差Fig.2 Comparison of six methods in the external test with Gaussian noise
1: KR-D; 2: KR-G; 3: LWLM-G;
4: RLLM; 5: LWLM-KG; 6: LWLM-KC

上述两个实验的结果都显示了训练样本集的大小对重建误差的影响, 符合我们的一般经验: 光谱反射率重建误差随着训练集的增大而减小。 但是当训练集到达600~900左右, 训练集的大小几乎对误差没有影响。 这是因为训练集中样本个数达到600~900后, 样本之间已经足够相似和接近, 即使再增加训练样本个数, 也相当于冗余样本。 从两个实验的结果对比来看, KR-D方法在内集测试中重建误差最小, 但是在外集测试中却是重建误差最大的。 相似地, KR-G方法在内集测试中表现优异, 但是在外集测试中却表现一般。 这说明KR-D和KR-G这两个传统的全局非线性模型, 过分地拟合了训练集中的样本, 导致泛化能力差。 与全局回归方法相比, 4种局部学习方法在内集测试时表现出了接近全局回归方法的效果, 但是在外集测试中全部超越了全局回归方法。 这说明局部学习方法拥有比全局回归方法更强的泛化能力。

从4个局部模型的结果中可以看出, LWLM-G方法虽然通过权重来实现局部学习, 但是仍然基于全部的训练样本构建模型, 过多的样本导致了LWLM-G方法出现与传统全局非线性模型类似的过拟合问题。 通过引入k近邻范围约束, LWLM-KG 和LWLM-KC方法无论是在内集测试还是在外集测试中都具有比RLLM方法更小的重建误差。 这说明了RLLM方法基于局部线性的假设, 存在着一定程度的欠拟合, 而局部加权线性回归和k近邻范围约束的方法不仅保持了良好的泛化能力, 而且克服了对局部特征学习不充分的问题。

4 结 论

基于回归模型方法研究光谱反射率重建问题, 针对局部线性模型的局部线性假设导致的模型易受例外点影响、 拟合不足问题, 提出基于局部加权线性回归模型和k近邻范围约束来进行改进。 通过实验比较了两种全局非线性模型和4种局部模型, 验证了局部线性模型比全恐非线性模型泛化能力更强的优势, 同时反映出局部线性模型存在拟合不足的情况。 实验表明, 局部加权线性回归和k近邻范围约束的方法既保留了局部模型的泛化能力, 同时也强化了模型本身的学习能力, 能有效地提取局部信息, 更准确地重建光谱反射率。

The authors have declared that no competing interests exist.

参考文献
[1] Fu X, Liao Y, Zeng D, et al. IEEE Transactions on Image Processing, 2015, 24(12): 4965. [本文引用:1]
[2] Matsuoka R, Baba T, Okuda M. Proc IEEE International Conference on Image Processing, 2015. 407. [本文引用:1]
[3] Eckhard T, Valero E M, Hernand ez-Andres J, et al. Applied Optics, 2014, 53(4): 709. [本文引用:1]
[4] Xu P, Xu H, Diao C, et al. Applied Optics, 2017, 56(30): 8461. [本文引用:1]
[5] Van Trigt C. Journal of the Optical Society of America A, 1990, 7(10): 1891. [本文引用:1]
[6] Heikkinen V, Camara C, Hirvonen T, et al. Journal of the Optical Society of America A, 2016, 33(6): 1095. [本文引用:5]
[7] Liu Z, Liu Q, Gao G, et al. Optics Express, 2017, 25(11): 12435. [本文引用:2]
[8] Lansel S, Parmar M, Wand ell B A. Proc. SPIE, Computation Iamging Ⅶ, 2009, 7246: 72460D. [本文引用:1]
[9] Zhang W F, Tang G, Dai D Q, et al. Optics Letters, 2011, 36(19): 3933-5. [本文引用:2]
[10] Zhang W F, Yang P, Dai D Q, et al. Proc 9th International Symposium on Neural Networks (ISNN), 2012, Part 1: 116. [本文引用:2]
[11] Zhang W F, Lu D J. Proc IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2015. 2996. [本文引用:2]
[12] Cleveland W S, Devlin S J. Journal of the American Statistical Association, 1988, 83(403): 596. [本文引用:3]
[13] Spectral Color Research Group, University of Eastern Finland , http://www.uef.fi/web/spectral/-spectral-database. [本文引用:1]
[14] Barnard K, Martin L, Funt B, et al. Color Research & Application, 2002, 27(3): 147. [本文引用:1]