根据光谱传感器每个像素的响应值, 通过有效数据对环境光的色度信息进行判断是光谱图像颜色恒常性计算的前提, 因此对相机拍摄环境的常用光源进行统计分析, 得到典型光源在色品图中的分布规律。 本文使用美尼达CL500A分光照度计对大量常见光源的光谱和亮度进行实际测量统计, 共413种光源, 光源包括CIE标准光源、 自然光源(北京、 上海和深圳三个城市一年中不同季节和不同天气情况下一天中不同时间的太阳光)、 商场家居光源、 市政交通照明光源等, 将采集到的光谱通过第1节中的色度学计算转换到xyY色度空间, 并在色品图上标出, 如图2所示, 由图可知, 当色温大于4 500 K时, 光源的色度值较为集中的分布在普朗克轨迹周围, 且在色温大于6 000 K以后, 分布更为集中; 当色温小于4 500 K时, 光源的色度值较为分散, 并有大量的光源的色度测量值位于普朗克轨迹上方, 通过数据拟合, 得到的平均色温线的方程如式(5)所示, 对应图2中的虚线部分。

$\begin{array}{*{35}{l}} {{y}_{A}}=-0.358\text{ }\!\!~\!\!\text{ }5{{x}^{3}}-2.307\text{ }\!\!~\!\!\text{ }4{{x}^{2}}+2.570\text{ }\!\!~\!\!\text{ }5x-0.241\text{ }\!\!~\!\!\text{ }7 \\ x\in \left[ 0.240, \text{ }\!\!~\!\!\text{ }0.560 \right] \\ \end{array}$(5)

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 光源数据库统计得到的光源色度图Fig.2 The chromaticity diagram obtained from the statistics of light source database

图3(a)为一张未经图像颜色恒常性计算的光谱图像, 将图片划分为64× 48个小区域, 计算每个区域的XYZ平均值, 如式(6)所示, 其中N为每个区域的像素数量, 由式(7)可得图像中每个区域的色品坐标, 由此可得到3 072个图像统计点的色度信息, 在色度图中标出, 如图3(b)所示。 对图像分区并取平均值, 一方面相当于对图像进行均值滤波, 抑制噪声, 另一方面降低了图像分辨率, 可有效节省计算量。 对图3中图像统计点进行分析, 靠近平均色温线的点, 对应光谱图像中的非彩色, 即图像中白色和中性灰部分, 远离色温线的多为彩度较高的有颜色点, 这些点对于拍摄场景的光源估计没有帮助, 可以排除在外。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 (a)光谱图像示例与对应的(b)图像统计点分布Fig.3 (a) Example of spectral images and corresponding (b) statistical point distribution

${\bar{X}}=\frac{\overset{N}{\mathop{\mathop{\sum }_{i=1}}}\, {{X}_{i}}}{N}~{\bar{Y}}=\frac{\overset{N}{\mathop{\mathop{\sum }_{i=1}}}\, {{Y}_{i}}}{N}~{\bar{Z}}=\frac{\overset{N}{\mathop{\mathop{\sum }_{i=1}}}\, {{Z}_{i}}}{N}$(6)

$I\left( x, y \right)=\left[ \begin{array}{*{35}{l}} x \\ y \\ \end{array} \right]=\left[ \begin{array}{*{35}{l}} {\bar{X}}/\left( {\bar{X}}+{\bar{Y}}+{\bar{Z}} \right) \\ {\bar{Y}}/\left( {\bar{X}}+{\bar{Y}}+{\bar{Z}} \right) \\ \end{array} \right]$(7)

根据上述的光源分布特征和光谱图像统计点分布, 可以在光源色度图中给不同位置的统计点设置位置权重。 由图2和图3, 可知在大部分情况下, 距离平均色温线越近的统计点, 与场景光源的相关性越大, 在光源估计时应具有更高的权重, 随着距离变大, 权重降低, 距离较远的统计点, 可认为是光谱图像光源估计的干扰点, 权重为0。 进一步对图2进行分析, 可知在不同色温下, 光源的分散程度存在差异, 当色温大于4 500 K时, 统计区域较为集中在平均色温线周围, 当色温大于6 000 K时, 统计区域更集中, 当色温小于4 500 K时, 光源分布较为分散。 使用McCamy提出的方法^[8]计算统计点的色温, 每个统计点对应一个位置权重, 用w_P[I(x, y)]表示, 其数值大小与统计点的色温和统计点距离平均色温线的距离I(x, y)_p有关, 将权重分为4个等级, 如式(8)所示, 其中High, Middle和Low分别对应图4中的位置划分。

${{w}_{P}}\left[ I\left( x, \text{ }\!\!~\!\!\text{ }y \right) \right]=\left\{ \begin{array}{*{35}{l}} 1.0 & I{{\left( x, \text{ }\!\!~\!\!\text{ }y \right)}_{P}}\le \text{High} \\ 0.7 & \text{High}＜I{{\left( x, \text{ }\!\!~\!\!\text{ }y \right)}_{P}}\le \text{Middle} \\ 0.1 & \text{Middle}＜I{{\left( x, \text{ }\!\!~\!\!\text{ }y \right)}_{P}}\le \text{Low} \\ 0.0 & I{{\left( x, \text{ }\!\!~\!\!\text{ }y \right)}_{P}}> \text{Low} \\ \end{array} \right.$(8)

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 统计点的位置权重分布Fig.4 Position weight distribution of statistical points

对上述光源的色温和亮度之间的关系进行统计分析, 结果如图5所示, 当环境光亮度在15 000 lux以上时, 光源色温多分布在4 500和6 500 K之间, 具有很强的相关性, 当亮度进一步增大, 色温向4 500和6 000 K靠近, 当环境光亮度降低, 由室内向暗光变化时, 光源的色温在各色温区间分布较为均匀。 亮度和色温之间的这一统计规律有助于确定光源的色度。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 光源色温和亮度之间的关系Fig.5 Relationship between color temperature and brightness of light source

根据这一统计规律, 定义统计点的色温权重, 用w_T[I(x, y)]表示, 由图3可知, 对于同一光谱图片的不同统计点, 会落入多个色温区间, 在一定的拍照环境亮度下, 给不同色温范围内的统记点施加不同的权重。 色温权重的一个重要作用是当拍摄环境中光线较为复杂, 有多种色温的光源存在, 呈现混合光时, 可根据统计规律, 选择合适的光源色度进行恒常性校正, 使最终图片的颜色倾向更符合人眼的主观感受。 以户外拍摄环境为例, 此时场景的光源多为自然光, 亮度较高, 色温通常分布在5 000 K左右, 根据光源分布的这一规律, 并结合图5中光源色温与亮度之间的分布关系, 可设置统计点的色温权重分布如图6所示, 在4 500和7 000 K之间较大, 在其他色温区间较小。 随着拍摄环境的亮度变化, 不同色温的统计点所对应的色温权重w_T[I(x, y)]可设置如图7所示, 在图像传感器曝光控制层面, 通常使用曝光指数(exposure index)来表征环境光亮度, 数值越小, 环境光亮度越高, 由图可知在各级亮度下, 色温5 500 K附近均有较高的权重, 一方面因为5 500 K的光源色度接近照明色度的平均值, 另一方面从人类视觉理论出发, 当光源色度判断失败时, 此时的颜色偏向较其他情况会更有利, 如果真实色温低于5 500 K, 会由于红色通道增益变大, 蓝色通道增益变小使图像偏暖, 这与人眼色适应方向相同, 比往相反方向使图像偏冷, 更符合人眼视觉恒常性^[9]。 如果真实色温高于5 500 K, 会使图片风格偏冷, 比往相反方向使图像偏暖, 更符合人眼的视觉恒常性。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 户外场景的色温权重分布Fig.6 Color temperature weight in outdoor condition

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 统计点的色温权重分布Fig.7 Color temperature weight distribution of statistical points

光谱图像中过暗(曝光不足)或过饱和(曝光过度)的统计点数据会对最后的环境光色度判断产生不利影响, 亮度过暗的统计点通常由于接收光线较少, 引入大量噪声, 信噪比较低, 而过饱和的统计点由于图像的细节和信息已经损失, 因此会产生误导性光谱数据。 定义统计点的亮度权重w_L[I(x, y)], 当统计点中有50%的光谱像素已经通道饱和, 此时亮度权重w_L[I(x, y)]=0, 从而去除过饱和统计点, 由式(9)可计算得到图像XYZ数据在CIEL^* a^* b^* 颜色空间内的统计点亮度信息I(x, y)_L, 式中Y_n=100。

$\begin{array}{*{35}{l}} I{{\left( x, \text{ }\!\!~\!\!\text{ }y \right)}_{L}}={{L}^{\text{*}}}=116f\left( Y/{{Y}_{n}} \right)-16 \\ f\left( Y/{{Y}_{n}} \right)=\left\{ \begin{array}{*{35}{l}} {{(Y/{{Y}_{n}})}^{1/3}} & Y/{{Y}_{n}}> 0.008\text{ }\!\!~\!\!\text{ }856 \\ 7.787\left( Y/{{Y}_{n}} \right)+16/116 & Y/{{Y}_{n}}\le 0.008\text{ }\!\!~\!\!\text{ }856 \\ \end{array} \right. \\ \end{array}$(9)

因此, 未饱和的统计点的亮度权重w_L[I(x, y)]如式(10)所示。

${{w}_{L}}\left[ I\left( x, \text{ }\!\!~\!\!\text{ }y \right) \right]=\left\{ \begin{array}{*{35}{l}} 0 & 0\le I{{\left( x, \text{ }\!\!~\!\!\text{ }y \right)}_{L}}\le 2 \\ 0.7 & 2＜I{{\left( x, \text{ }\!\!~\!\!\text{ }y \right)}_{L}}\le 4 \\ 1 & 4＜I{{\left( x, \text{ }\!\!~\!\!\text{ }y \right)}_{L}}\le 100 \\ \end{array} \right.$(10)

综上, 由位置权重, 色温权重和亮度权重, 三者的乘积即为每个统计点的最终权重w[I(x, y)], 如式(11)所示。

$w\left[ I\left( x, \text{ }\!\!~\!\!\text{ }y \right) \right]={{w}_{P}}\left[ I\left( x, \text{ }\!\!~\!\!\text{ }y \right) \right]\cdot {{w}_{T}}\left[ I\left( x, \text{ }\!\!~\!\!\text{ }y \right) \right]\cdot {{w}_{L}}\left[ I\left( x, \text{ }\!\!~\!\!\text{ }y \right) \right]$(11)

对全部统计点进行加权平均后, 可计算得到最终的环境光色度[x_F y_F]^T, 如式(12)所示, 式中M=3 072, 为光谱图像的统计点的个数。

$\left[ \begin{array}{*{35}{l}} {{x}_{F}} \\ {{y}_{F}} \\ \end{array} \right]=\frac{\overset{M}{\mathop{\mathop{\sum }_{i=1}}}\,w{{\ \ [I\ \ \left( \ \ x,\ \ y\ \ \right)\ \ ]}_{i}}\ \ I{{\left( \ \ x,\ \ y \ \ \right)\ \ }_{i}}}{\overset{M}{\mathop{\mathop{\sum }_{i=1}}}\,w{{\ \ [I\ \ \left(\ \ x,\ \ y \ \ \right)\ \ ]}_{i}}}$(12)

由上节可估计出光谱图像拍摄场景的环境光色度[x_F y_F]^T, 根据需求, 当光谱图像需转换到RGB颜色空间进行存储和显示时, 将环境光色度转换到XYZ空间, 如式(13)所示

$\left[ \begin{array}{*{35}{l}} {{X}_{F}} \\ {{Y}_{F}} \\ {{Z}_{F}} \\ \end{array} \right]=\left[ \begin{array}{*{35}{l}} \frac{{{x}_{F}}}{{{y}_{F}}}{{Y}_{F}} \\ {{Y}_{F}} \\ \frac{1-{{x}_{F}}-{{y}_{F}}}{{{y}_{F}}}{{Y}_{F}} \\ \end{array} \right]={{Y}_{F}}\left[ \begin{array}{*{35}{l}} \frac{{{x}_{F}}}{{{y}_{F}}} \\ 1 \\ \frac{1-{{x}_{F}}-{{y}_{F}}}{{{y}_{F}}} \\ \end{array} \right]$(13)

式(13)中, Y_F为环境光的亮度, 再转换到RGB颜色空间, 如式(14)所示

$\left[ \begin{array}{*{35}{l}} {{R}_{F}} \\ {{G}_{F}} \\ {{B}_{F}} \\\end{array} \right]={{T}_{\text{XYZ}\to \text{sRGB}}}\left[ \begin{array}{*{35}{l}} {{X}_{F}} \\ {{Y}_{F}} \\ {{Z}_{F}} \\\end{array} \right]=\left[ \begin{array}{*{35}{l}} {{a}_{1}} & {{a}_{2}} & {{a}_{3}} \\ {{a}_{4}} & {{a}_{5}} & {{a}_{6}} \\ {{a}_{7}} & {{a}_{8}} & {{a}_{9}} \\\end{array} \right]\left[ \begin{array}{*{35}{l}} {{X}_{F}} \\ {{Y}_{F}} \\ {{Z}_{F}} \\ \end{array} \right]$(14)

式(14)中的转换关系T_{XYZ→ sRGB}可根据具体RGB空间要求, 选择不同的转换矩阵。 将式(13)代入式(14)中, 可得

$\left[ \begin{array}{*{35}{l}} {{R}_{F}} \\ {{G}_{F}} \\ {{B}_{F}} \\ \end{array} \right]={{Y}_{F}}\left[ \begin{array}{*{35}{l}} {{a}_{1}}\left( \frac{{{x}_{F}}}{{{y}_{F}}} \right)+{{a}_{2}}+{{a}_{3}}\left( \frac{1-{{x}_{F}}-{{y}_{F}}}{{{y}_{F}}} \right) \\ {{a}_{4}}\left( \frac{{{x}_{F}}}{{{y}_{F}}} \right)+{{a}_{5}}+{{a}_{6}}\left( \frac{1-{{x}_{F}}-{{y}_{F}}}{{{y}_{F}}} \right) \\ {{a}_{7}}\left( \frac{{{x}_{F}}}{{{y}_{F}}} \right)+{{a}_{8}}+{{a}_{9}}\left( \frac{1-{{x}_{F}}-{{y}_{F}}}{{{y}_{F}}} \right) \\ \end{array} \right]$(15)

由此可得最终光谱图像的白平衡通道增益R_Gain, G_Gain和B_Gain如式(16)所示, 增益大小仅与环境光的色度[x_F y_F]^T和T_{XYZ→ sRGB}的转换系数有关。

${{R}_{\text{Gain}}}=\frac{{{a}_{4}}\left(\ \ \frac{{{x}_{F}}}{{{y}_{F}}} \ \ \right)+{{a}_{5}}+{{a}_{6}}\left( \ \ \frac{1-{{x}_{F}}-{{y}_{F}}}{{{y}_{F}}}\ \ \right)}{{{a}_{1}}\left(\ \ \frac{{{x}_{F}}}{{{y}_{F}}} \ \ \right)+{{a}_{2}}+{{a}_{3}}\left(\ \ \frac{1-{{x}_{F}}-{{y}_{F}}}{{{y}_{F}}} \ \ \right)}$

${{G}_{\text{Gain}}}=1$

${{B}_{\text{Gain}}}=\frac{{{a}_{4}}\left(\ \ \frac{{{x}_{F}}}{{{y}_{F}}} \ \ \right)+{{a}_{5}}+{{a}_{6}}\left(\ \ \frac{1-{{x}_{F}}-{{y}_{F}}}{{{y}_{F}}}\ \ \right)}{{{a}_{7}}\left(\ \ \frac{{{x}_{F}}}{{{y}_{F}}}\ \ \right)+{{a}_{8}}+{{a}_{9}}\left(\ \ \frac{1-{{x}_{F}}-{{y}_{F}}}{{{y}_{F}}} \ \ \right)}$(16)

将光谱图像的全部像素色度转换到RGB空间, 并在每个像素的R、 G、 B三个通道上分别乘上计算得到的增益系数, 完成光谱图像的颜色恒常性调整。

为评价算法的恢复结果, 选用数据集中的140张光谱图像进行颜色恒常性算法计算, 为克服普通角误差在同一场景光照变化时引起的数据波动, 使用更稳定的再现角误差对环境光色度进行评价, 由式(17)计算得到误差值, 单位为角度。

$\text{Erro}{{\text{r}}_{\text{reproduction}}}=\text{co}{{\text{s}}^{-1}}\left(\ \ \ \frac{\left(\ \ \ {{\rho }^{\text{E},\text{ }\!\!~\!\!\text{ W}}}\ \ \ /\ \ \ {{\rho }^{\text{Est}}} \ \ \ \right)\cdot U}{\|\ \ \ {{\rho }^{\text{E},\text{ }\!\!~\!\!\text{ W}}}\ \ \ /\ \ \ {{\rho }^{\text{Est}}}\ \ \ \|\ \ \ \sqrt{3}}\ \ \ \right)$

$U=\frac{{{\rho }^{\text{E},\text{ }\!\!~\!\!\text{ W}}}}{{{\rho }^{\text{E},\text{ }\!\!~\!\!\text{ W}}}}\ \ \ \ $(17)

式(17)中, ρ ^Est为算法估计的环境光色度, ρ ^{E, W}为拍摄环境的真实光源色度。 为评估算法在整个数据集上的性能, 对数据集计算得到的误差值进行统计分析, 计算再现角误差的算术均值, 由于角误差的分布是非对称的, 因此同时引入数据中值进行评价, 统计学中三均值的优势为综合中位数和中轴数, 既反映了数据分布的中心值, 也不失对极端值的注意, 因此在评价中加入三均值, 同时计算最低误差25%数据和最高误差25%数据中的误差平均值(“ 最佳25%” 和“ 最差25%” ), 几何平均数在用于比较具有多个不同性质的指标时, 可以将所有指标的基准调成一致, 因此计算以上评价结果的几何平均数。 为与其他校正算法比较, 使用经典灰度世界法^[11]对140张图像进行恒常性处理, 误差分析结果如表1所示。

表1

Table 1

表1(Table 1)

表1 再现角误差分析结果 Table 1 Results of reproduction angle error Algorithm Mean Median Trimean Best-25% Worst-25% Geometric mean Do Nothing 15.99 9.14 15.73 5.47 24.53 12.53 Grey-World 5.40 4.89 5.14 1.55 10.11 4.63 Proposed 2.07 1.30 1.46 0.39 5.10 1.51

表1 再现角误差分析结果 Table 1 Results of reproduction angle error

由表1可知, 文中光谱成像的图像颜色恒常性计算方法在数据集上性能表现最好, 在各个误差指标上均明显优于光谱图像不做处理和灰度世界法。 在几何平均值上, 误差与不做处理和灰度世界相比, 分别下降11.02度和3.12度(87.9%和67.4%), 在各种误差指标上, 优于不做处理79.2%~92.8%, 优于灰度世界法49.6%~74.8%。

为进一步分析算法校正结果与人眼感知之间的联系, 使用颜色心理物理学实验中的分度实验方法对算法处理结果进行验证。 实验在四周墙面为灰色的房间内进行, 照明环境为D65荧光灯, 亮度为115 lux, 使用艺卓CG279X专业显示器显示测试图像, 显示器配有遮光罩, 避免外界杂散光干扰, 设备经过高精度颜色特性化, 颜色空间设置为sRGB。 观察者包括11名非专业观察者和5名专业观察者, 非专业观察者没有从事过影像行业, 更能代表用户, 专业观察者从事图像质量测评工作, 图像质量评估是其工作的一部分, 16名观察者中有6名女性和10名男性, 年龄在20~47岁之间, 平均年龄为29岁, 所有观察者均完成Farnsworth-Munsell Dichotomous D-15色觉缺陷测试, 色觉正常, 无明显眼类疾病。 实验开始前, 每个观察者进行5 min的环境适应, 并被告知实验步骤和注意事项。

使用上述140个光谱图像场景进行心理物理学实验。 实验过程包括一系列的图像比较, 如图10所示, 在50%中性灰的背景上, 每次向观察者同时展示4幅图像, (a)和(b)两张图像是未经处理的原始图像, (c)和(d)是经过颜色恒常性算法处理过的图像, (c)为使用环境光的真实色度处理得到的图像, (d)为使用本文算法处理得到的图像, 观察者需要比较下面两幅图像之间的差异, 并根据差异大小对校正效果打分, 使用9种量级评价总体质量, 如图11所示。 在每两个测试图像场景之间会显示50%中性灰, 以表示测试场景变化, 以消除观察者在上一图像场景中的色适应, 如果观察者感觉到视觉疲劳, 让观察者短暂休息后继续实验。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 心理物理学实验展示图片Fig.10 Images shown in the psychophysical experiment

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 九级综合评分表Fig.11 Nine-level scale for rating overall quality

记录下每个观察者对140个测试场景所打出的分数, 并计算统计分数的最小值、 最大值、 中值、 均值和不同群体个体平均值的标准差, 计算结果如表2所示。

表2

Table 2

表2(Table 2)

表2 心理物理学实验分数结果 Table 2 Results of psychophysical experiment scores Observers Min Max Median Mean Standard deviation Non-professional 4 9 7 7.98 0.36 Professional 5 9 8 8.24 0.27 All 4 9 7 8.06 0.35

表2 心理物理学实验分数结果 Table 2 Results of psychophysical experiment scores

由结果可知非专业观察者平均得分的标准差为0.36, 专业观察者为0.27, 因此专业观察者之间的数据一致性稍好, 这可能与他们长时间从事影像工作, 因此对图像质量的评价更一致, 可以给出指导性的结果有关。 所有观察者的标准差为0.35, 稳定性满足数据分析要求, 因此所有参加视觉实验的观察者可以被视为一组, 对其结果进行评价。 所有观察者的平均得分为8.06分, 介于良好和优秀之间, 这表明文中算法可以较好地完成光谱图像的颜色恒常性校正, 满足用户实际使用需求。 对得分较低的场景进行分析, 此类场景的一个共同特点为光源色温较低, 在2 500 K左右, 此时场景中会有部分和光源相近的物体颜色干扰光源信息判断, 后面可通过添加光谱信息对统计点进行进一步划分, 从而优化此类场景。

将每种场景的平均得分与拍摄环境的环境光色度相联系, 可以发现, 在几乎相同的色度误差情况下, 沿着平均色温线方向, 观察者所打出的平均分数大于正交或其他方向0.4分, 即在主观层面, 观察者对沿着自然发光的方向, 所允许的光源色度差异较其他方向稍大, 一种解释为这与颜色空间本身的不均匀性有关, 另一种解释为沿着平均色温线方向, 人眼视觉系统可以通过色适应适应光源色度差异的能力较强。 测试图像中有部分光谱图像包含蓝天、 绿植等记忆色, 对这类包含大面积记忆色的场景进行分析, 发现相较于其他常规场景, 当光源色度差向使记忆色饱和度增大的方向偏移时, 如光源色度差异导致户外蓝天比实际效果更蓝, 此时即使色度差异较大, 观察者的得分仍然较高, 这与人眼的记忆色效应吻合, 即在观察者的认知范畴中, 对记忆色的认知会影响对物体实际颜色的感知。