窄带快照式多光谱成像色彩还原方法
易定容1, 孔令华2,*, 赵艳丽1, 杨子涵1
1.华侨大学机电及自动化学院, 福建 厦门 361021
2.福建工程学院机械与汽车工程学院&数字福建工业制造物联网实验室, 福建 福州 350118
*通讯作者 e-mail: klh@fjut.edu.cn

作者简介: 易定容, 女, 1969年生, 华侨大学机电及自动化学院教授 e-mail: yidr@hqu.edu.cn

摘要

由于兼具光谱分辨和空间分辨能力, 快照式窄带多光谱成像在资源遥感、 精准农业、 医疗检测等领域将有广泛应用。 由于该方法使用窄带成像来提高光谱分辨率及图像对比度, 所获得的图像是灰度信息, 失去了场景的色彩信息, 不便专家对图像鉴别、 评价与赏析。 已有的色彩还原算法主要针对光谱波段带宽较宽或者多个波段叠加基本覆盖整个可见光谱范围等两种光谱成像仪, 不适合窄带多光谱成像方法的色彩还原。 该研究适合于快照式窄带多光谱成像的色彩还原方法, 提出建立窄带多光谱彩色相机的概念。 首先, 提出两种窄带多光谱色彩还原方法: (1)基于CIE色度系统三刺激值色的, (2)基于贝尔阵列插值算法的; 其次, 分别应用两种算法还原快照式窄带多光谱相机所获得的植物、 手臂及宫颈组织等三种代表性场景窄带多光谱灰度图像; 之后, 计算并比较表征两种算法所得的代表性场景彩色图像的均值、 方差、 熵及梯度等表征图像质量的参数数值, 确定出适合快照式窄带多光谱成像的色彩还原方法; 最后, 对所确定的色彩还原算法进行色偏校正。 实验结果表明, 基于CIE三刺激值色彩还原方法比贝尔阵列插值法更适用于窄带多光谱成像颜色复原。 配合使用CIE三刺激值色彩还原方法及灰度图象校正算法, 从窄带光谱成像所获得的植物、 手臂皮肤及宫颈组织的灰度图像所还原出的近彩色图像逼近物体真实色彩, 满足人眼观察习惯。 介绍了仅覆盖可见光光谱范围30%的窄带多光谱图像进行色彩还原的方法, 该方法证明快照式窄带多光谱成像可以兼具光谱分辨能力, 同时保持可供人主观辨识的色彩信息。 所提出实现快照式窄带多光谱彩色成像的方法, 有望设计不同于传统RGB相机的彩色相机实施方案。

关键词: 快照式窄带多光谱成像; 色彩还原方法; CIE三刺激值积分; 贝尔阵列插值; 窄带多光谱彩色相机
中图分类号:TP73 文献标志码:A
Color Recovery Method for Snapshot Narrow Band Spectral Imaging Technology
YI Ding-rong1, KONG Ling-hua2,*, ZHAO Yan-li1, YANG Zi-han1
1. College of Mechanical Engineering and Automation, Huaqiao University, Xiamen 361021, China
2. School of Mechanical and Automotive Engineering and Digital Fujian Industrial Manufacturing IoT Lab, Fujian University of Technology, Fuzhou 350118, China
*Corresponding author
Abstract

Due to its simultaneous spectral and spatial resolutions, snapshot narrow-band spectral imaging (SNBSI) will have wide applications in remote sensing of natural resources, accurate agriculture, and medical diagnosis. However, due to its usage of narrow bands to improve spectral resolution and to enhance contrast, gray images instead of colorful ones produced by SNBSI are not idea for experts to identify, evaluate and appreciate. Existing color recovery methods primarily applicable to either wide-band spectral imaging or continuous spectral imaging wherein multiple bands together cover the full visible spectral region; however, they are not directly applicable to SNBSI. In this paper, we study color recovery method for SNBSI. Further we propose the concept of color camera via narrow-band multi-spectral imaging method. First, two color recovery methods were proposed, one was based on CIE three primary coordinate system; the other was modified Bayer-filter-array based color interpolation method. Then applied the two proposed methods to resurrect color informationfor three representative targets including a plant, a forearm, and a piece of cervical tissues captured by an SNBSI camera, then selected one of the two methods which resulted in higher values of mean, standard deviation, entropy, and gradient of the recovered images. Finally, the modified gray world chromatic aberration correction algorithm was applied to make the recovered images closer to the true color. Experimental results suggested that CIE-three primary based method was more suitable than the Bayer-filter-array based interpolation method for color recovery from SNBI spectral images. The recovered color images of a plant, a human forearm, and tissues by the CIE three primary based recovery method followed by the modified gray world chromatic correction algorithm were close to the true color and were satisfactory for human observation. This study introduces acolor recovery method which exploits few narrow-band spectral images that jointly cover about 30% of the visible spectral range. The existence of such a color recovery method proves that SNBSI is capable of having both spectral resolution and retain color information. Therefore, this paper proposes a method to realize snapshot narrow-band multi-spectral color imaging, which opens up a color restoration method different from the conventional RGB color camera.

Keyword: Snapshot narrow-band spectral imaging; Color recovery method; CIE three primary color; Bayer filter array interpolation; Narrow band spectral imaging color camera
引言

光谱分析通过对物质特征光谱或者物质的特性对光谱成像的影响来实现物质化学成分的定量与定性分析, 成像技术可获取目标的二维空间信息。 光谱成像技术兼顾目标物体的影像信息和光谱信息, 在国土资源遥感[1]、 农业遥感[2]、 刑侦[3]、 食品检测[4]、 生命科学[5]、 医学病理诊断[6]中得到广泛应用。 传统光谱成像技术采用光谱空间扫描来分时获取目标在不同波段下二维空间信息或采用空间扫描来获取目标不同空间点位置下连续光谱信息, 时间效率较低[7]。 另外, 在获取图像过程中, 成像系统相对于目标的运动造成不同波段图像之间错位, 需要算法来校正错位, 延迟目标和背景分离结果的输出。 为了克服不同波段光谱图像错位及提高光谱成像效率, 近年来快照式光谱成像技术引起了学术界的广泛关注[8, 9, 10]。 典型的快照式光谱成像技术包括基于Wollaston棱镜干涉型的快照式成像光谱技术[8, 10], 及二维点阵式多通道窄带微滤片与图像传感器集成的快照式窄带多光谱成像方法(snapshot narrow band spectral imaging, SNBSI)。 前者具有较高的光谱覆盖范围及学术研究价值, 后者具有较高的时间效率、 仪器更紧凑、 性价比高, 因此具有更高的应用价值。 基于二维点阵式多通道窄带微滤片的SNBSI已经实现单相机单次曝光零时差获取目标多幅窄带光谱图像, 并已经应用在褥疮早期诊断[6, 10]及宫颈癌筛查中。 近年来, 各国陆续出现了基于点阵式二维微滤片的产业化的SNBSI相机。

由于SNBSI使用在目标与背景具有明显区别的几个特征光谱波段窄带成像, 从而提升目标与背景之间图像灰度对比度, 所获得的图像都是灰度图像, 即黑白图像。 此技术丢失场景的近自然色彩, 不方便人眼鉴别、 评价及欣赏, 尤其是在安防侦察、 医疗成像诊断等应用中。 已有彩色还原技术主要是针对光谱波段多[12, 13, 14]或者光谱波段宽, 使得可见光波段覆盖率较高的光谱成像方法, 不一定适用于SNBSI。 因为后者为了提高光谱分辨能力及目标与背景的对比度, 成像波段比较狭窄, 且波段之间间隔较大, 对可见光谱范围覆盖不完整。 由于成像波段带宽狭窄及成像波段稀疏, 可见光波段缺失70%以上, SNBSI颜色恢复具有挑战性, 在光谱分辨所要求的“ 窄带光谱” 与彩色信息所需的“ 宽光谱” 之间, 存在一对矛盾量关系。 为此, 研究适用于窄带多光谱成像的色彩还原方法, 建立一种具体实现快照式窄带多光谱彩色成像的方法, 使得该技术兼具高光谱分辨及高图像对比度的同时, 还能够具有方便人眼观察的接近自然的色彩信息。 研究中提出窄带多光谱彩色相机的概念。

1 实验部分

由多或者高光谱图像恢复颜色的方法主要有三种, 基于矩阵R理论的光谱降维方法[15, 16]、 基于CIE三刺激值色彩还原方法[13]及基于贝尔阵列的颜色插值算法。

1.1 基于CIE三刺激值的色彩还原方法

在CIE XYZ色度系统中, 用于定量描述物体颜色的三刺激值X, Y, Z坐标计算公式如式(1)— 式(3)

X=380780Kψ(λ)x̅(λ)dλ(1)

Y=380780Kψ(λ)y̅(λ)dλ(2)

Z=380780Kψ(λ)z̅(λ)dλ(3)

其中K是调整因素, ψ (λ )是成像系统的光谱响应函数, 是光源的光谱功率、 物体光谱反射率, 成像系统的光谱透过率, 像传感器的光电转换效率函数的乘积。 x̅(λ ), y̅(λ )和 z̅(λ )分别表示相应波段道的光谱三刺激值。 窄带多光谱成像在可见光范围内是分段连续的, 因此上述公式改写为式(4)— 式(6)

X=n=1n=Nλn_minλn_maxKψ(λn)x̅(λn)dλ(4)

Y=n=1n=Nλn_minλn_maxKψ(λn)y̅(λn)dλ(5)

Z=n=1n=Nλn_minλn_maxKψ(λn)z̅(λn)dλ(6)

式中 x̅(λ n), y̅(λ n)和 z̅(λ n)则分别代表第n个特征波段对应的光谱三刺激值, 可由CIE1931三刺激颜色匹配函数得出。 由于窄带成像, 将 x̅(λ n), y̅(λ n)和 z̅(λ n)作为常数提出到积分符号外, $\underset{{{\lambda }_{n\_\text{min}}}}{\overset{{{\lambda }_{n\_\text{max}}}}{\mathop \int }}\,K\psi \left( {{\lambda }_{n}} \right)\text{d}\lambda $积分得到对应第n个光谱窄带图像灰度值$A_i j(λ_n)$。基于CIE三刺激值的窄带多光谱图像彩色还原公式为式(7)— 式(9)

Xij=n=1Nx̅(λn)Aij(λn)(7)

Yij=n=1Ny̅(λn)Aij(λn)(8)

Zij=n=1Nz̅(λn)Aij(λn)(9)

XYZ色度系统中的颜色所包含的红绿蓝三原色由式(10)确定

RGB=3.24048-1.53715-0.49854-0.969261.875990.041560.05565-0.204041.05731XYZ(10)

1.2 基于贝尔阵列的颜色插值算法

由于SNBSI使用马赛克阵元排列的二维点阵式微滤镜, 与贝尔格式颜色滤波阵列具有一定的相似性, 因此提出基于贝尔滤镜阵列的图像插值算法来还原SNBSI色彩信息。 其处理思想为: 首先将SNBSI接近红绿蓝的光谱图像看作贝尔颜色滤波阵列中的RGB三通道图像, 获得一幅类似于马赛克图像的融合图, 如图1所示。 然后通过插值算法分别计算出在每一个N_R像素位置的绿色和蓝色通道灰度值。 类似地在, N_G/B像素位置计算出该处没有采集到的R& B/R& G通道图像灰度值。

图1 从SNBSI光谱图像中选取近R/G/B的三个波段N_R, N_G, N_B排列成贝尔模式, 形成彩色图融合模板图Fig.1 From the SNBSI images, select three bands N_R, N_G, and N_B that are closet to red, green, andblue, respectively, and arrange them into Bayer filter array pattern

1.3 调整近自然彩色图像偏色方法

通过色彩还原算法获得的近自然彩色图像有时会出现图像的R, G和B三基色“ 不平衡” 的现象, 需采用色差校正方法来消除。 提出一种基于图像块色彩信息的灰度世界法。 算法思想为: 首先将图像分成20× 20像素点的图像块, 并计算每图像块色彩丰富度的参数: R, G和B的均值 R̅, G̅, B̅及标准差SR, SG和SB。 其次, 根据式(11)计算分为mn块后第i行、 j列处图像块与其相邻图像块之间的相关性hij

hij=|SRij-SRi+1j|+|SRij-SRij+1|+|SGij-SGi+1j|+|SRij+SRi+1j|+|SRij+SRi+1j|+|SGij+SGi+1j|+|SGij-SGij+1|+|SBij-SBi+1j|+|SBij-SBij+1||SGij+SGij+1|+|SBij+SBi+1j|+|SBij+SBij+1|Hij=1hijφ0else(11)

式中SRij是图像块的标准差, Hij的值是对图像块之间的相关性进行二值化标记, φ 是控制阈值。 第三步, 根据公式(12)计算色彩丰富且相关性大的图像块R, G和B分量的加权平均值

Ravg=i=1mj=1n(hij×R̅ij)/i=1mj=1nhijGavg=i=1mj=1n(hij×G̅ij)/i=1mj=1nhijBavg=i=1mj=1n(hij×B̅ij)/i=1mj=1nhij(12)

第四步, 利用式(13)计算RGB三色的增益系数

GainR=(Ravg+Gavg+Bavg)/3RavgGainG=(Ravg+Gavg+Bavg)/3GavgGainB=(Ravg+Gavg+Bavg)/3Bavg(13)

第五步, 根据式(14)对图像进行色差校正(对于灰度值大于255的, 将其赋值为255), R', G'B'分别为校正后的红、 绿、 蓝分量图像。

R'=GainR×RG'=GainG×GB'=GainB×B(14)

2 结果与讨论

使用四波段微型快照式窄带多光谱相机(宁波五维检测科技有限公司)分别对(a)植物、 (b)人体手背、 (c)宫颈组织等不同种类物体, 实现每次曝光零时差获取像素与像素自动对准的窄带四波段: (415± 10), (450± 10), (525± 10)和(620± 10) nm二维窄带光谱图像。 这四幅零时差获得的窄带光谱图像仅仅覆盖了80 nm范围, 占可见光400~700 nm波段范围的30%左右, 具有超过70%的可见光谱波段信息丢失。

2.1 两种方法还原SNBI色彩

分别使用基于CIE方法的公式[式(4)— 式(7)]及基于贝尔阵列格式插值算法, 对窄带620, 525和450 nm(舍弃415波段)光谱图像还原。 两种方法还原结果分别如图2(a, b, c)及图3(a, b, c)所示。

图2 基于CIE三刺激色法对(a)植物, (b)手臂, (c)宫颈组织对SNBSI光谱图像色彩还原结果Fig.2 Color recovery results by the modified CIE three primary color based recovery method from SNBI images of (a) plant, (b) forearm, and (c) cervical tissue

图3 使用贝尔格式插值法对(a)植物、 (b)手臂、 (c)宫颈组织相应的SNBI光谱图像色彩还原结果Fig.3 Color recovery results by the modified Bayer-filter-array pattern based interpolation from SNBI images of (a) plant, (b) forearm, and (c) cervical tissue

2.2 两种色彩还原算法定量比较结果

常用来定量评价彩色图像质量好坏的指标包括均值 x̅、 标准差 s̅、 信息熵 h̅、 平均梯度 g̅四种。 均值直接影响还原出的彩色图像的色调[16], 标准差 s̅反映图像灰度值的离散程度, 其值越大表示不同物体之间的差别越大, 信息熵衡量图像所含信息的丰富度, 信息熵值越大, 说明图像信息越丰富。 平均梯度反映图像纹理变化的特征, 梯度值越大, 图像越清晰[14]。 通过分别计算两种还原方法所得的彩图三通道图像的均值、 标准差、 信息熵、 平均梯度来评价色彩还原方法的有效性, 计算结果如表1所示。 基于CIE三刺激色还原方法的图像质量都高于基于贝尔插值法的结果。 因此选用基于CIE三刺激色还原方法来还原SNBSI 图像色彩。

表1 两种色彩还原方法效果比较 Table 1 Effectiveness comparison between the two color recovery methods applied
2.3 色差校正结果

使用基于图像块色彩信息的白平衡算法对基于CIE三刺激色的彩色还原方法所得的彩色图像进行色差校正, 校正前后对比图像如图4所示, 色差比较结果如表2所示。 通过分析图4(a1, a2, b1, b2, c1, c2)及表2, 校正后图像逼近目标真实色彩。

图4 色差校正前后对比图
(a1), (b1), (c1)为校正前的; (a2), (b2), (c2)为校正后的植物, 手臂, 及宫颈组织
Fig.4 Comparison of color correction result
Before correction (a1), (b1), (c1) and after correction (a2), (b2), (c2) of a plant, forearm, and cervical tissues

表2 色差校正前后平均色差比较 Table 2 Mean color aberration comparison between before and after the application of the color correction algorithm
3 结论

提出基于CIE三刺激色及基于贝尔格式插值法两种窄带多光谱图像色彩还原方法, 并分别使用两种色彩还原方法对四波段SNBSI相机对具有代表性的目标如植物、 手臂及宫颈组织所获得的窄带图像进行近彩色还原。 通过对两种方法所还原彩色图像的均值、 标准差、 熵及梯度等质量指标进行比较, 表明基于CIE三刺激色的还原方法更适合SNBSI技术彩色还原, 与定性比较图1和图2结果一致。 在基于CIE三刺激值色彩还原基础之上, 提出一种基于图像块色彩信息的白平衡色差校正算法, 使从SNSBI窄带图像还原出的彩色图像的色彩与物体的真实颜色更相近, 整体效果较好, 实现由多光谱灰度图像至近自然彩色图像的还原。

针对快照式窄带多光谱成像方法因光谱分辨所追求的“ 窄带光谱” 与颜色还原所需的“ 宽光谱” 之间所存在的矛盾问题, 提出了一种从窄带光谱图像实现颜色还原的方法。 联合使用基于CIE三刺激值及改进灰度世界颜色校正算法, 使快照式窄带多光谱成像既具有光谱分辨能力, 同时保持供人主观辨识的色彩信息。 由此提出了一种新型快照式窄带多光谱彩色成像概念及方法。

真实色彩的还原一直是有待彻底解决的研究课题。 与传统彩色相机的RGB颜色通道图像彼此混杂重叠不同, 快照式窄带多光谱成像不同光谱波段在光谱空间彼此不重叠, 光谱信息彼此独立, 有可能采用多通道快照式窄带多光谱成像获得比RGB相机更真实的颜色。 针对如何实现真实色彩的定量获取及辨识, 可以进一步开展, 窄带多光谱波段的选择优化, 及对应的色彩还原方法的探索。

参考文献
[1] Shen Y, Lei Y U, Jiexiang C. Acta Photonica Sinica, 2018, 47(8): 822003. [本文引用:1]
[2] Ren D D W, Tripathi S. Journal of Applied Remote Sensing, 2017, 11: 016006. [本文引用:1]
[3] Zapata F, Lópezlópez M, Amigo J M. Multi-Spectral Imaging for the Estimation of Shooting Distances, 2018, 282: 80. [本文引用:1]
[4] Estelleslopez L, Ropodi A, Pavlidis, et al. Food Research International, 2017, 99(1): 206. [本文引用:1]
[5] Valm A M, Cohen S, Legant W R, et al. Nature, 2017, 546: 162. [本文引用:1]
[6] Yi Dingrong, Wang Chao, Qi Hairong. IEEE Transactions on Biomedical Engineering, 2011, 58(3): 736. [本文引用:2]
[7] YI Ding-rong, KONG Ling-hua, LIU Ting(易定容, 孔令华, 刘婷). Infrared and Laser Engineering(红外与激光工程), 2017, 46(7): 256. [本文引用:1]
[8] Zhang C M, Wu H, Li J. Optical Engineering, 2011, 50(6): 0600201. [本文引用:2]
[9] WANG Xin-quan, XIANGLI Bin, HUANG Min(王新全, 相里斌, 黄旻). Journal of Optoelectronics·Laser(光电子·激光), 2011, 5(3): 689. [本文引用:1]
[10] ZHANG Yu, ZHU Shuai-shuai, ZHAO Liang-yu(张宇, 朱帅帅, 赵梁玉). Journal of Harbin Institute of Technology(哈尔滨工业大学学报), 2017, 49(3): 29. [本文引用:3]
[11] Kong L, Yi D, Sprigle S, et al. Journal of Biomedical Optics, 2010, 15(1): 502. [本文引用:1]
[12] HUANG Hong-lian, YI Wei-ning, DU Li-li(黄红莲, 易维宁, 杜丽丽). Infrared and Laser Engineering(红外与激光工程), 2016, 45(11): 354. [本文引用:1]
[13] Xiao-kai, LI Chuan-rong, MA Ling-ling(吕晓凯, 李传荣, 马灵玲). Remote Sensing Technology and Application(遥感技术与应用), 2013, 28(3): 467. [本文引用:2]
[14] HE Song-hua, LIU Zhen, CHEN Qiao(何颂华, 刘真, 陈桥). Acta Optical Sinica(光学学报), 2014, 34: 325. [本文引用:2]
[15] WANG Jia-jia, LIAO Ning-fang, WU Wen-min, et al(王佳佳, 廖宁放, 吴文敏, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2017, 37(3): 704. [本文引用:1]
[16] XU Hui-xi, CHEN Yun-hao, XUE Wan-rong(许辉熙, 陈云浩, 薛万蓉). Laser and Optoelectronics Progress(激光与光电子学进展), 2015, 52(5): 77. [本文引用:2]