实现人体组织RGB图像的漫反射光谱重建, 首先需要明确低维RGB图像与高维高光谱图像关系。 工业相机所拍摄的手部三色图像中的某点(x, y)的光谱与高光谱图像中该点的光谱有如式(1)关系

r(x, y)3×1=S3×Nt(x, y)N×1(1)

式(1)中, r(x, y)_{3× 1}代表了该点R、 G、 B三通道的颜色强度值, r(x, y)_{3× 1}=[I(R), I(G), I(B)]; S是一个3× N矩阵, 它来自于三色传感器的光谱响应; t(x, y)_{N× 1}是光谱反射强度随波长变化的N× 1向量, 其中N代表了高维反射光谱的离散光谱通道数。 因此, 由R, G, B三通道获取N个光谱通道反射光谱的过程可以用如式(2)模型表述

t(x, y)N×1=XN×3r(x, y)3×1(2)

式(2)中, X_{N× 3}=(S_{3× N})^-1。

基于上述分析可知, 只要求得变换矩阵X_{N× 3}, 就可以实现RGB到高光谱图像的转化, 但X的求解是一个欠定问题, 即一组RGB值对应多组可能的光谱数据。 同时不同光谱成分和不同光线入射角度的变化, 使得从RGB三通道值计算反射光谱成为一个十分困难的问题。 深度学习方法以良好的表达能力和较强的泛化能力, 在高光谱重建的求解上表现出更好的性能。 具体而言, 深度学习方法通过采集大量RGB—高光谱数据对的集合, 将该欠定方程转换为可通过回归方法求解的超定问题, 即

TN×m=XN×3R3×m(3)

式(3)中, T_{N× m}和R_{3× m}是通过将m个不同测量值t_{N× 1}和r_{3× 1}(即训练数据集)叠加而成。 通过训练神经网络模型求解该映射关系, 即可从新的RGB信号r中预测出其对应的皮肤漫反射光谱t。

HRNet(hierarchical regression network)模型是一个4层分层回归网络^[12], 其中像素混合层作为层间交互。 采用剩余密集块去除真实世界RGB图像的伪影, 并采用剩余全局块建立注意机制来扩大感知场, 可被用于室外大场景可见光波段数据集的RGB图像光谱重建。 而皮肤组织的光谱特性有别于室外可见光场景, 重建的光谱模型在皮肤发色团的特征光谱区域需要具备更高的精确度才能基于重建光谱实现生理参数的准确检测。 因此, 适用于人体皮肤组织的模型建立是更为复杂的。 本工作基于HRNet模型采集并处理得到了适合于非接触成像评估StO₂的皮肤组织RGB-HSI数据集, 训练了新的重建模型。

为了评估整个数据集的测量反射光谱和重建反射光谱之间的相似性, 使用拟合良好度指标平均绝对误差(mean absolute error, MAE)和均方误差(root mean square error, RMSE)来评价重建模型的性能:

MAE是计算生成的光谱图像Y_r和真值Y_gt的所有光谱通道之间的平均绝对值误差, 表示网络的构造质量。

MAE=1N∑i=1N|Ygt-Yr|(4)

式(4)中, N表示光谱图像的不同光谱通道数。 在此N取31。

RMSE是真值和重建光谱图像在N个光谱通道之间的均方根误差。

RMSE=1N∑i=1N(Ygt-Yr)2(5)

从重建后的高光谱图像中提取StO₂信息, 现有的方法主要有蒙特卡洛仿真^[13]、 高斯叠加^[4]、 模糊聚类^[14]、 最小二乘^[15]等, 本研究中采用了基于朗伯比尔模型的最小二乘算法, 该方法相对于其他StO₂评估方法, 处理高光谱数据的计算量较小且限制条件较少, 适用场景广泛, 被较多用于StO₂的非接触监测^{[15, 16]}。 朗伯比尔定律如式(6)所示

A=εceff(6)

式(6)中, ε 是材料的摩尔消光系数(cm^-1· mol^-1· L^-1), c_eff是吸收剂的有效浓度(10^-3 mol· cm^-2), 代表每单位面积吸收剂的摩尔浓度。 可见光至近红外范围内(400~1 000 nm), 人体皮肤组织的主要发色团有脱氧血红蛋白、 含氧血红蛋白、 黑色素。 故式(6)展开为

A=εHbCHb+εHbO2cHbO2+εmelanincmelanin(7)

由于光子在被散射到非均匀人体组织内的不同路径中其中一些光子在多次散射后丢失, 只留下一小部分光子沿着路径被探测器收集。 因此基于改进的朗伯比尔定律, 则吸光度A被进一步表达为

A=εHbcHb+εHbO2cHbO2+εmelanincmelanin+G(8)

本工作中, 高光谱相机采集的各个波长对应的含氧血红蛋白、 脱氧血红蛋白和黑色素的摩尔消光系数ε _Hb, εHbO2, ε _melanin均来自之前研究者测量的标准数据^{[17, 18]}经过插值后得到。 G是由于散射而损失的光子部分, 是一个常数, 与波长无关。 每一像素点中各个波长的吸光度A(x, y, λ )由高光谱相机测得

A(x, y, λ)=ln1R(x, y, λ)=-log10It(x, y, λ)-B(x, y, λ)Ic(x, y, λ)-B(x, y, λ)(9)

式(9)中, R_{(x, y, λ )}是被测组织在实验照明系统下的反射光谱, I_t(x, y, λ )是被测组织在实验照明系统下的高光谱图像, B(x, y, λ )是镜头完全关闭下的高光谱图像(黑板), I_c(x, y, λ )是标准反射率白板在实验照明系统下的高光谱图像, 其在250~2 500 nm的光谱范围内反射率为0.98, x和y是像素坐标, λ 是波长。 高光谱图像都是以14-bit数据超立方体的形式存储。

通过使用最小二乘法(the least mean squares method)解等式(6)从而得到各发色团的有效浓度c_eff和常数G

cmod=(E'E)-1E'A(10)

式(10)中, c_mod是一个模拟的有效浓度矩阵, 包括发色团的有效浓度(c_Hb、 cHbO2、 c_melanin)和散射常数(G), E是摩尔消光系数矩阵, A是高光谱相机得到对应的各个光谱通道下的吸光度集合。 StO₂最终由式(11)计算得出

StO2=cHbO2cHbO2+cHb×100%(11)

综上所述, 我们提出的基于RGB图像高光谱重建的StO₂评估方法流程如图1所示。 利用高光谱相机与可见光相机, 通过手指不同固紧时长下的固紧实验获得不同血氧状态下的RGB-HSI数据对, 将其作为数据集。 构建基于深度学习的RGB到皮肤反射光谱的重建模型, 进而获得皮肤漫反射光谱。 然后通过改进的朗伯比尔模型最终获得区域StO₂空间分布图。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 基于RGB图像高光谱重建的StO2评估方法流程图Fig.1 Flow chart of StO2 assessment method based on hyperspectral reconstruction from RGB images

图2展示了整个RGB-HSI双成像实验装置示意图以及实物图。 卤素灯光源照射至受试者手部, 经手部漫反射后的光由高光谱仪(Gaiafield Pro-V10中国双利合谱)与普通工业相机(BFLY-U3-23S6C-C, FLIR)同时采集, 采集到的数据经数据线传送至计算机(personal computer, PC)进行处理。 其中高光谱相机的光谱分辨率为3.5 nm, 扫描速度为15 s· cube^-1, 有效光谱通道数为360个, 光谱波长范围387~999 nm。

图2

Fig.2

Figure Option ViewDownloadNew Window

图2 (a) 获取高光谱和RGB图像数据的双成像系统示意图; (b) 获取高光谱和RGB图像数据的双成像系统实物图, 它包括一个实验台、 RGB-HSI双成像装置、 一台PC机、 一个朝着拍摄区域照亮场景的卤素灯Fig.2 (a) Schematic of a dual-imaging system for acquiring hyperspectral and RGB image data; (b) a physical image of a dual-imaging system for acquiring hyperspectral and RGB image data, including a test bed, an RGB-HSI dual-imaging device, a PC, and a halogen lamp to illuminate the scene toward the shooting area

实验中, 采集了49名健康受试者的高光谱图像, 其中男性28名, 女性21名, 年龄在20~30岁之间。 受试者均为亚洲人, 可忽略肤色差异。 实验中, 高光谱相机与可见光相机置于离受试部位30 cm处。 受试者被要求尽量保持受试部位(手部)静止, 同时, 采用卤素灯作为探测光源。 每位受试者均采集受试部位、 白板及镜头关闭后黑板的高光谱图像。

我们采用橡皮筋固紧手指的方式, 通过固紧时长来控制手指的含氧量, 以获得不同含氧状态下的图像数据, 拓展数据集中StO₂含量的多样性, 提高模型的泛化能力。 具体为在食指第一指关节部位捆绑橡皮筋以切断静脉回流。 对于中指, 将橡皮筋通过向下挤血的动作使之固紧在中指第三指关节部位。 其他手指则不做操作用作健康的参考手指。 共采集了49位受试者处于4种不同状态下(正常状态、 固紧30 s, 固紧90 s, 固紧150 s)共188组手部高光谱和RGB图像有效实验数据。 该实验方案符合相关伦理规程, 并经过北京理工大学医学和实验动物医学伦理委员会批准, 批准代码为2021-004。

2.2.1 高光谱图像预处理

高光谱相机采集到387~999 nm数据光谱, 含360个光谱通道, 数据量较大, 这将为神经网络模型的训练带来巨大的运算量, 且原始光谱中噪声较多。 为降低数据冗余度并减小运算量便于后续重建, 在考虑原有发色团光谱特征的基础上, 对原始高光谱数据进行降采样, 最终降维获得该波段范围内的123个光谱通道数据。 针对图像中椒盐噪声较多的问题, 我们采用了3× 3模板的中值滤波器对高光谱图像进行滤波。

在理论与方法一节中提到, 基于改进朗伯比尔模型以及最小二乘法拟合来从高光谱数据中提取StO₂信息。 为此选择一个合适的波段子集尤为重要, 不同的波段子集会对最小二乘法的拟合影响较大。 已有研究结果表明, 脱氧血红蛋白(deoxyhemoglobin)与含氧血红蛋白(oxyhemoglobin)两个发色团有不同的光谱吸收特征, 两者的标准消光系数曲线存在差异, 这一差异在500~600 nm波段最为明显, 如图3(a)所示。 本工作通过手指捆绑实验验证了这点, 如图3(b)为实验中食指第一指关节与中指第三指关节通过捆绑产生缺氧状态、 其余指为正常状态下的可见光图片。 鉴于活体皮肤漫反射光谱受脱氧血红蛋白、 含氧血红蛋白发色团的调制, 正常状态与缺氧状态下的漫反射光谱存在差异。 如图3(c)分别对应图3(b)中A、 B、 C三点的反射光谱。 正常手指A(normal)处组织含氧量较高, 其500~600 nm的反射光谱特征与含氧血红蛋白的吸收光谱特对应, 存在明显的“ W” 峰, 如图3(c)中红色曲线。 缺氧指B(abnormal1)、 C(abnormal2)处组织含氧量较低, 其500~600 nm的反射光谱与脱氧血红蛋白的吸收光谱特征相对应, 无明显“ W” 峰, 如图3(c)中蓝、 绿色曲线所示。

图3

Fig.3

Figure Option ViewDownloadNew Window

图3 (a) 脱氧血红蛋白(deoxyhemoglobin)和含氧血红蛋白(oxyhemoglobin)的标准消光系数曲线[19]; (b) 手部可见光图片(食指第一指关节与中指第三指关节通过固紧产生缺氧, 其余指正常); (c) 图3(b)中A、 B、 C三点对应的皮肤漫反射光谱Fig.3 (a) Standard extinction coefficient curves of deoxyhemoglobin and oxyhemoglobin [19]; (b) visible-light pictures of the hand (the first finger joint of the index finger and the third finger joint of the middle finger are hypoxic by fastening, and the other three fingers are normal) ; (c) the skin diffuse reflectance spectra of the parts A, B and C at fingers as shown in Fig.3(b)

基于脱氧血红蛋白、 含氧血红蛋白的特征反射光谱在500~600 nm这一事实, 为了尽可能包含更多皮肤组织光谱信息, 同时考虑到450 nm以下的光可能无法穿透皮肤组织足够深以到达血管, 而600 nm以上皮肤组织的光反射率急剧上升[如图3(c)], 在这个波段提取血氧浓度信息对实际测量精度要求较高, 因此选择450~600 nm波段(含31个光谱通道)作为重建波段实现StO₂的评估, 即可减小模型拟合的误差, 同时有效减少数据量, 提高重建速度。

将高光谱相机采集获得的不同含氧状态下的手部高光谱图像, 利用改进的朗伯比尔模型, 可以生成该波段下(450~600 nm)的StO₂空间分布图。 图4为正常状态(normal hand)以及不同固紧时长状态下的手部RGB图像[图4(a)]及利用高光谱图像生成的StO₂空间分布图[图4(b)]。 从图中可以明显看出随着捆绑时间的增加, 被束缚手指部位StO₂值逐渐下降, 其最终缺氧状态值接近经验估计值(30%左右), 其余正常手指部位含氧量正常(90%以上), 该实验表明, 证明了本文选取的450~600 nm波段下高光谱图像可有效评估StO₂。

图4

Fig.4

Figure Option ViewDownloadNew Window

图4 (a) 普通相机采集的正常状态以及橡皮筋勒紧手指30、 90、 150 s的手部RGB图像; (b) 高光谱相机装置同时采集的同一位置的手部高光谱数据在450~600 nm波段下生成的StO2空间分布图 2.2.2 模型实施及训练Fig.4 (a) RGB images of fingers being normal state and fastened by rubber strings for 30 seconds, 90 seconds and 150 seconds; (b) spatial distribution maps of StO2 in the 450~600 nm band generated from hand hyperspectral data taken simultaneously by the hyperspectral camera device at the same time

共采集了188组手部高光谱和RGB图像有效数据。 为避免背景区域对皮肤区域重建效果的影响, 通过阈值处理的方法对图像进行预处理去除背景噪声。 同时, 为了减少网络的过拟合, 得到泛化能力更强的网络, 进行了数据集增广, 通过在空间上对RGB和高光谱图像分别进行镜面、 旋转90° 以及镜面组合旋转90° 的三种空间处理方式来扩充数据集, 将数据集扩展到原来四倍。 将获得的188× 4=752组RGB-HSI数据对随机划分训练集和测试集, 其中训练集含有720组样本, 测试集含有32组样本, 每组样本含有一张RGB图像和与其区域对应的31个光谱通道的高光谱图像。

在神经网络的训练配置上设置batchsize为16, 初始学习率0.000 1, epoch=3 000, 学习率衰减系数为0.5, 每1 000轮衰减一次。 该模型在Pytorh中实现, 并在4个具有12 GB内存的NVIDIA TITAN GPU上进行训练。

首先对总体高光谱重建模型进行了验证分析, 对测试集中的32组测试集样本进行了评估。 32组样本的平均MAE为0.009 38, 平均RMSE为0.014 81。

之后对重建特征点的光谱细节进行了评估。 如图5所示, 其中图5(a)为测试集中某一组样本的RGB图片, 其中食指第一指关节与中指第三指关节通过捆绑产生缺氧状态、 其余指为正常状态。 图5(b)为选择手部3个手指对应了3个不同含氧状态的位置(A, B 和C)的重建反射光谱(Reconstruction), 与3点真值的反射光谱(ground truth, GT)进行比较。 两者在数值和趋势上都大致相同, 从图5(b)中可以看出, 蓝色对应区域的重建光谱整体有少量偏移, 主要原因是这一区域亮度较高, 而重建模型对于光强整体亮度的变化并不敏感所致, 这在今后的重建模型中有待改进。

图5

Fig.5

Figure Option ViewDownloadNew Window

图5 (a) 食指第一指关节与中指第三指关节通过捆绑产生缺氧状态、 其余指为正常状态下的手部可见光图片; (b) 选择手部不同手指对应不同含氧状态的三点的重建反射光谱(Reconstruction)以及真值的反射光谱(GT)进行比较(450~600 nm)Fig.5 (a) The visible light image of a hand in the test set. It shows the first knuckle of index finger and the third knuckle of middle finger being hypoxia by fastening and other three fingers being normal; (b) Reconstructed reflectance spectra of three parts of hand with different levels of oxygen in blood and their measured reflectance spectra (GT) for comparison (450~600 nm)

为进一步说明重建光谱准确性, 对三个不同位置(position)点的重建光谱与真实光谱之间的MAE和相关系数(correlation coefficient)做了评估, 如表1所示, 可知两者在相关性(相关系数)与数值(MAE)上都十分接近, 验证了模型的可靠性。

表1

Table 1

表1(Table 1)

表1 根据图5(a)中(A、 B、 C)三个位置处重建光谱与真实光谱数据计算得到的两者之间的MAE和相关系数 Table 1 MAE and correlation coefficients between the reconstructed spectra and the real spectra at the three positions (A, Band C) in Fig.5(a) are calculated Postion MAE Correlation coefficient A 0.001 34 0.998 27 B 0.006 88 0.997 51 C 0.001 28 0.997 46

表1 根据图5(a)中(A、 B、 C)三个位置处重建光谱与真实光谱数据计算得到的两者之间的MAE和相关系数 Table 1 MAE and correlation coefficients between the reconstructed spectra and the real spectra at the three positions (A, Band C) in Fig.5(a) are calculated

在评估两种成像装置生成的StO₂空间分布图之前, 首先分别对脱氧血红蛋白和含氧血红蛋白的重建进行了评估, 图6为由高光谱数据直接得到与RGB数据重建后得到的脱氧血红蛋白含量分布图(deoxyhemoglobin map)以及含氧血红蛋白含量分布图(oxyhemoglobin map)。 由图6(a)高光谱图像直接得出的脱氧血红蛋白以及含氧血红蛋白含量分布中可以看出, 食指上部由于橡皮筋阻止了血液流动造成了血瘀和组织高吸氧, 这使得局部区域脱氧血红蛋白含量大幅上升(0~0.5之间), 含氧血红蛋白含量降低(0~0.4之间), 整体血氧饱和度降低。 而中指固紧150秒后, 脱氧血红蛋白含量有少量增加(0~0.3之间), 含氧血红蛋白含量则几乎完全消耗殆尽。 这是由于将血液排空并阻断静脉回流。 但考虑到实验中用橡皮筋并未能完全排空血液加之局部氧合现象导致该区域脱氧血红蛋白含量略有增加。 而这些现象在图6(b)由RGB重建图像得到的脱氧血红蛋白、 含氧血红蛋白含量分布中也有明显体现。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 (a) 来自高光谱数据的脱氧血红蛋白、 含氧血红蛋白含量分布图; (b) RGB图像光谱重建后生成脱氧血红蛋白、 含氧血红蛋白含量分布图Fig.6 (a) Distributions of deoxyhemoglobin and oxyhemoglobin content from hyperspectral data; (b) RGB image was reconstructed to produce the distributions of deoxyhemoglobin and oxyhemoglobin content

在此基础上, 对比分析了RGB重建高光谱图像与直接采集到的高光谱图像生成的StO₂空间分布图。 图7为某一受试者手部在正常状态、 捆绑30 s、 捆绑90 s、 捆绑150 s下, 原始RGB图像[图7(a)]、 直接采集的高光谱图像生成的StO₂含量分布图[图7(b)]与经过RGB图像高光谱重建后生成的StO₂含量分布图[图7(c)]。 对比图7(b)与图7(c)可以发现, RGB图像与高光谱图像获得的StO₂图一致, StO₂随捆绑时间变长而降低。

图7

Fig.7

Figure Option ViewDownloadNew Window

图7 某一受试者手部在正常状态、 捆绑30 s、 捆绑90 s、 捆绑150 s下的RGB图像和StO2空间分布图 (a): RGB相机拍摄到的图像; (b): 由高光谱数据得到的StO2空间分布图; (c): RGB图像光谱重建后生成的StO2空间分布图Fig.7 RGB images and StO2 spatial distributions of a subject’ s hand in normal state, fastened for 30 seconds, 90 seconds and 150 seconds (a): Image taken by an RGB camera; (b): StO2 spatial distribution map from hyperspectral data; (c): StO2 spatial distribution map based on spectral reconstruction of RGB image

同时, 通过计算32组测试样本的StO₂空间分布图的二维相关系数(2D correlation coefficient)对二者的相似性进行了定量评估, 其结果如图8所示, 图中横坐标表示二维相关系数区间, 纵坐标表示该区间下的样本数。 从图中可以看出样本重建均处于可靠范围内(大于94%)。 上述结果表明了本文提出的基于可见光重建的StO₂评估方法具有较高的准确性。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 针对测试集(32组手部RGB-HSI数据对)中原始高光谱图像生成的StO2空间分布图与RGB重建高光谱图像生成的StO2空间分布图的二维相关系数直方图Fig.8 The two-dimensional correlation coefficient histogram of StO2 spatial distribution map generated from original hyperspectral images in the test set (32 sets of hand RGB-HSI data pairs) and the StO2 spatial distribution map generated from RGB reconstructed hyperspectral images