多谱段短波红外小鼠静脉荧光观测成像研究
张瑞1,2,3, 汤心溢1,2, 朱雯青1,2,3
1.中国科学院大学, 北京 100049
2.中国科学院上海技术物理研究所, 上海 200083
3.中国科学院红外探测与成像技术重点实验室, 北京 100049

作者简介: 张 瑞, 1991年生, 中国科学院大学博士研究生 e-mail: 1546853078@qq.com

摘要

短波红外(short-wave infrared, SWIR)一般指900~1 700 nm的光波段, 是肉眼不可见的光波段, 这种波段目前主流的探测器以InGaAs为主, 主要用于军事、 生物以及材料光谱分析等领域。 短波红外荧光成像以其对生物组织光学损伤小、 成像深度大、 成像信噪比高、 空间和时间成像分辨率高等特点, 使得基于InGaAs探测器的生物光学成像成为生物组织观测领域的研究焦点。 生物光学窗口的多窗口宽谱段的荧光光谱特性, 使得可以对生物组织采集多谱段的光谱图像, 以此来观察生物组织的在不同光谱照明下的结构特性。 针对生物光学窗口的光谱特性, 设计了一种基于InGaAs探测器的多谱段的小鼠静脉成像系统, 可以无接触采集小鼠静脉红外光谱图像, 对测小鼠的静脉红外光谱。 设计的基于InGaAs探测器的短波红外探测器, 可以实现最高5 000 ms的积分时间; 积分时间的延长, 显著地提升了静脉成像的信噪比, 同时其光谱响应特性很好的覆盖了第二生物光学窗口以及第三生物光学窗口。 针对光学显微特性的成像特点以及静脉组织在图像中的特征表达, 设计了一种新型的单光谱多焦距融合算法, 可以很好的实现静脉图像的红外光谱观测。 提出了一种基于多尺度梯度域引导滤波(gradient domain guidedfilter, GDGF)多焦距融合算法, 来补偿显微特性的成像缺陷。 通过多尺度梯度域引导滤波算法, 实现对显微对焦区域的提取, 进而实现对融合决策函数的计算, 最后再通过梯度域引导滤波将得到的融合决策函数精细化处理最终得到我们的融合算法的最终决策融合函数。 实验表明, 设计的InGaAs短波红外探测器很好的满足了对小鼠静脉荧光光谱成像的需求, 分别实现了针对小鼠静脉的1 100, 1 250和1 350 nm等多个波段的光谱成像, 以及在同一激光照明下实现多个焦距下的光谱成像。 同时设计的融合算法很好的提取了小鼠静脉图像的对焦区域, 在将多焦距图像融合的同时又减少了噪声的引入, 实现了高质量全局静脉成像。

关键词: 光谱成像; 梯度域导向滤波; 对焦像素检测; 静脉荧光光谱; 短波红外光谱; 光学穿透深度
中图分类号:O433.5+4 文献标志码:A
Research on Shortwave Infrared Multispectral Fluorescence Imaging of Mouse Vein
ZHANG Rui1,2,3, TANG Xin-yi1,2, ZHU Wen-qing1,2,3
1. University of Chinese Academy of Sciences, Beijing 100049, China
2. Shanghai Institute of Technical Physics, Chinese Academy of Sciences, Shanghai 200083, China
3. Chinese Academy of Sciences Key Laboratory of Infrared System Detection and Imaging Technology, Beijing 100049, China
Abstract

Short-wave infrared (referred to as SWIR) generally refers to the 9001 700 nm light band, which is invisible to the naked eye. This band’s mainstream detectors are InGaAs, which are mainly used for military, biological, biological and material spectral analysis. In the field of biological tissue observation, short-wave infrared fluorescence imaging is characterized by small optical damage to biological tissues, large imaging depth, high imaging signal-to-noise ratio, and high spatial and temporal imaging resolution, making bio-optical imaging based on InGaAs detectors biological Organize research focus in the field of observation. The bio-optical window’s multi-window and wide-spectrum fluorescence spectrum characteristics allow us to collect multi-spectrum spectral images of biological tissues to observe the structural characteristics of biological tissues under different spectral illuminations, which further facilitates scientific knowledge research. In this paper, a multi-spectral imaging system of mouse vein based on InGaAs detector was designed for the spectral characteristics of the bio-optical window, which can collect the vein images of mice without contact and help observe the infrared spectrum of mouse veins. The system based on the InGaAs detector we designed can achieve an integration time of up to 5 000 ms. By extending the integration time, the signal-to-noise ratio of vein imaging is significantly improved, and the detector spectral response characteristics cover the second bio-optical window and a third bio-optical window. From the imaging characteristics of optical microscopy and the characteristic expression of vein tissue in the image, a new single-spectrum multi-focal fusion algorithm is designed to which can well realize the infrared spectrum observation of vein images. This paper proposes a novel multi-focus fusion algorithm based on a multi-scale gradient domain guided filter (GDGF) to compensate for the imaging defects of microscopic characteristics. The multi-scale gradient domain guided filter algorithm extracts the focus pixel region, and then the fusion decision function is calculated. Finally, the fusion decision function is definedby the gradient domain guided filter algorithm, and finally, the final decision fusion function of our fusion algorithm is obtained. Experiments show that the short-wave infrared InGaAs detector designed by us well meets the requirements of fluorescence imaging of mouse veins and achieves spectral imaging of multiple bands including 1 100, 1 250 and 1 350 nm for mouse veins, as well as spectral imaging in multi-focus with the same laser illumination. Meanwhile, the fusion algorithm we designed can well extract the focusing area of the mouse vein image, which can fuse the multi-focus image and reduce the introduction of noise at the same time, thus achieving high-quality global vein imaging.

Keyword: Spectral imaging; GDGF; Focus pixel region measure; Fluorescent spectroscopy of vein; Spectrum of short wave infrared; Optical penetration depth
引言

生物光学窗口是我们根据生物组织对不同波段的光穿透能力的不同而定义的有利于生物组织进行光学成像的光学窗口。 根据光在生物组织中的衰减长度与波长之间的关系, 一般地, 我们定义第一生物光学窗口为700~900 nm的光波段, 定义第二生物光学窗口为1 000~1 400 nm的光波段, 定义第三生物光学窗口为1 500~1 700 nm的光波段。 在这三个光学窗口中, 光在生物组织中的衰减长度都比较大, 穿透生物组织的能力也比较强。

InGaAs短波红外探测器响应范围很好的覆盖了从900~1 700 nm的波段, 精准的包含了第二和第三生物光学窗口。 在生物组织成像应用中短波红外具有以下的成像优势: 生物组织光学损伤小, 成像深度大, 成像信噪比高, 空间和时间成像分辨率高。 根据这些特点配合适当的光学系统, 可以实现针对小鼠静脉的显微短波红外光谱观测。

由于显微成像的对焦区域集中的特点, 使得小鼠静脉荧光光谱反馈在单张图像信息较少, 因此我们设计了一种新颖的融合算法。 融合算法在图像领域有了很好的发展。 主要分为两大类, 一类是基于深度学习的方法, 另一类也是本工作引入的传统算法。 基于深度学习的方法, 需要大量的数据集, 这一点在文献11中有了很好的表述, 而基于传统算法的融合则可以盲设计。 在传统算法中GF为基于梯度滤波的融合算法, 其鲁棒性差, 且对细节保持较弱。 NSCT[1]算法则会在平滑区域引入噪声, MFMGRW[2]、 PCA[3]以及基于小波变换的融合算法fusedDctVar[4]、 fusedDctVarCv[5]除了会在平滑区域引入噪声之外, 其在对焦区域检测也缺失鲁棒性。

针对短波红外生物观测的特点, 设计了一种基于InGaAs探测器的红外小鼠静脉成像实验, 设计了一种高时空分辨率的短波红外光谱生物探测系统, 同时针对显微成像的特点, 提出了一种多尺度梯度域引导滤波的多焦距融合算法, 很好的实现了对小鼠静脉的观测。

1 短波红外光谱成像

设计的InGaAs短波红外探测系统样机如图1(a)所示, 其结构原理如图1(b)所示。 我们设计的短波相机最大分辨率达到640× 512, 其积分时间最大可以达到5 000 ms, 可以最大程度接收弱光成像, 以减少观测中不必要的强激光对生物组织造成损伤。 配合不同的光学系统, 可以实现对生物组织的宏观和显微成像。

图1 InGaAs短波红外小鼠静脉生物成像
(a): 相机样机; (b): 相机原理; (c): 现场荧光实验图; (d): 观察所用的显微镜头
Fig.1 Vein imaging of mice with InGaAs camera
(a): The demo of camera; (b): Design framework of camera; (c): Fluorescence experiment; (d): Lens

实验采用了显微光学成像系统如图1(d)所示, 可以对小鼠的静脉精准成像。 我们实现了1 100, 1 250和1 350 nm等多个波段, 不同积分时间下的小鼠静脉数据采集, 实验现场如图1(c)所示。 注射荧光显影液后, 激光照射在小鼠表面。 在显微光学镜头下, 由于对小鼠静脉对焦区域较小, 我们设计了针对静脉图像特点的多焦距融合算法。

2 单光谱多焦距融合算法

小鼠静脉交织重叠, 构成了一张静脉网络。 单张图像获得的静脉成像信息少, 多张图像又缺乏信息的连贯性。 有鉴于此, 我们设计了一种基于梯度域引导滤波的对焦像素检测的多焦距融合算法。 通过梯度域引导滤波最大程度的获取原始图像中的高频静脉成分, 针对交织网络场景的特点设计融合规则, 来获取信息量更加丰富的静脉图像。

2.1 梯度域引导滤波金字塔对焦像素检测

我们设计的融合算法框架如图2所示, 通过多尺度梯度域引导滤波提取图像对焦像素区域, 然后根据获得的对焦区域求解融合决策函数, 最后进一步改进了融合函数, 可以获得更好的融合鲁棒性。 下面具体介绍算法的内容。

图2 融合算法总体框架流程Fig.2 Framework of algorithm

2.1.1 梯度域引导滤波

梯度域引导滤波GDGF(gradient domain guided image filter)由引导滤波[6]改进而来。 通过对边缘感知加权函数的改进, 可以更大程度的提取图像的边缘细节。 原理如下:

GDGF的损失函数如式(1)所示

E(ak, bk)=iΩr(k)(akIi+bk-pi)2+λΓI, k(ak-γk)2(1)

式(1)中, γ k为边缘感知滤波因子, Γ I, k为边缘感知加权滤波因子, 根据引导图像I计算像素k的重要性。 γ kΓ I, k分别定义如式(2)和式(3)

γk=1-11+eφk, φk=4(Sk-μS)μs-min(S)(2)

ΓI, k=1Ni-1NSk+εSi+ε(3)

其中, N是引导图像的总像素数, ε =(0.001× L)2, L是输入图像的动态范围。 Sk为引导图像I像素k周围两个窗口像素的方差的积, 即窗口因子Ω r(k)的方差, Ω r(k)表示以像素k为中心半径为r的正方形窗口, S表示所有的Si(i=1, …, N), μ S表示Si的均值。

Sk=σI, 1(k)σI, r(k)(4)

Sk同时计算了两个窗口函数的方差, 这两个窗口函数分别是3× 3和(2r+1)× (2r+1)。

最优化值akbk分别由式(5)和式(6)得到

ak=μΙ☉p, r(k)-μI, r(k)μp, r(k)+λΓI, kγkσI, r2(k)+λΓI, k(5)

bk=μp, r(k)-akμI, r(k)(6)

最后输出值为

qi=μa(i)Ii+μb(i)(7)

其中μ a(i)μ b(i)分别表示akbk在窗口处的均值, 按如式(8)和式(9)计算

μa(i)=1|Ωr(i)|kΩr(i)ak(8)

μb(i)=1|Ωr(i)|kΩr(i)bk(9)

梯度域引导滤波相对引导滤波可以更好的提取图像的细节, 针对窗口大小的控制, 可以获取不同尺度的图像频率信息, 基于此特点, 我们设计了多尺度梯度域金字塔对焦像素提取算法, 同时可以利用梯度域引导滤波对边缘的感知特点, 针对小鼠静脉的边缘信息可以更好的保存。

2.1.2 单光谱对焦像素检测

在一般的光电成像系统中, 系统函数是一个低通滤波器。 模糊区域的系统函数比清晰区域的高频分量更低[7, 8], 因此在对焦区域有更多的高频信息。 在多焦距融合算法中首要的就是对焦像素区域检测, 我们可以通过对高频分量的检测实现对焦区像素区域的检测[9]

针对静脉图像条状曲线纹理的特点, 设计的基于GDGF金字塔对焦像素检测[10, 11, 12], 主要分为以下两个步骤。 首先是多尺度高频分量提取, 基于GDGF保持高频细节的特点, 通过多尺度的形式, 增加算法对图像细节提取的鲁棒性, 其原理如图2黄色与蓝色框所示。

其中I是输入图像, 初始的滤波半径是rinitial=1, eps为滤波器的参数, 设定为0.05, 于是得到图像细节的分解函数如式(10)所示

Ii=GDGF(Ii-1, Ii-1, ri, eps)i=1, 2, , nDi-1=Ii-Ii-1i=1, 2, , n-1Dn=In(10)

式(10)中, ri作为迭代因子, 其迭代方式为ri=2× r(i-1), 于是根据多尺度分解函数, 得到图像细节金字塔Di, 其中(i=0, 1, 2, …, n)。 最后通过式(11)获取n的数值

n=log2max(ri)min(ri)=log2max(hight, width)rinitial(11)

于是得到IA, IB两张待融合图像的对焦像素细节分量(focus pixel decision map, FPDM)为

FPDMA=DA, 1+DA, 2++DA, nFPDMB=DB, 1+DB, 2++DB, n(12)

2.2 融合规则

在多焦距融合中, 清晰的区域一定含有最多的对焦像素, 而模糊的区域则含有最少的对焦像素。 FPDMA与FPDMB分别表示待融合图像IA, IB的对焦像素区域, 初步的粗融合规则CF(coarse-fusion)定义如式(13)

CF(x, y)=1ifFPDMA(x, y)> FPDMB(x, y)0otherwise(13)

由于生物组织中静脉的交织重叠, 图像中所反映的单一焦距下静脉成像会交错出现在不同的焦距的图像中。 这些图像中难免会出现小区域孔洞, 而围成这些孔洞的静脉图像是不可以被抛弃的, 如图3所示。 再者, 如果直接使用这个CF粗融合规则作为最后的融合规则的话, 最后得到的融合图像又会不可避免的引入融合噪声, 所以对这个CF融合规则做一个精细化处理, 如式(14)-式(16)所示

ICF(x, y)=CF(x, y)IA(x, y)+(1-CF(x, y))IB(x, y)(14)

FFM(x, y)=GDGF(ICF(x, y), CF(x, y))(15)

Ioutput=FFM(x, y)IA(x, y)+(1-FFM(x, y))IB(x, y)(16)

图3 静脉纹理细节的网孔说明Fig.3 Illustration of texture detail

其中FFM(x, y)表示最终的决策融合映射函数(final fusion map, FFM)。

3 实验与结果讨论
3.1 成像

通过不同波段的短波红外激光照射, 实现1 100, 1 250和1 350 nm等不同波段的小鼠静脉观测, InGaAs短波探测器成像结果如图4所示。

图4 采集到的不同波段的静脉成像图Fig.4 Vein images of different wavelengths

从图4中我们可以清楚的看到小鼠的静脉短波红外光谱纹理(高亮细节), 四周深色的须状为小鼠的毛发, 但是由于光学对焦在不同的区域, 单张图像中无法全面的显示小鼠静脉信息, 并且不同的波段的红外光在小鼠机体组织中穿透力也有不同。

3.2 单光谱多焦距图像融合

将获得的不同谱段InGaAs短波红外小鼠静脉图像部署到多个算法平台上包括GF, NSCT, MFMGRW, PCA, fusedDctVar以及fusedDCTVarCv等6个算法, 并与我们的算法结果进行比较。 同时采用一些评价指标包括Qabf, SCD, MS_SSIM以及SSIM等4个指标[13], 来综合评价我们的算法。

我们设计的基于梯度域引导滤波的金字塔图像融合算法结果如图5-图7所示。 在视觉效果上本算法两焦距融合的边界平滑度更好, 且针对原始图起到了一定的降噪作用。 此外, 从1 100, 1 250和1 350 nm三个波段的图像融合结果中可以看出, 其他的几种算法包括GF, NSCT, MFMGRW, PCA, fusedDctVar以及FusedDctVarCv等在不同程度上引入额外的噪声, 同时针对对焦区域检测上也缺乏鲁棒性。 在GF算法中, 1 250 nm的的融合图像中直接丢失了A图像的对焦区域, 其他几种算法也有不同程度的细节丢失。 这些问题在我们设计的算法上得到了很好的解决。 采用了Qabf, SCD, MS_SSIM, SSIM等四个融合图像评价指标, 其结果如表1-表3所示, 我们的算法综合评价最高, 其中在MS_SSIM这个指标上我们得到了全优。 我们设计的算法成功的将两个光谱图像的对焦区域融合到了一张图中, 使得我们在单张光谱图像中获取更多的小鼠静脉信息。

图5 1 100 nm波长5 000 ms积分时间融合结果Fig.5 Fusion result of 5 000 ms integration time at 1 100 nm wavelength

图6 1 250 nm波长5 000 ms积分时间融合结果Fig.6 Fusion result of 5 000 ms integration time at 1 250 nm wavelength

图7 1 350 nm 5 000 ms各个融合算法结果Fig.7 Fusion result of 5 000 ms integration time at 1 350 nm wavelength

表1 1 100 nm 5 000 ms各个融合算法评价指标得分 Table 1 Evaluation index scores of each fusion algorithm at 1 100 nm 5 000 ms
表2 1 250 nm 5 000 ms各个融合算法评价指标得分 Table 2 Evaluation index scores of each fusion algorithm at 1 250 nm 5 000 ms
表3 1 350 nm 5 000 ms各个融合算法评价指标得分 Table 3 Evaluation index scores of each fusion algorithm at 1 350 nm 5 000 ms
4 结论

设计了InGaAs短波红外小鼠静脉荧光光谱观测系统, 通过短波红外光谱照射, 实现了针对小鼠静脉短波红外光谱荧光观测成像。 小鼠静脉交织重叠, 为了在单张图像中呈现更多小鼠静脉光谱的细节, 提出的一种基于梯度域引导滤波金字塔的图像融合算法, 先通过梯度域引导滤波金字塔算法检测出图像的对焦像素区域, 在基于梯度域引导滤波设计新的融合规则。 最终在短波红外光谱的照射下, 实现了针对小鼠静脉的不同波段红外光谱下的广域观测。 由于多焦距成像是因为景深的因素, 即短波红外光谱对生物组织的穿透特性, 未来可以开展针对生物组织静脉的深度短波红外光谱成像研究工作, 进一步探索短波红外光谱对生物组织观测的作用。

参考文献
[1] Zhu Zhiqin, Zheng Mingyao, Qi Guanqiu, et al. IEEE Access, 2019, 7: 20811. [本文引用:1]
[2] Ma Jinlei, Zhou Zhiqiang, Wang Bo, et al. Infrared Physics & Technology, 2017, 82: 8. [本文引用:1]
[3] Song Xu, Wu Xiaojun. Multimodal Pattern Recognition of Social Signals in Human-Computer-Interaction, 2019, 11377: 1. [本文引用:1]
[4] Haghighat M B A, Aghagolzadeh A, Seyedarabi H. Real-Time Fusion of Multi-Focus Images for Visual Sensor Networks. 2010 6th Iranian Conference on Machine Vision and Image Processing, 2010. 1. [本文引用:1]
[5] Mohammad Bagher Akbari Haghighat, Aghagolzadeh Ali, Seyedarabi Hadi. Computers & Electrical Engineering, 2011, 37(5): 789. [本文引用:1]
[6] Kou Fei, Chen Weihai, Wen Changyun, et al. IEEE Trans Image Process, 2015, 24(11): 4528. [本文引用:1]
[7] Qiu Xiaohua, Li Min, Zhang Liqiong, et al. Signal Processing: Image Communication, 2019, 72: 35. [本文引用:1]
[8] Liu Yu, Wang Lei, Cheng Juan, et al. Information Fusion, 2020, 64: 71. [本文引用:1]
[9] Wei Tan, Zhou Huixin, Rong Shenghui, et al. Appl. Opt. , 2018, 57(35): 10092. [本文引用:1]
[10] Jian Lihua, Yang Xiaomin, Wu Wei, et al. Journal of Ambient Intelligence and Humanized Computing, 2018, https://doi.org/10.1007/s12652-018-0866-4. [本文引用:1]
[11] Chen Guo, Li Li, Jin Weiqi, et al. IEEE Photonics Journal, 2019, 11(5): 1. [本文引用:1]
[12] Zhu Jin, Jin Weiqi, Li Li, et al. Infrared Physics & Technology, 2018, 89: 8. [本文引用:1]
[13] Zhou Fuqiang, Li Xiaosong, Li Juan, et al. IEEE Access, 2019, 7: 50780. [本文引用:1]