基于Voigt函数的拉曼成像插值方法
范贤光1,2, 黄彦睿1, 刘龙1, 许英杰1, 王昕1,2,*
1.厦门大学航空航天学院仪器与电气系, 福建 厦门 361005
2.传感技术福建省高等学校重点实验室, 福建 厦门 361005
*通讯作者 e-mail: xinwang@xmu.edu.cn

作者简介: 范贤光, 1980年生, 厦门大学航空航天学院仪器与电气系教授 e-mail: fanxg@xmu.edu.cn

摘要

拉曼成像是拉曼光谱技术非常重要的一个环节, 通过生成光谱数据的伪彩图像, 可以得到采集区域中某物质组分的浓度和位置分布信息, 当前, 拉曼成像技术已经逐渐成为监测生物活性以及物质组分的最优解之一。 为了得到清晰的成像效果, 采集过程中的数据量不宜过小, 否则成像效果差、 锯齿感较重, 从而导致视觉效果不好。 但是, 数据量的增加虽然可以得到更好的成像效果, 但会增加时间成本、 降低仪器寿命。 因此, 在不增加时间和硬件成本的情况下, 对采集点数据进行插值提高成像的空间分辨率、 降低时间分辨率是很有意义的。 提出了一种基于研究拉曼光谱波形结构物理特性的图像插值算法。 区别于传统的图像插值算法仅对图像像素值进行处理, 通过结合拉曼信号的物理特性, 选取最小二乘法和物理特性上最适合解析拉曼谱峰的数学模型Voigt函数对现有光谱数据进行数学拟合提取特征值, 并对提取出的特征值通过线性插值方法计算出未知插值点的Voigt函数的特征值, 从而计算出插值点的Voigt函数, 可以直接提高现有拉曼图像的空间分辨率, 同时通过该方法也可以缩短扫描时间, 提高拉曼成像的时间分辨率。 同时, 为了验证算法的有效性和可行性, 对一种药物和一种生物细胞的原始拉曼成像进行图像插值, 并采用直方图的欧几里得距离求解相似度和结构相似度算法(SSIM, 一种权威的图像相似度评价算法)对插值效果进行评价。 实验结果表明, 在图像像素点增量分别为50%和75%的情况下, 该算法能够很好地保留样本组分的分布和浓度等重要信息。 该算法可以在不升级硬件的情况下提高拉曼成像的性能, 推荐作为拉曼成像数据处理和软件的有效补充。

关键词: 拉曼成像; 图像处理; 空间分辨率; Voigt函数
中图分类号:O657.37 文献标志码:A
An Interpolation Method for Raman Imaging Using Voigt Function
FAN Xian-guang1,2, HUANG Yan-rui1, LIU Long1, XU Ying-jie1, WANG Xin1,2,*
1. Department of Instrumental and Electrical Engineering, School of Aerospace Engineering, Xiamen University, Xiamen 361005, China
2. Fujian Key Laboratory of Universities and Colleges for Transducer Technology, Xiamen 361005, China
*Corresponding author
Abstract

Raman imaging is a very important part of Raman spectroscopy technology. By generating pseudo-color images of spectral data, a substance component's concentration and location distribution information in the collected area can be obtained. At present, Raman imaging technology has gradually become one of the optimal solutions for monitoring biological activity and substance components. In order to obtain a clear imaging effect, the amount of data in the collection process should not be too small otherwise, the imaging effect is poor, the serrations are heavy, and the visual effect is not good. However, although the increase in the amount of data can get a better imaging effect, it will increase the time cost and reduce the instrument's life. Therefore, it is of great significance to improve the spatial resolution of the imaging and reduce the temporal resolution of the imaging by interpolating the data of the collection points without increasing the time and hardware cost. In this paper, an image interpolation algorithm based on the study of the physical properties of Raman spectral waveform structure is proposed. Different from traditional image interpolation algorithm of image pixel values only for processing, by combining the Raman signal of physical properties, least square method and physical properties of the most suitable mathematical model of the Raman spectral peaks Voigt function of existing mathematical fitting spectrum data are extracted eigenvalue, and the extracted eigenvalue by linear interpolation method to calculate the unknown interpolation point. The spatial resolution of existing Raman images can be directly improved by calculating the Voigt function of interpolation points based on the eigenvalue of the GT function. Meanwhile, the scanning time can also be shortened, and the temporal resolution of Raman images can be improved by this method. At the same time, in order to verify the effectiveness and feasibility of the proposed algorithm, the original Raman images of a drug and a biological cell were interpolated, and the histogram Euclidean distance algorithm and structural similarity algorithm (SSIM, an authority image similarity evaluation algorithm) were used to evaluate the interpolation effect. The experimental results show that the proposed algorithm can preserve important information such as the distribution and concentration of sample components well when the pixel increment is 50% and 75% respectively. The proposed algorithm can improve the performance of Raman imaging without upgrading the hardware and is recommended as an effective supplement to the data processing and software of Raman imaging.

Keyword: Raman imaging; Image processing; Spatial resolution; Voigt function
引言

近年来, 拉曼成像技术已成为细胞内成分监测、 食品质量和食品安全等诸多应用领域的首选之一[1, 2, 3]。 拉曼成像的主要优点是特异性高、 无创、 所需样品制备少[4, 5, 6, 7]

得益于激光技术、 滤波器、 光谱仪、 处理算法等相关配套技术的快速发展, 拉曼成像技术自身也得到了很大的提升[8]。 其中, 处理算法(基线校正[9]、 去噪[10]、 信噪比评估[11]等)的开发对于在不增加硬件成本的情况下提高拉曼成像设备的性能具有重要意义。 然而, 现有的处理算法大多集中在拉曼信号上, 虽然图像处理容易实现, 但对拉曼成像处理的研究很少。 我们得出的主要结论是单纯在图像上处理容易导致原始拉曼信息的失真和丢失[12]。 现有的图像插值算法用于拉曼图像的处理的过程中, 只单纯考虑提取拉曼信号峰值面积/强度后每个像素点的值而忽略了拉曼散射的物理特性, 如最近邻插值算法[13]、 双线性插值算法[14]。 然而, 选择合适的图像插值算法对于拉曼成像来说是有意义的, 操作员可以在一定程度上获得更高空间分辨率的拉曼图像, 略微突破硬件的限制; 同时缩短拉曼扫描时间, 有利于观察活性组织动态过程。

为此, 本文提出了一种基于Voigt函数的拉曼成像插值算法(VFI), 该算法考虑了原始测量的拉曼信号对拉曼图像的影响: 首先, 利用数学模型(Voigt函数)对测量的拉曼信号在每个采集点选定的峰值区间进行数学拟合, 并提取Voigt函数的特征参数; 然后, 利用相邻Voigt函数的参数计算新插值点Voigt函数的特征参数, 从而建立新插值点的Voigt函数; 最后, 通过计算其Voigt函数的谱峰面积/强度得到新像素的值, 最后合成所有像素点的信息达到提高拉曼成像空间分辨率的目的。 经过这些处理步骤后, 可以尽可能地保留被测拉曼信号的原始组分分布情况, 避免不必要的错误信息。

1 实验部分
1.1 拉曼成像的插值算法流程

在采集原始样品的拉曼光谱数据后, 采用Voigt函数对已知数据点的成像峰利用Voigt函数进行最小二乘拟合然后提取原始数据的特征参数作为插值点的Voigt函数的特征参数, 构建插值点的Voigt函数, 最后将原始数据与插值点结合生成拉曼图像。 其原理如图1所示。

图1 拉曼成像插值算法流程Fig.1 Flow of the proposed interpolation algorithm for Raman imaging

拉曼成像插值方法的基本步骤如下:

(1) 加载采集的光谱数据, 对鬼峰平滑处理以消除成像的不良影响, 并确定待成像组分, 即确定拉曼位移区间。

(2) 对已知原始数据的成像峰采用Voigt函数通过进行最小二乘拟合得到解析谱峰的特征参数(Voigt函数原理见下一节)。

(3) 从step2提取出已知数据的Voigt函数的特征参数后, 利用线性插值方法计算新插值点的Voigt函数的参数。 一般情况下, 在两个已知点之间只插入一个点(见下一节插值方法), 所以线性插补是合理且足够的。

(4) 根据step3求出的参数, 构建插值点的Voigt函数。

(5) 计算新插值点的值(Voigt函数的谱峰面积/强度), 结合原始数据和新插值点数据合成新的拉曼图像, 提高拉曼图像的空间分辨率。

1.2 插值方法

本节我们推荐两种插值策略模式, 行插值(模式1)和点插值(模式2)。 如图2所示, 在模式1中, 两个黑点a和c插值得到中间橙色点b, 因此在模式1中插值后图像的行数约等于原始图像的两倍。 在模式2中, 利用周围的四个黑点插值得到中间橙色点d, 因此插值后图像的行数和列数约等于原始图像两倍, 即假设原始拉曼图像的空间分辨率为m× n, 从图2可以看出, 模式1下的空间分辨率可以提高到(2m-1)× n, 模式2下的空间分辨率可以提高到(2m-1)× (2n-1), 这意味着增加了约50%和75%的点。 理论上, 在两个已知点之间可以插入任意数量的点, 但不建议添加过多的点。

图2 VFI插值策略Fig.2 Interpolation strategy of VFI

拉曼光谱峰的线形本质上是洛伦兹线形, 由于受仪器或样品特性的影响, 谱峰的线形可以表述为高斯函数和洛伦兹函数的卷积类型, 即Voigt函数。 Voigt函数没有解析解, 只能用数值描述。 Wertheim提出了Voigt函数的近似表示

V(v, α, w, γ, θ)=θαexp-4(v-w)2ln2γ2+(1-θ)αγ2(v-w)2+γ2(1)

式(1)仅拟合成像的拉曼特征峰而未考虑荧光背景的影响, 因此, 将其荧光背景近似为直线, 并结合Voigt函数形成数学模型为

W(V, k, v, b)=V(v, α, w, γ, θ)+kv+b(2)

式(2)中, 特征参数共有6个, v表示拉曼位移值, α 为特征峰的最大值强度, w表示特征峰的最大值对应的拉曼位移值, γ 为半峰全宽, θ (0≤ θ ≤ 1)为高斯-洛伦兹系数, k为荧光背景基线斜率θ (0≤ θ ≤ 1), b为荧光背景的纵截距。

图3是利用Voigt函数对原始数据插值情况的示意图, 其中图3(a)和(b)分别是相邻两个样品采集数据1和2利用Voigt函数拟合情况示意图(黑色k线为采集点去除鬼峰后的光谱数据), 图3(c)是根据点1和2的Voigt函数利用线性插值得到的插值点的拟合情况示意图。

图3 模式1中利用邻近点拟合插值点的Voigt函数的原理
(a): 点1的Voigt函数; (b): 点3的Voigt函数; (c): 点2的Voigt函数
Fig.3 The principle of Voigt function fitting interpolation points with adjacent points in Mode 1
(a): Voigt function of point 1; (b): Voigt function of point 3; (c): Voigt function of point 2

图像插值算法最可能出现的问题是图像的过度失真和信息丢失。 因此, 本文引入了直方图相似度和结构相似度算法(SSIM), 通过这两个数学指标来评价插值后拉曼图像效果。 在实验部分, 我们将用不同扫描间隔得到的拉曼图像通过行插值和列插值, 通过这两个指标可以对插值图像与分辨率最高的测量图像进行比较来评价图像的相似度。

1.3 材料和测试仪器

以头孢呋辛酯(药品1)、 人宫颈癌细胞(细胞1)作为检测样本。 拉曼成像设备采用由日本Nanophoton 公司研发的Raman 11成像系统进行。 实验条件的详细信息请参考文献[8]。 4种实验样品采用的拉曼成像峰分别为247, 539, 116和247 cm-1

拉曼成像采用日本Nanophoton Raman 11仪器, 扫描方式为线扫描(每行400个点, 像素点间距为2 μ m), 扫描步长2 μ m。 采用激光功率为0.1 mW· μ m-2的785 nm激光线、 NA(数值孔径)为0.45的50个空气显微镜物镜和600 grooves· mm-1光栅进行测量。 采用不同的扫描时间获得不同质量的拉曼图像。

2 结果与讨论

图4和图5展示了在两种模式下药品1和细胞1的采集点待插值拉曼图像、 VFI单行/单点插值图像和与VFI图像对比的采集点高分辨率拉曼图像。 待插值拉曼图像图4(a, d)和图5(a, d)由于扫描分辨率低导致图像模糊、 颗粒状明显, 但是经过单行/单点插值处理后, 图4(b, e)和图5(b, e)的视觉质量得到了改善, 变得更加平滑和精细。 因此, 对采集点待插值拉曼图像通过VFI插值后[图4(b, e)和图5(b, e)]与采集点对比图像[图4(c, f)和图5(c, f)]相比, 相似度较高, 组分分布情况相似。 而在图5(a, d)(模式2)中, 待插值拉曼图像的分辨率远低于图4(a, d)(模式1), 组分分布信息也得到了很好的保存。

图4 模式1中药品1和细胞1的实验对比图像
(a): 药品1待插值图像(空间分辨率为19× 105); (b): 药品1图(a)插值一行后图像(37× 105); (c): 药品1与图(b)空间分辨率相同的对比采集图像(37× 105); (d): 细胞1待插值图像(空间分辨率为19× 189); (e): 细胞1图(d) 插值一行后图像(37× 189); (f): 细胞1与图(e)空间分辨率相同的对比采集图像(37× 189)
Fig.4 Experimental comparison image of tablet 1 and cell 1 in mode 1
(a): The image to be interpolated of tablet 1 (The spatial resolution is 19× 105); (b): The image after interpolating one row in (a) (37× 105); (c): The contrast image was collected with the same spatial resolution as (b) (37× 105); (d): The image to be interpolated of cell 1 (The spatial resolution is 19× 189); (e): The image after interpolating one row in (d) (37× 189); (f): The contrast image was collected with the same spatial resolution as (e) (37× 189)

图5 模式2中药品1和细胞1的实验对比图像
(a): 药品1待插值图像(空间分辨率为19× 53); (b): 药品1图(a)插值一点后图像(37× 105); (c): 药品1与图(b)空间分辨率相同的对比采集图像(37× 105); (d): 细胞1待插值图像(空间分辨率为19× 95); (e): 细胞1图(d)插值一点后图像(37× 189); (f): 细胞1与图(e)空间分辨率相同的对比采集图像(37× 189)
Fig.5 Experimental comparison image of tablet 1 and cell 1 in mode 2(a): The image to be interpolated of tablet 1 (The spatial resolution is 19× 53); (b): The image after interpolating one point in (a) (37× 105); (c): The contrast image was collected with the same spatial resolution as (b) (37× 105); (d): The image to be interpolated of cell 1 (19× 95); (e): The image after interpolating one point in (d) (37× 189); (f): The contrast image was collected with the same spatial resolution as (e) (37× 189)

图6显示了该插值方法在两种模式下药品1和细胞1插值后的拉曼成像和相同分辨率的采集图像的复合直方图[如图4(b和c), (e和f)], 结果显示直方图的重合度较高。

图6 两种模式下药品1和细胞1的插值一行/一点后拉曼图像与同分辨率采集图像的复合直方图
(a): 药品1在模式1下的复合直方图; (b): 细胞1在模式1下的复合直方图; (c): 药品1在模式2下的复合直方图; (d): 细胞1在模式2下的复合直方图
Fig.6 Compound histogram of interpolated one line/one point Raman image and same spatial resolution contrast Raman image of tablet 1 and cell 1 in two modes
(a): Compound histogram of tablet 1 in mode 1; (b): Compound histogram of cell 1 in mode 1; (c): Compound histogram of tablet 1 in mode 2; (d): Compound histogram of cell 1 in mode 2

表1为两种模式下不同实验样品插值后的拉曼图像和高空间分辨率图像的直方图欧几里得距离[15]和SSIM结果, 欧几里得距离越接近于0意味着直方图相似度较高, 图中四种样品的SSIM值均大于等于0.9, 意味着VFI的效果是可靠的(SSIM的值从0到1, 1意味着相似性最高; 0意味着相似性最差)。 因此, 从图6和表1可以看出, 本文提出的VFI算法不会对原始图像产生过度的失真, 并且尽可能地保留了信息。

表1 两种样品的直方图欧几里得距离和SSIM值 Table 1 Histogram Euclidean distances and SSIM values for the two samples

本文所提出的数学方法理论上可以在图像上添加任意整数个数的点。 因此, 为了进一步观察VFI的效果, 我们将图4(a)和(d)中的低空间分辨率图像在模式1中, 在两个已知行之间添加3、 7行进行插值。 如图7所示, 增加更多的点并没有明显改善图像质量, 但计算成本成倍增加。 事实上, 图7(a), (b)和图4(b)几乎是一样的, 图7(c), (d)和图4(e)也是一样的。 因此, 在原始图像上添加太多的点是没有意义的。

图7 药品1和细胞1在模式1下不同插值数量下VFI插值后的拉曼图像
(a): 药品1插值3行的拉曼图像(145× 105); (b): 药品1插值7行的拉曼图像(289× 105); (c): 细胞1插值3行后的拉曼图像(145× 189); (d): 细胞1插值7行后的拉曼图像(289× 189)
Fig.7 Raman images of tablet 1 and cell 1 interpolated by VFI with different number of interpolations in mode 1
(a): Table 1 interpolates 3 lines of Raman image (145× 105); (b): Table 1 interpolates 7 lines of Raman image (289× 105); (c): Cell 1 interpolates 3 lines of Raman image (145× 189); (d): Cell 1 interpolates 7 lines of Raman image (289× 189)

除了讨论了VFI算法的优点外, 还需要考虑算法的一些注意事项。 在拉曼成像中最需要考虑的仍然是扫描间隔(行和列), 如果这些参数选择不当, 所提出的VFI也不能达到很好的效果。 在图8中, 我们在比图4(a)和(d)更大的线扫描间距下扫描药品1和细胞1, 利用模式1对测量图像进行插值, 尝试获得较好的成像效果。 显然, 要获得与高分辨率测量图像[图4(c)和(f)]相同的效果是完全不可能的。 而且, 在某些情况下, 如果某个分量的分布面积很小, 就会丢失分量信息。 图9为其中一例: 在细胞原始拉曼图像[图9(a)]中, 红色圈内为组分高浓度区(仅一行); 加大一倍行扫描间隔采集到的拉曼图像丢失了高浓度区域[图9(b)], 由于该处的组分信息已丢失, 因此插值后的图像仍然会丢失该点的真实组分浓度[图9(c)]。 理论上, 需要选择好扫描间隔, 避免遗漏重要的组分浓度信息。

图8 模式1下药品1和细胞1在不同扫描间隔以及插值后的拉曼图像
(a): 药品1的拉曼图像(空间分辨率为9× 105); (b): 药品1的拉曼图像(5× 105); (c): 细胞1的拉曼图像(9× 189); (d): 细胞1的拉曼图像(5× 189); (e): (a)插值后图像(37× 105); (f): (b)插值后图像(37× 105); (g): (c)插值后图像(37× 189); (h): (d)插值后图像(37× 189)
Fig.8 Raman images of tablet 1 and cell 1 at different scanning intervals and after interpolation in mode 1
(a): Raman image of tablet 1 (The spatial resolution is 9× 105); (b): Raman image of tablet 1(5× 105); (c): Raman image of cell 1(9× 189); (d): Raman image of cell 1(5× 189); (e): Interpolated Raman image of tablet 1 (37× 105); (f): Interpolated Raman image of tablet 1 (37× 105); (g): Interpolated Raman image of cell 1(37× 189); (h): Interpolated Raman image of cell 1(37× 189)

图9 组分信息丢失示意图
(a): 细胞1拉曼图像(空间分辨率为37× 105); (b): 细胞1拉曼图像(19× 105); (c): (b)插值拉曼图像(37× 105)
Fig.9 Diagram of component information loss
(a): Raman image of cell 1 (The spatial resolution is 37× 105); (b) Raman image of cell 1(19× 105); (c): Interpolated Raman image of (b)

3 结论

为了提高拉曼成像的空间分辨率, 我们提出了一种简便易行的拉曼成像插值方法, 该方法采用Voigt函数对已知原始数据光谱的拉曼峰进行最小二乘拟合。 该方法能很好地将谱峰转化为数学模型, 便于建立插值点的Voigt函数。 然后, 对高分辨率测量图像和相同分辨率的插值图像的相似性分析表明, 所提出的VFI不仅在图像视觉感官上, 而且在数学指标上都是有效和可靠的。 最后, 我们描述了VFI的注意事项。 它可以作为拉曼成像数据处理和软件的有效补充。

参考文献
[1] Syed A, Smith E A. Annual Review of Analytical Chemistry, 2017, 10: 271. [本文引用:1]
[2] Qin J, Kim M S, Chao K, et al. Journal of Biosystems Engineering, 2017, 42(3): 170. [本文引用:1]
[3] Langer J, de Aberasturi D J, Aizpurua J, et al. ACS Nano, 2020, 14(1): 28. [本文引用:1]
[4] Rzhevskii A. Biosensors-Basel, 2019, 9(1): 25. [本文引用:1]
[5] Paudel A, Raijada D, Rantanen J. Adv. Drug. Deliv. Rev. , 2015, 89: 3. [本文引用:1]
[6] Esmonde-White K A, Cuellar M, Uerpmann C, et al. Anal. Bioanal. Chem. , 2017, 409(3): 637. [本文引用:1]
[7] He H R, Sun D W, Pu H B, et al. Crit. Rev. Food Sci. Nutr. , 2019, 59(5): 770. [本文引用:1]
[8] Wang X, Liu G, Xu M, et al. Anal. Chem. , 2019, 91(20): 12909. [本文引用:2]
[9] Yang G, Dai J, Liu X, et al. Applied Spectroscopy, 2020, 74(12): 1443. [本文引用:1]
[10] Ahlinder L, Lindstrom S W, Lejon C, et al. Nanomaterials, 2016, 6(5): 83. [本文引用:1]
[11] Cho S, Chung H. Anal. Sci. , 2003, 19(9): 1327. [本文引用:1]
[12] XI Yang, LI Yue-e(席杨, 李月娥). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2020, 40(2): 410. [本文引用:1]
[13] Zhou R G, Tan C Y, Fan P. Mod. Phys. Lett. B, 2017, 31(17): 1750184. [本文引用:1]
[14] Miao Y, Song D L, Shi W L, et al. 2nd International Conference on Computer Science and Application Engineering, 2018. [本文引用:1]
[15] Liu D H, Chen X H, Peng D. Int. J. Intell. Syst. , 2019, 34(7): 1572. [本文引用:1]