微型快照式窄带多光谱成像宫颈癌筛查方法
易定容1, 赵艳丽1, 孔令华2,*, 王文琪1, 黄彩虹1
1. 华侨大学机电及自动化学院, 福建 厦门 361021
2. 福建工程学院机械与汽车工程学院, 数字福建工业制造物联网实验室, 福建 福州 350118
*通讯联系人 e-mail: klh@fjut.edu.cn

作者简介: 易定容, 女, 1969年生, 华侨大学机电及自动化学院教授 e-mail: yidr@hqu.edu.cn

摘要

白光阴道镜图像对比度较低, 不利于医生鉴别不同病变程度组织, 也不利于自动化宫颈癌筛查。 利用癌变组织富含血红蛋白成分及血红蛋白具有特征波段这一特性, 与传统高光谱空间扫描成像及分时获取不同波段多光谱成像方法相反, 利用快照式多光谱窄带成像来加速光谱图像获取过程, 提升不同病变程度组织之间灰度对比度同时, 降低后续图像分析处理算法难度, 实现对宫颈组织病变类型高帧率自动化分类。 首先, 使用微型快照式窄带多光谱摄像方法, 在血红蛋白的两个强吸收峰(415±10)和(525±10) nm、 一个反射带(620±10) nm和一个背景波段(450±10) nm共四个波段对宫颈组织进行快照式零时差获取四幅窄带光谱图像。 而后, 对所获取的光谱图像进行简单代数加减, 以生成突显病变组织的融合图像, 提高不同病变程度组织之间的对比度。 最后, 使用欧式距离分类算法, 对光谱融合图像中不同病变级别进行分类, 建立计算机辅助宫颈癌筛查方法。 创新点在于实现了高帧率计算机辅助光学病理诊断方法。 分别采用临床常规白光阴道镜及微型快照式窄带多光谱摄像对宫颈癌手术切下的新鲜组织进行彩色图像及光谱融合图像的高帧率采集, 并使用同一个欧式距离分类算法对两种图像进行自动分类, 分类结果都以组织病理诊断作为标准来计算正确率。 通过对比两种分类结果正确率来检验光谱融合图像相对于彩色图像是否提升对比度, 及其是否可以实现与组织病理诊断(金标准)结果一致的诊断。 欧式距离分类算法对光谱融合图像分类准确率接近100%, 远高于对白光阴道镜图像约50%的准确率。 多位临床医生对基于微型快照式多光谱摄像头光谱融合图像的计算机自动分类结果表示接受。 微型快照式窄带多光谱成像方法能有效提升光谱融合图像获取帧率及不同病变程度组织之间灰度对比度, 能有效快速地将宫颈组织划分为与组织病理诊断结果一致的病变类型。 由于诊断客观、 无创伤、 结果立等可得, 该方法将有助于实现落后地区宫颈癌筛查的普及以及图像导航下的宫颈癌精准治疗手术。

关键词: 宫颈癌筛查; 血红蛋白特征光谱; 快照式窄带多光谱成像; 图像对比度; 组织病变级别分类; 计算机辅助诊断
中图分类号:TP74 文献标志码:A
Miniature Snapshot Narrow Band Multi-Spectral Imaging Technology for Cervical Cancer Screening
YI Ding-rong1, ZHAO Yan-li1, KONG Ling-hua2,*, WANG Wen-qi1, HUANG Cai-hong1
1. College of Mechanical Engineering and Automation, Huaqiao University, Xiamen 361021, China
2. Digital Fujian Industrial Manufacturing IoT Lab, Fujian University of Technology, Fuzhou 350118, China
*Corresponding author
Abstract

Indeed, the contrast of white-light colposcope image is rather low, which would not be ideal for cervical cancer screening. According to the fact that cancerous tissue has a rich composition of hemoglobin, which has multiple characteristic spectral bands. In contrary to traditional hyperspectral imaging or sequential multi-spectral imaging, which needs scanning in the either spatial or spectral domain, here, we propose the utilization ofminiature snapshot narrow-band imaging (SNBI) method to expedite the spectral image acquisition process and enhance the contrast between different tissues. The goal is to realize a fast computer-aided diagnosis method for early screening of cervical cancer. Firstly, we usedan SNBI technology to capture the images of cervix tissues at four characteristic bands of hemoglobin, namely two of its absorption peaks at (415±10) and (525±10) nm, one reflectance peak at (620±10) nm, and one background band at (450±10) nm. Secondly, we fused those spectral images via simple algebric operation to enhance the contrast between normal and abnormal tissues. Thirdly, Euclidean distance algorithm was applied to the fused image to classify the tissues into different lesion grades. This is the first computer aided optical pathological diagnosis method with a diagnosis rate of over 20 fps. Herein, white-light colposcope, and miniature SNBI video camera were usedto separately capture images of fresh cervical tissues that were surgically dissected within 10 minutes. The same Euclidean distance classification algorithm was applied to the images obtained by the white light colposcope, and to the spectrally fused image obtained by the SNBI video camera. The classification accuracy of the two imaging methods was calculated and compared, using the histopathologic diagnosis as a standard reference. Euclidean classification accuracy upon the spectral fused image acquired by the SNBI was approximately 100%, which is undoubtedly better than that of the color image acquired by the conventional colposcopy. Multiple experienced gynecologists also subjectively agreed with the computer-generated classification upon the fused image, and highly acknowledged its clinical value especially on challenging areas where multiple degreed lesion layered together. The proposed SNBI method could improve the acquisition frame rate and contrast of the spectrally fused image, and effectively classify the cervical tissue into pathological-diagnosis-consistent types of tissues. Due to its advantages of being objective, intact and instant, SNBI has excellent potential to enlarge the coverage of cervical screening population in a low-income district and to assistprecise treatment of cervical cancer under image guidance.

Keyword: Cervical cancer screening; Hemoglobin characteristic spectral bands; Snapshot narrow-band multispectral imaging; Image contrast; Classification of cervical tissue; Computer-aided diagnosis
引 言

宫颈癌是女性生殖系统最常见的三大恶性肿瘤之一[1]。 行之有效的筛查方法可以预防和控制宫颈癌的发生[2]。 目前宫颈癌临床确诊金标准方法是组织病理学检查[3], 其不足之处是阴道镜图像下病变组织与正常组织对比度不是十分明显, 在阴道镜辅助下行多点活检取样时依赖医生的主观经验, 经常导致漏取样、 过取样的问题, 增添病理医生的负担并给患者带来不必要的痛苦, 而且组织病理检查过程繁琐、 耗时。 光学病理诊断融合了光谱分析和光学成像两项光学诊断技术, 具有无创、 快速的特点[4], 近年来获得不少学者的关注。 如Sanaz[5], Zheng[6], Wang[1]及Rmf[4]先后建立反射光连续高光谱成像病理诊断方法。 2017年Ren等采用多个窄带LED灯珠作为光源来获取宫颈组织多光谱图像[7]。 然而以上光谱成像方法要么对宫颈组织进行二维空间扫描、 要么需要在波谱空间扫描(分时段采集不同波段图像), 因此光谱图像的获取存在时差, 导致图像间存在空间错位, 需要复杂的算法进行空间校准, 时间效率较低, 易受病人移动的影响。

大量研究表明, 癌变的组织代谢旺盛、 血流丰富, 相比于周围正常的组织, 其新生血管的速度明显加快, 因此血红蛋白含量显著增加。 癌变组织富含血红蛋白这一特征已被用来进行癌变检测, 如OlympusNBI及Yoshida等利用血红蛋白吸收谱在415及540 nm峰值诊断胃肠道肿瘤[9]; Lange等使用血红蛋白在540 nm吸收峰诊断肾结石[10]; Wang等使用血红蛋白在620, 696和772 nm三个波段的特异性诊断宫颈病变[11]。 本研究在血红蛋白的两个强吸收峰(415± 10)和(525± 10) nm、 一个反射峰(620± 10) nm和一个背景波段(450± 10) nm共四个波段进行快照式多光谱成像, 并对所获取的四幅窄带光谱图像进行加减, 以生成突显病变组织的融合图像。 再通过计算机分类算法将宫颈组织分为不同病变等级组织。 该方法无需扫描, 也无需空间校准及傅里叶反演等复杂算法, 可以实现帧率高于10 fps的全视场范围自动诊断。

1 微型快照式窄带多光谱成像方法
1.1 窄带多光谱图像零时差采集方法

使用四波段微型快照式窄带多光谱摄像头(宁波五维检测科技有限公司), 具体参数为: 每个滤镜像素包含的4个波段分别是(415± 10), (450± 10), (525± 10), (620± 10) nm。 滤镜像素几何尺寸为104 μ m× 104 μ m(其中每单波长滤镜单元尺寸为52 μ m× 52 μ m), 光学密度值均高于4[12]。 所用图像传感器为SCMOS, 其像素尺寸为6.5 μ m× 6.5 μ m。 在电脑的控制下, 该微型快照式窄带多光谱摄像头每次曝光可同时(零时差)采集四幅窄带多光谱图像, 采集帧率约25 fps。 所采用的微型快照式窄带多光谱成像系统如图1所示。

图1 微型快照式窄带多光谱成像系统Fig.1 The miniature snap-shot narrow-band multispectral imaging system

1.2 四幅窄带光谱图像融合算法

在融合多光谱图像之前, 先对它们进行归一化处理, 以去除由于照明光源、 透过率、 光电转化效率等随波段的变化及暗电流的影响。 校正归一化公式为

I(λ)=I(λ)sample-I(λ)dark¯I(λ)board¯-I(λ)dark¯(1)

其中, I(λ )表示归一化后的图像, I(λ )sample指波段λ 归一化前原始图像, 参照物特氟龙板对应段图像I(λ )board及其均值, I(λ)board¯I(λ)dark¯是该波段暗电流影像的均值。 融合算法公式为

I=I415+I525-I620-I450a2(2)

其中a为常数调整因子, 使得融合图像的灰度值分布在[0, 255]之间。

1.3 光谱融合图像计算机辅助分类方法

光谱融合图像中不同病变程度组织间存在着比较显著的灰度对比度, 因此简化分类算法, 如欧式最小距离方法将宫颈组织划分为CIN2, CIN3, 原位癌[14]。 具体步骤为: 第一步, 人工标记不同类别病变组织一到两个确诊区域作为已知样本输入; 第二步, 计算其他未知类型的像素点至这些已知组织类型的样本像素的平均距离, 根据计算出的最小距离将其归为那个对应训练样本同一类。 分类算法公式如式(3)所示

DEx=i=1p(Ii-Six)2Cx=min(DEx)(3)

其中, Ii是光谱融合图像某个像素点的像素值, Six是已知组织类型的样本(此处x为正常、 CIN1、 CIN2、 CIN3、 原位癌), DExIi分别与已知组织类型样本之间的距离, Cx表示通过计算DEx的最小值将像素i分至相应的类别。

2 验证过程

分别使用白光阴道镜及微型快照式窄带多光谱摄像头对两例手术离体后10 min内的带有瘤变的宫颈组织样本(图2)进行实验验证。 微型快照式窄带多光谱摄像头以约25 fps帧率采集立体宫颈组织的原始图像, 其软件从原始图像中以近25 fps的帧率实时分离出(415± 10), (450± 10), (525± 10)和(620± 10) nm共四个宫颈组织窄带光谱图像(图3)。 图4为微型快照式窄带多光谱摄像方法实时输出的光谱融合图像。 系统输出光谱融合图像的帧率接近原始图像帧率, 即约25 fps。

图2 手术切割下来的癌变宫颈组织样本(白光阴道镜所采集图像)Fig.2 Color image of a fresh cervical tissue sample by conventional white-light colposcopy

图3 微型快照式窄带多光谱成像系统所采集的离体宫颈组织图像
左下角为原始图像, 右边为实时分离出的四个窄带波段图像
Fig.3 Sample image of a fresh invitro cervical tissue by the miniature SNBI system
Bottom-left panel is the captured raw image, right panel: four narrow-band images split from the raw image

图4 微型快照式窄带多光谱摄像方法实时输出的光谱融合图像Fig.4 Fused image output by the miniature SNBI system

3 结果与讨论

通过本方法获得一个典型病例的光谱融合图像及传统彩色图像, 使用欧氏最小距离法分别对其进行计算机辅助自动分类, 图5为所得结果。 两种分类结果正确与否都以组织病理诊断结果作为金标准来进行比较, 其中黑圈表示计算机辅助诊断结果与金标准诊断结果相符, 黄圈表示不相符的误判区域。 从图5及表1可见, 欧式最小距离法对微型快照式窄带多光谱成像方法所获得的光谱融合图像准确率为100%, 高于白光阴道镜所获得图像的50%准确率。 欧式算法诊断帧率接近20 fps。

图5 (a) 欧式最小距离法对光谱融合图像分类的结果图; (b) 欧式最小距离法对白光阴道镜采集的彩色图像分类结果Fig.5 Classification results of Euclidean minimum distance algorithm on (a) the fused spectral image produced by the miniature SNBI system and (b) of the color image by a conventional colposcope

表1 欧式最小距离法对光谱融合图像分类及 白光阴道镜彩色图像分类正确率比较 Table 1 Accuracy comparision of Euclidean distance classification algorithm upon spectrally-fused image vs white light coloposcope color image

有意思的是, 在具有多个不同病变程度组织的拥挤区域, 即便是经验丰富的妇科医生也表示较难区分这些区域所包含的组织类型。 如图6(a)给出了五处类似的病变类型比较集中区域, 图6(b)黄圈标记出对应的光谱融合图像上计算机算法自动诊断结果。 多位经验丰富的临床妇科医生比较图6(a)和(b)后一致认为, 图6(b)上黄色圈处的光谱融合图像自动分类结果与医生客观判断分析结果及组织病理诊断结果相符。

图6 (a) 五处病变类型集中且医生诊断有争议区域; (b) 对应的光谱融合图像正确分类结果Fig.6 (a) Five challenge areas where individual doctor’ s judgement is arguable; (b) Correct classification by the Euclidean algorithm on the fused spectral image

4 结 论

提出使用微型快照式窄带多光谱摄像方法, 实现一次曝光零时差获取宫颈组织在4个波段(415± 10), (525± 10), (620± 10)和(450± 10) nm共4幅窄带光谱图像并实时生成光谱融合图像。 实验结果表明, 不同病变组织在光谱融合图像中的灰度对比度比在白光阴道镜彩色图像中更高, 更方便计算机辅助诊断算法或者医生鉴别。

微型快照式窄带多光谱成像宫颈癌筛查方法在手提电脑上可以实现接近20 fps的自动诊断。 这是由于快照式窄带多光谱成像所获得的各个窄带图像自动配准及光谱融合图像对比度高, 大大简化了所需要的后续图像处理, 如不需空间校准, 简化融合算法及分类算法。 该方法无需碘和醋酸试剂的辅助能有效地将宫颈组织划分为与金标准确诊结果相同的病变类型。 尤其是在多种级别(CIN2, CIN3, 癌变)病变类型比较集中且医生难以肉眼区分的区域, 该技术能起到很好的建议与指导作用。

本方法的创新点是不需要任何扫描, 既不需要光谱空间扫描, 也不需要二维空间扫描及傅里叶反演算法, 就能实现宫颈组织在血红蛋白的多个特征波段窄带多光谱成像及立等可得的客观诊断(更新帧率约20 fps)。 本方法优点是无创、 自动化程度高、 结果具有客观性, 减少对医生主观经验的依赖, 有望实现基层偏远地区宫颈癌筛查的普及。

参考文献
[1] Wang C, Zheng W, Bu Y, et al. Archives of Gynecology & Obstetrics, 2016, 293(6): 1309. [本文引用:2]
[2] Comprehensive Cervical Cancer Control: A Guide to Essential Practice, Second Edition, WHO, December, 2014. [本文引用:1]
[3] JING Jia-yu, MU Jing-yi, WANG Yi-ying, et al(井佳雨, 牟婧祎, 王轶英, ). Journal of Chinese Practical Diagnosis and Therapy(中华实用诊断与治疗杂志), 2017, 31(2): 203. [本文引用:1]
[4] Rmf E, Hermens M, Paj V D A, et al. The Journal of Lower Genital Tract Disease, 2017, 21(3): 166. [本文引用:2]
[5] Hariri T S, Mahmoud R A S, Farzaneh F, et al. Journal of Biomedical Optics, 2013, 18(1): 17002. [本文引用:1]
[6] Zheng W, Wang C, Chang S, et al. Journal of Biomedical Optics, 2015, 20(12): 121303. [本文引用:1]
[7] Ren W, ! Qu Y, Pei J, et al. Journal of Medical Devices, 2017, 11(3): 031005. [本文引用:1]
[8] Ana Herrero-Langreo, Loredana Lunadei, Lourdes Lleo, et al. Journal of Food Science, 2011, 76(2): E178. [本文引用:1]
[9] Yoshida Naohisa, Yagi Nobuaki, Yanagisawa Akio, et al. World Journal of Gastrointestinal Endoscopy, 2012, 4(12): 545. [本文引用:1]
[10] Lange B, Jocham D, Brinkmann R, et al. Lasers in Surgery and Medicine, 2014, 46(8): 614. [本文引用:1]
[11] Wang Chaojian, Zheng Wenli, Bu Yanggao. Archives of Gynecology and Obstetrics, 2016, 293: 1309. [本文引用:1]
[12] YI Ding-rong, KONG Ling-hua, LIU Ting, et al(易定容, 孔令华, 刘婷, ). Infrared and Laser Engineering(红外与激光工程), 2017, 46(7): 248. [本文引用:1]
[13] Qi H, Kong L, Wang C, et al. Journal of Medical Systems, 2011, 35(5): 895. [本文引用:1]
[14] Ghimire S, Wang H. Computational Statistics & Data Analysis, 2012, 56(7): 2273. [本文引用:1]