尿沉渣结晶样本数据的采集使用了实验室自主搭建的显微高光谱成像系统(microscopy hyperspectral imaging system, MHIS)。 该显微高光谱成像系统的结构如图1所示。 显微成像系统主要包括以下组成部分: 卤素灯光源, 显微镜(备有10x、 20x和40x放大倍数的物镜), 用于采集彩色图像的彩色相机, 用于采集高光谱图像的灰度相机, 声光可调滤波器(acousto-optic tunable filter, AOTF)及其驱动器, 载物台驱动器和计算机。 该显微高光谱成像系统同时配备有实验室自主研发的控制软件, 采用凝采式原理进行显微高光谱成像。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 显微高光谱成像系统(MHIS)(a)框图与(b)实物图Fig.1 Scheme diagram (a) and photo (b) of the Microscopy Hyperspectral Imaging System (MHIS)

用于实验的尿液样本由上海市第六人民医院提供。 尿沉渣样本的显微高光谱图像数据采集流程如下: 首先, 使用吸管吸取定量的尿沉渣样本滴在载玻片上, 待尿液样本静止后, 盖上盖玻片, 并将其放置在载物台上。 随后, 启动配套的操作软件, 设置采集参数。 本实验的成像参数具体设置值如表1所示: 物镜倍数40x, 波段范围400~800 nm, 曝光时间150 ms, 采集波段数为60, 单视场像元数为2 048× 2 448, 高光谱图像数据采用波段序列BSQ文件格式保存, 彩色图像文件采用JPEG文件格式保存。 接着, 由专业的医师使用载物台控制器移动样本, 在目镜下寻找目标尿沉渣结晶所在的区域, 并进行对焦。 完成对焦后, 对尿沉渣结晶进行拍摄和保存。 在采集过程中, 卤素灯光源的光透过放置在载物台上的样本后进入物镜, 然后到达比例分光器。 其中一路进入彩色相机, 用于采集彩色图像; 另一路到达AOTF, 并通过AOTF驱动器在狭窄的波段上切换波长, 实现单波段成像, 经过连续采集获取尿液显微高光谱图像数据。

表1

Table 1

表1(Table 1)

表1 尿结晶样本成像参数设置 Table 1 Acquisition parameters for urine sediment crystalline samples 名称 参数值 波段范围/nm 400~800 波段数 60 波段分辨率/nm 5 曝光时间/ms 100 单视场像元数/px 2 048× 2 448 像素精度/bit 16 显微镜物镜放大倍数 40x 高光谱图像存储格式 BSQ 彩色图像存储格式 JPEG

表1 尿结晶样本成像参数设置 Table 1 Acquisition parameters for urine sediment crystalline samples

本实验中收集到的尿沉渣结晶样本主要包括以下五类: 草酸钙结晶(Calcium Oxalate, CaC₂O₄, 在显微镜下呈无色方形、 闪烁发光的八面体), 胱氨酸结晶(Cystine, C₆H₁₂N₂O₄S₂, 呈无色六角形片状结晶), 磷酸盐结晶(Calcium Phosphate Tribasic, Ca₃(PO₄)₂, 呈屋顶形或楞柱形, 有时可呈羊齿草叶形), 尿酸结晶(Uric Acid, C₅H₄N₄O₃, 在显微镜下为黄色或暗红色, 呈菱形、 三菱形、 长方形、 斜方形等形状), 以及三联磷酸盐结晶(triple phosphate crystals, 多呈刺球形或不规则形)。 图2为五类典型尿结晶样本在400x显微镜下放大的示例图, 从图中可以看出, 尽管大多数结晶有固定的形态特征, 但存在一些结晶的形态特征相近、 颜色差异较小的情况, 这直接影响了从彩色图像中分析结晶形态和进行自动分类的准确程度。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 尿沉渣结晶样本显微图像 (a): 草酸钙; (b): 胱氨酸; (c): 磷酸钙; (d): 尿酸; (e): 三联磷酸盐Fig.2 Microscopic images of urine sediments crystalline samples (a): Calcium oxalate; (b): Cystine; (c): Calcium phosphate tribasic; (d): Uric acid; (e): Triple phosphate crystals

由于在采集过程中, 光谱容易受到光源、 暗电流、 电压等因素的影响, 因此需要对采集到的原始显微高光谱图像进行预处理, 以获取反应样本真实光谱特征的数据。 我们将采集到的尿结晶样本的原始显微高光谱图像表示为I_raw∈ R^{h× w× c}; 在尿结晶样本的显微高光谱图像采集过程中, 同时会采集空白区域的样本, 记作I_blank, 用于数据预处理。

由于本实验中搭建的显微高光谱成像系统采用透射光, 高光谱图像中的像素值反应的物理意义为光的透过程度。 根据透过率公式对采集到的高光谱图像数据进行预处理

Ipre=IrawIblank(1)

使用空白图像I_blank对原始图像I_raw进行预处理后, 得到的显微高光谱图像可以反应样本的真实光谱特征I_pre。 本实验还对显微高光谱数据进行线性函数归一化操作, 将线性变换应用到原始数据上, 以确保原始数据的范围在[0, 1]之间。 线性函数归一化的公式如式(2)

Ised=Ipre-IminImax-Imin(2)

式(2)中, I_min、 I_max分别为数据集中像素点的最小值和最大值, 而I_sed则代表完成线性归一化后的输出高光谱数据。 如图3所示为预处理后的尿沉渣结晶显微高光谱图像数据示意图(以三联磷酸盐结晶为例)。 本实验收集的显微高光谱数据是兼具空间维度信息和光谱维度信息的三维数据立方体, 为后续尿沉渣结晶样本分析提供了丰富的图谱信息。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 尿结晶样本的显微高光谱数据立方体(以三联磷酸盐结晶为例)Fig.3 Microscopic hyperspectral data cube of urine sediment crystalline samples (taking Phosphatic crystals as an example)

1.3.1 方法

机器学习^[14]方法旨在从训练样本数据中学习知识, 建立模型, 以完成对应测试数据的分类和预测任务。 基于尿沉渣显微高光谱影像数据特点, 选用了机器学习中的四种常用分类算法— — KNN算法(K nearest neighbors, KNN)^[15]、 支持向量机(support vector machine, SVM)^[16]、 决策树(decision tree, DT)^[17]和神经网络(neural network, NN)^[19], 训练五类尿沉渣结晶样本的分类识别模型。

KNN算法^[13]是简单易用的非参数分类算法, 通过计算测试样本与训练样本集中所有数据的距离, 选取距离最近的K个样本, 以出现次数最多的类别作为分类结果。 KNN算法中的距离度量定义为$L_{p}\left(x_{i}, x_{j}\right)=\left(\sum_{i=1}^{n}\left(x_{i}-x_{j}\right)^{p}\right)^{\frac{1}{p}}$, 在本实验中, 设定p=2, 即采用欧式距离(Euclidean distance)。 邻居数量K值是KNN算法的一个重要超参数, 在本实验中, 通过网格搜索策略寻找最佳模型参数, 我们选择了K=5。 支持向量机SVM^[14]算法通过使用核函数将原始数据映射到更高维度的空间, 从而使得数据在新的空间中线性可分。 鉴于本实验需要对五类结晶进行分类, 我们采用了扩展的多分类支持向量机。 多分类支持向量机可以通过成对分类法或一类对余类等策略实现, 在高维空间中构建多个超平面用于分类。 通过网格搜索模型的最佳超参数, SVM超参数设置如下: 正则化项C设置为1, 采用高斯径向基函数核, 采用一类对余类策略实现多分类支持向量机。 决策树DT^[15]模拟了人类决策过程中的决策树结构, 决策树由节点和边组成, 其构建过程包括: 从所有特征中选择一个特征, 使得在该特征上对数据进行分割能够带来最大的信息增益或最小的不纯度; 根据所选特征的值将数据集分割成子集; 构建递归子树, 对每个子集重复上述两个步骤, 直到满足停止条件为止, 即达到预设的树的深度或节点中的样本数量少于某个阈值。 该算法能够捕捉数据中的非线性关系, 并在构建过程中自动选择特征。 我们选择不纯度计算方法为信息熵, 并将分枝中的随机模式设置为30。 神经网络NN^[19]是一种受人脑结构启发的机器学习模型, 由大量节点(或神经元)组成, 节点间通过加权的方式相互连结, 通过前向传播、 计算损失函数、 反向传播、 参数更新的方私迭代训练。 多层感知机(multi-layer perceptron, MLP)是一种经典的神经网络模型, 在图像分类、 文本预测等任务中有出色的表现。 通过网格筛选超参数, 训练了层数为4的多层感知机用于五类尿结晶分类, 隐藏层大小分别为256、 128、 64和32, 采用ReLU激活函数, 使用Adam优化器并设置初始学习率为0.001, 迭代训练了200轮。

1.3.2 评价指标

为了比较上述四种算法对于五类尿沉渣结晶样本光谱的分类能力, 使用了以下多分类评价指标:

假设类别i的准确率、 精准度、 召回率、 F1-score分别为Accuracy, Precision_i, Recall_i, F1_i, 它们的计算公式分别为式(3)— 式(6)

$Accuracy=\frac{TP}{\ \ \ TP+TN+FP+FN \ \ \ \ \ }$(3)

$Precisio{{n}_{i}}=\frac{T{{P}_{i}}}{T{{P}_{i}}+F{{P}_{i}} \ \ \ }$(4)

$Recal{{l}_{i}}=\frac{T{{P}_{i}}}{T{{P}_{i}}+F{{N}_{i}} \ \ \ }$(5)

$F{{1}_{i}}=\frac{2\times Precisio{{n}_{i}}\times Recal{{l}_{i}} \ \ \ \ \ \ }{Precisio{{n}_{i}}+Recal{{l}_{i}} \ \ \ }$(6)

式(3)— 式(6)中, TP(true positive)、 FP(false positive)、 TN(true negative)和FN(false negative)分别代表真阳性、 假阳性、 真阴性和假阴性。 准确率Accuracy_i衡量了模型正确分类的样本占总样本的比例, 召回率Recall_i是真阳性样本占模型预测为阳性的样本的概率, 精度Precision_i是预测为阳性的样本中真阳性样本所占的比例, 而F1_i分数则综合考虑了精度Precision_i和召回率Recall_i两个参数。

在计算每一类样本评价指标的基础上, 引入了加权平均指标来综合评价模型在所有类别上的表现。 精度和召回率的加权平均指标的定义如式(7)和式(8)

$Precisio{{n}_{w}}=\frac{\mathop{\sum }_{i=1}^{L}Precisio{{n}_{i}}\times {{w}_{i}} \ \ }{\left| L \right|}$(7)

$Recal{{l}_{w}}=\frac{\mathop{\sum }_{i=1}^{L}Recal{{l}_{i}}\times {{w}_{i}} \ \ }{\left| L \right|}$(8)

式(7)和式(8)中, w_i为类别i的占所有样本的比例, L为类别数。

F1分数的加权平均指标定义为

$F{{1}_{w}}=\frac{2\times Precisio{{n}_{w}}\times Recal{{l}_{w}} \ \ \ }{Precisio{{n}_{w}}+Recal{{l}_{w}} \ \ \ }$

加权平均指标能够考虑到类别不均衡的情况, 从而缓解由于类别不均衡而导致的评价指标偏差。