数据集来源于香港理工大学生物特征识别研究中心^[10], 多光谱掌纹采集设备结构如图1, 由CCD摄像机(灵敏度: 1 Lux)、 镜头(焦距: 3.6 mm)、 A/D转换器、 多光谱光源和光控制器组成。 该设备可以捕获分辨率为352× 288或704× 576的掌纹图像。 在采集过程中, 用户需要将手掌放在设备面板上, 通过面板上的控制点固定手掌。 由于连续灯光间切换时间非常短, 设备可以在一秒内采集四种光谱下的掌纹图像。 两幅图像之间的平移或旋转非常小, 因此图像融合时不再需要配准。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 多光谱掌纹成像设备Fig.1 Schemetic diagram of the multispectral palmprint imaging device

从采集的图像中提取感兴趣区域(ROI)是多光谱掌纹识别的关键步骤, ROI是后续图像处理的根本运算区域。 采用基于最大内切圆法的分割方法^[11], 如图2所示, 在对掌纹图像二值化后, 以手掌外侧轮廓作为定位参考线, 以手掌上最大内切圆的圆心为原点来构建掌纹图像坐标系, 裁剪内接正方形即掌纹ROI。 图2(d)为分割后近红外光谱下的掌纹ROI, 大小为128× 128。 这种分割方法能有效地增强掌纹图像中主线和褶皱线的对比度, 降低掌纹采集时旋转和平移的影响。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 多光谱掌纹ROI提取过程 (a): 近红外光谱下掌纹图像; (b): 二值化; (c): 最大内切圆; (d): 近红外掌纹ROIFig.2 Multispectral palmprint ROI extraction process (a): Near-infrared palmprint; (b): Binarization; (c): Maximum incision circle; (d): Near-infrared palmprint ROI

图3为所提出的基于多尺度分解的多光谱掌纹图像识别算法流程, 该算法主要包括四个步骤, 首先多光谱掌纹图像执行快速自适应二维经验模式分解(FABEMD)。 其次, 对近红外光谱下分解后的二维固有模态函数(BIMF)通过Bezier插值重建背景, 利用光谱特性差异预估可能的背景从而对显著特征进行细化。 再次, 为避免各光谱特征直接融合产生过度曝光的问题对近红外特征进行压缩后加权融合。 最终, 利用结合了注意力机制的改进残差网络对多光谱掌纹融合图像进行分类。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 基于多尺度分解的多光谱掌纹图像识别算法流程Fig.3 Multispectral palmprint ROI extraction process

1.2.1 快速自适应二维经验模态分解

快速自适应二维经验模式分解(FABEMD)是一种新型信号自适应处理工具^{[12, 13]}, 目的是将信号分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量。 FABEMD算法采用顺序统计滤波器和平滑滤波器生成上下包络曲面, 其中滤波器大小由数据推导而来, BIMF的生成基于迭代筛选。 令源信号为I, BIMF为S, 残余量为R, 2D信号I分解过程可由式(1)表示

$\text{I}=\overset{K}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,{{S}_{i}}+R$(1)

FABEMD具体分解步骤如下:

Step1: 设置i=1并初始化J₁=I。

Step2: 如图4所示, 利用相邻窗口搜索策略识别出局部极大值矩阵M_i和局部极小值矩阵N_i。 如果一个数据点的值高于或低于邻域窗口内的所有值, 则该数据点被视为局部极值。 需要注意的是, 在边界或角点处寻找极值点时, 一般忽略图像外的邻域。 通常, 3× 3是最佳窗口大小。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 局部极大极小映射 (a): 源信号矩阵; (b): 局部最大值矩阵; (c): 局部最小值矩阵Fig.4 Mapping of local maxima and local minima (a): Source signal; (b): Local maxima map; (c): Local minima map

Step3: 根据局部极值M_i和N_i确定统计排序滤波器的最佳窗口大小, 对每个局部极大值M_i计算到其他局部极大值的欧式距离, 并将其存储在数组d_adj-max中。 同样地, 向量组d_adj-min也是这样计算的。 其中数组大小与极值数量相同。 考虑到窗口形状, 统计排序滤波器总的窗口尺寸取决于式(2)— 式(4)四种方式

Wen⁃g=d1=min{min{dadj⁃max}, min{dadj⁃min}}(2)

Wen⁃g=d2=max{max{dadj⁃max}, min{dadj⁃min}}(3)

Wen⁃g=d3=max⁡maxmin⁡mindadj⁃max, min⁡mindadj⁃min(4)

Wen⁃g=d4=min{max{dadj⁃max}, max{dadj⁃min}}(5)

最终窗口大小W_en是对W_en-g奇数取整, 多光谱掌纹图像的中窗口范围为3~69。

Step4: 首先, 将窗口大小为w_en× w_en的max和min滤波器根据式(6)和式(7)生成上下包络。

UEi(m, n)=max{Ji(s, t)∈zmn(s, t)}(6)

LEi(m, n)=min{Ji(s, t)∈zmn(s, t)}(7)

其中, z_mn是大小为w_en× w_en的方形区域, 中心为矩阵J_i中点(m, n), U_Ei(m, n)为区域z_mn中的最大值, 即点(m, n)的上包络值。 同理, L_Ei(m, n)为点(m, n)在z_mn区域的最小值, 即点(m, n)的下包络值。 为了获得上下包络线的光滑连续曲面, 对U_Ei(m, n)和L_Ei(m, n)进行平滑操作

${{U}_{Ei}}\left( \text{m},\text{n} \right)=\frac{1}{{{w}_{en}}\times {{w}_{en}}}\underset{\left( s,t \right)\in {{z}_{mn}}}{\mathop \sum }\,{{U}_{Ei}}\left( s,t \right)$(8)

${{L}_{Ei}}\left( m,n \right)=\frac{1}{{{w}_{en}}\times {{w}_{en}}}\underset{\left( s,t \right)\in {{z}_{mn}}}{\mathop \sum }\,{{L}_{Ei}}\left( s,t \right)$(9)

Step5: 通过S_i=(U_Ei+L_Ei)/2计算第i个BIMF。 令i=i+1, J_i=J_i-1-S_i-s, 重复Step2至Step5, 直至分解的BIMF个数为k, 停止分解。

基于上述步骤, 2D信号I被分解为k个BIMF再根据式(1)计算剩余残量R。 图5为绿色光谱下的掌纹图像通过FABEMD算法分解的结果, 可以看出分解后的BIMFs包含稳定的掌纹特征, 其中图5 (g)是对k个BIMFs求和得到的特征显著的图像。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 使用FABEMD对掌纹图像进行分解 (a): 绿色光谱下掌纹图像; (b): BIMF1; (c): BIMF2; (d): BIMF3; (e): BIMF4; (f): 残差余量; (g): SGFig.5 Decompositions of a palmprint image using FABEMD (a): Green ROI; (b): BIMF1; (c): BIMF2; (d): BIMF3; (e): BIMF4; (f): The residue; (g): The sum of K BIMF

1.2.2 近红外背景重建及特征细化

在实际应用中, 多光谱图像采集过程并不像图1中描述的那样受到限制, 并且采集过程中光照条件不稳定, 而近红外光谱图像在进行FABEMD分解时对光照变换非常敏感, 容易导致分解后的BIMF背景信息过于冗余。 由此, 对近红外光谱分解求和后的显著图像重建背景, 通过平滑背景来解决近红外光谱图像背景信息过于冗杂的问题。

形态学算子和Bezier插值是两种应用广泛的背景重建技术。 形态学开放算子可以有效地估计红外背景, 但估计的背景往往会产生遮挡伪影, 影响融合后图像识别准确性。 而Bezier插值可以生成一个平滑的凸背景, 该背景与实际背景非常相似且能有效剔除冗余背景。 因此, 采用Bezier插值算法来重建近红外背景。 Bezier插值是通过插值一些已知的控制点来恢复大规模矩阵的算法, 这些控制点可以自适应地估计图像背景。 为了准确地重建红外背景, 在近红外掌纹图像中均匀采样九个控制点, 并插值重建Bezier曲面如式(10)

S̃I(m, n)=MPSIPTNT(10)

式(10)中, (m, n)为插值点, 其位置由0和1之间的插值比表示。 S_I为插值点(m, n)的特征矩阵。 P表示常量插值系数矩阵 100-3-60131。

相较于其他光谱, 近红外光谱下的掌纹图像包含的特征对后续身份识别影响较大。 通过对数据集分析处理, 发现近红外光谱下掌纹图像平均灰度值均大于其他光谱, 且与绿色光谱下的掌纹图像平均灰度值差异最大。 因此, 利用插值后近红外图像与通过FABEMD算法分解后的绿色光谱图像灰度差异的正部分来估计可能的近红外背景区域, 并对估计的背景乘以适当的抑制比来进一步细化红外特征。

S̃'I=max(S̃I-SG, 0)-α(max(S̃I-SG, 0))(11)

如图6所示, S'_I是最终处理后的近红外光谱下的特征图像, S̃I分别表示近红外光谱下经过Bezier插值后的图像, S_G表示绿色光谱下经过FABEMD算法分解求和的图像。 α 表示背景抑制比, 通常取值在0-1之间, 在此设置为0.6。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 近红外掌纹图像处理过程 (a): 近红外掌纹ROI; (b): SI(BIMF求和); (c): ${{\tilde{S}}_{I}}$(Bezier插值); (d): S′I(特征细化)Fig.6 Near-infrared palmprint image processing (a): NIR ROI; (b): SI; (c): ${{\tilde{S}}_{I}}$(Bezier interpolation); (d): S'I(feature refinement)

1.2.3 多光谱掌纹图像融合

直接融合所有多光谱掌纹图像有时会产生过度曝光, 如图7(a)所示, 融合图像上的曝光点会影响后续身份识别, 为避免产生这一问题, 对处理后的近红外光谱掌纹特征进一步压缩。

$S{{\prime\prime }_{I}}=\beta \times S{{'}_{I}}$(12)

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 多光谱掌纹融合图像 (a): 未经过特征压缩的融合图像; (b): 经过特征压缩的融合图像Fig.7 Multispectral palmprint fusion image (a): Fused images without feature compression; (b): Fused images with feature compression

式(12)中, S″_I为近红外光谱下压缩后的掌纹特征, β 为特征压缩比, 取融合后图像曝光度为前1%的平均值Avg₁来泛化整体融合后图像的过度曝光程度。

β=min255Avg1, 1(13)

至此, 将所有光谱下处理后的掌纹图像通过式(14)进行融合。

Tj=S″I+μ(SR+SG+SB)(14)

式(14)中, S_R, S_G和S_B分别为在红、 绿、 蓝三色光谱下经过FABEMD算法分解求和的掌纹图像, S″_I为经过特征压缩后的近红外光谱的掌纹图像, μ 为红、 绿、 蓝三色光谱在融合时的权重, 将μ 设置为0.2, T^j为最终融合了各个光谱的掌纹图像, 如图8所示。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 多光谱掌纹融合过程 (a): SR(红色光谱下分解求和的图像); (b): SG; (c): SB; (d): S″I(经过压缩的红外特征); (e): 融合图像Fig.8 Multispectral palmprinu fusion process (a): SR (red in FABEMD); (b): SG; (c): SB; (d): S″I(NIR with feature compression); (e): Fusion process

1.2.4 结合了注意力机制的改进残差网络(IRCANet)

随着卷积神经网络不断深入, 由梯度爆炸和梯度弥散引起的网络退化问题使得学习难度不断增加。 ResNet^[14]利用残差块作为网络基本单元, 引入恒等映射来缓解这一问题。 然而, 简单地叠加残差块以构建更深的网络很难获得更好地改进, 并且残差网络平等地对待每个通道特征, 缺乏跨特征通道的学习能力, 对融合后的多光谱掌纹图像中的高低频信息不能有效区分, 从而影响最终身份识别效果。 为了解决这些问题, 提出了一种基于通道注意力机制的改进残差网络(IRCANet)。

图9显示了本文所提出的IRCANet整体网络架构, 它主要包括三个部分: 在卷积层对浅层特征进行提取, 再继续输入结合了注意力机制的改进残差模块(IRG)模块中提取有区分度的高频显著特征, 最终通过全连接层进行分类识别。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 结合了注意力机制的改进残差网络的架构Fig.9 Network architecture of improved residual channel attention network (IRCANet)

首先, 利用一个卷积层(Conv)从融合后的掌纹图像T中提取出浅层特征T₀, 如式(15)

T0=Uconv(T)(15)

在网络训练初期, 考虑到传统残差模块主传播路径的ReLU函数可能通过将信号归零的方式对信息在网络间的传播产生负面影响, 如图10(a)。 直接允许信号以不受控制的方式通过网络会使完整信号变得非标准化, 导致网络在后期训练困难。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 传统残差结构与分阶段残差结构Fig.10 Original ResBlock and ResStageBlock

由此, 引入了一种分阶段残差结构(ResStage Block), 为信息传播提供了更好的路径, 如图10(b); 首先在每个阶段连接处引入批量归一化(BN)模块, 使信号稳定地进入下一阶段传播。 其次, 通过固定主路经上的ReLU函数数量, 避免在网络加深时信号传输受阻。 这种新的分阶段学习残差结构相较于传统残差块堆叠的结构, 能够有效缓解网络的退化问题, 在学习过程中减少信息丢失, 促进了信息在网络中的传播。

对于融合后的多光谱掌纹图像, 分阶段残差结构能够稳定地将图像信息在网络间传输, 但对图像中的高低频信息区分效果不够显著。 由此, 为了使网络关注更多区分性特征, 利用特征通道间的相互依赖性, 在改进的残差块中引入通道注意力(channel attention)机制。 如图11。 在新的残差结构中, 融合图像里的高频信息在训练过程中更容易被关注。 这种结合了注意力机制的改进残差结构能够在减少信息丢失的同时更关注通道间的特征信息, 不仅能促进信息在网络中的传播还能更进一步地增强网络的辨别能力。

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 结合了注意力机制的残差模块Fig.11 Improved residual block with channel attention

由此, 将提取出的浅层特征T₀输入结合了注意力机制的改进残差模块即IRG模块。

TDF=UIRG(T0)(16)

最终, 通过全连接层对输出的深层特征进行分类处理

F=UFC(TDF)=UIRCAN(T0)(17)

式(17)中, U_FC和U_IRCAN分别表示全连接层和本文所提出的IRCANet结构, F表示网络分类结果。

采用香港理工大学提供的PolyU多光谱掌纹数据库^[8]。 图像来自20~60岁的195名男性志愿者和55名女性志愿者, 总共分两次采集, 时间间隔约9 d, 每次采集左右手掌共12张图像。 掌纹图像采集于四个光谱波段, 即红色、 绿色、 蓝色和近红外波段。 每个波段有6 000张来自500个不同手掌的图像。 图12展示了一些多光谱掌纹ROI样本。

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 PolyU掌纹数据集Fig.12 Multispectral palmprint samples in the PolyU database

通过实验对FABEMD算法中顺序统计滤波器的窗长大小(d₁, d₂, d₃, d₄)及分解的BIMF个数进行讨论, 结果如图13所示。 为了测试BIMF数量的影响, 将分解个数K值从1逐渐增加到6, 可以观察到K值为4时并且当滤波器窗长为d₁时, 效果最好。

图13

Fig.13

	Figure Option ViewDownloadNew Window
	图13 FABEMD算法中设置不同参数的效果Fig.13 Accuracies of different K values in FABEMD

为了获得IRCANet最优参数, 按照训练集、 测试集7∶ 3的比例随机对融合图像进行划分, 再根据所设置的参数进行不同的实验对比, 得到的结果如表1所示, 当IRCANet使用最优的参数设置时, 融合图像平均精准度最高可以达到99.67%。

表1

Table 1

表1(Table 1)

表1 调整IRCANet参数平均准确率 Table 1 Average accuracies of different IRCANet parameters 学习率 批大小 迭代次数 平均精准度/% 0.001 4 100 97.88 0.001 4 200 98.93 0.001 6 100 99.67 0.001 6 200 99.59 0.000 1 8 100 99.62

表1 调整IRCANet参数平均准确率 Table 1 Average accuracies of different IRCANet parameters

每个光谱带可以捕获一些特定的和互补的手掌特征, 为掌纹识别提供不同的信息。 近红外光谱的掌纹图像包含的特征更为显著, 对后续身份识别干扰性强。 为了验证本文所提出的对多光谱掌纹图像融合策略有效, 将近红外光谱图像处理后再融合与直接加权融合进行比较。 表2展示了三个光谱带与近红外光谱不同组合测试本文所提出的融合策略结果。 图14表示在融合所有光谱的条件下, 三种融合策略最优的识别精准度。 可以观察到, 采用直接加权的融合策略近红外与红色光谱融合效果最好, 但也仅仅达到92.04%, 对一些高精度识别很难符合要求。 在对近红外图像进行背景重建后, 融合图像识别效果显著增强, 融合所有光谱后精准度能够达到95.12%。 由此, 进一步对红外特征细化, 很明显, 对于任何融合组合, 本文所提出的对近红外特征进行背景重建及特征细化后再融合的策略效果显著, 在融合所有光谱的情况下, 识别精准度为99.67%。

表2

Table 2

表2(Table 2)

表2 多光谱组合在不同融合策略下的精准度 Table 2 Accuracies of multispectral combinations under different fusion strategies 融合光谱带 精准度/% 直接加权 融合 红外背景 重建 红外背景重建 及特征细化 Red, NIR 92.04 95.08 99.49 Green, NIR 90.63 93.35 99.22 Blue, NIR 91.72 94.41 99.37 Red, Green, NIR 91.12 94.92 99.05 Blue, Red, NIR 90.76 95.01 99.45 Blue, Green, NIR 90.68 93.77 99.19 Blue, Green, Blue, NIR 90.92 95.12 99.67

表2 多光谱组合在不同融合策略下的精准度 Table 2 Accuracies of multispectral combinations under different fusion strategies

图14

Fig.14

	Figure Option ViewDownloadNew Window
	图14 多光谱(R, G, B, N)掌纹图像在不同融合策略下最优效果Fig.14 Accuracies of different fusion strategies for multispectral (R, G, B, N) palmprint images

利用识别精准度作为度量对结合了注意力机制的改进残差模块、 分阶段学习残差模块和传统残差模块进行比较。 表3描述了不同光谱组合在三种残差模块下的识别精准度, 图15表示在融合所有光谱的条件下, 各残差模块最好的效果。 可以发现, 本文所提出的结合了注意力机制的改进残差模块识别精度最高。 对于任何谱带组合, 结合了注意力机制的改进残差模块对高低频信息地有效区分使得识别效果优于其他残差模块。

表3

Table 3

表3(Table 3)

表3 多光谱组合在不同残差结构下的精准度 Table 3 Accuracies of multispectral combinations under different residual structures 融合光谱带 精准度率/% 传统残差 结构 分阶段残 差结构 结合注意力 机制分阶段 残差结构 Red, Blue 96.37 91.23 99.25 Green, Red 95.57 90.55 99.41 Blue, Green 93.10 89.58 99.51 Red, NIR 96.93 92.66 99.09 Green, NIR 95.03 91.11 99.22 Blue, NIR 95.70 90.99 99.37 Red, Green, Blue 96.79 92.13 99.10 Red, Green, NIR 94.71 90.60 99.05 Blue, Red, NIR 95.36 91.51 99.55 Blue, Green, NIR 96.85 91.74 99.49 Blue, Green, Blue, NIR 94.03 90.80 99.67

表3 多光谱组合在不同残差结构下的精准度 Table 3 Accuracies of multispectral combinations under different residual structures

图15

Fig.15

	Figure Option ViewDownloadNew Window
	图15 多光谱(R, G, B, N)掌纹图像在不同残差结构下最优效果Fig.15 Optimal results of different residual structures for multispectral (R, G, B, N) palmprint images

为进一步评估所提出的结合了注意力机制的改进残差网络(IRCANet), 与近年来主流网络GoogleNet^[15], DenseNet^[16]和VggNet^[17]对融合后的多光谱掌纹图像的分类识别作比较, 从图16可以看出, 相较于其他网络, 所提出的IRCANet对融合后的多光谱掌纹图像更具有针对性, 性能更好。

图16

Fig.16

	Figure Option ViewDownloadNew Window
	图16 多光谱掌纹融合图像在不同主流网络下的识别效果 (a): 识别趋势; (b): 精确度对比Fig.16 Recognition effect of different mainstream networks for multispectral palmprint fusion images (a): Recognition trends; (b): Accuracy contrast

将本算法与其他多光谱掌纹图像识别算法进行对比。 其中, 文献[18]基于小波的图像融合方法作为数据级融合策略, 采用竞争编码方案作为匹配算法, 该算法对模糊图像是有效的, 可以很好地模拟无监控的图像捕获。 文献[10]对多光谱掌纹图像的每个光谱带进行提取, 分析光谱带之间的相关性, 提出了一种分数级融合决策方案。 文献[19]提出了一种基于四元数模型的多光谱图像处理方法, 利用应用主成分分析(PCA)和离散小波变换(DWT)提取掌纹特征, 利用欧几里得距离和和最近邻分类器进行识别决策。 文献[20]提出了一种散射网络, 利用多类支持向量机和最小距离分类器进行分类。 文献[21]提出一种新的联合像素级和特征级对齐(JPFA)框架进行识别。 文献[22]提出了一种新的深度学习框架Inception-ResNet。 以上文献算法对所有光谱图像均使用单一算法, 没有考虑到近红外光谱下掌纹图像的特殊性, 在这些方法中, 所提出的算法识别精度最高, 具体对比如表4所示。

表4

Table 4

表4(Table 4)

表4 多光谱掌纹识别算法对比 Table 4 Comparison of multispectral palmprint recognition algorithms 算法 Accuracy/% Image-level fusion by DWT[18] 99.03 Matching score-level fusion[10] 99.43 QPCA+QDWT[19] 98.83 Deep Scattering Network[20] 99.40 Joint Pixel and Feature Alignment[21] 99.16 Inception-ResNet[22] 98.74 本算法 99.67

表4 多光谱掌纹识别算法对比 Table 4 Comparison of multispectral palmprint recognition algorithms

为评估本算法性能, 给出了使用该算法识别多光谱掌纹图像时每个步骤的平均执行时间。 如表5所示, 本方法对于实时应用效果较好。

表5

Table 5

表5(Table 5)

表5 本算法的时间性能 Table 5 Time cost of the proposed method 算法步骤 平均运行时间/s FABEMD 0.175× 4 近红外背景重建及特征细化 0.186 图像融合 0.002 1 分类识别 0.001 5 总的识别时间 0.889 6

表5 本算法的时间性能 Table 5 Time cost of the proposed method