1.1.1 总体框架

在红外与可见光图像的分辨率不一致的情况下进行图像融合, 首先需要有效提取源图像的重要信息, 再提高红外特征的分辨率, 同时与可见光特征进行有效融合, 最后重建出高分辨率的融合图像。 研究中设计了多任务卷积神经网络, 整个模型由两个子网络组成, 分别用于红外图像超分辨率重建和图像融合两个任务, 模型框架如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 模型框架图Fig.1 Architecture of the model

红外图像超分辨率重建部分网络分为特征提取、 特征上采样两个过程。 特征提取层由4组3× 3卷积层、 leaky ReLU激活函数组成, 为了防止梯度消失, 使用了残差结构, 用短连接将上一层的输出传递到下一层输出, 同时将前4层提取的红外特征输入特征上采样模块, 输出特征的大小为可见光图像分辨率, 最后将上采样后的红外特征用3× 3卷积层、 Tanh激活函数映射到[-1, 1]区间得到超分辨率后的红外图像 IIRsr。 融合子网络由特征提取、 自注意力模块组成。 将可见光图像I_Vis作为融合子网络的输入, 用3× 3卷积层和leaky ReLU激活层提取特征, 与上采样后的红外特征在通道维度相加后输入线性注意力模块、 学习特征间每个位置的非线性关系, 最后经过3× 3卷积层、 Tanh激活函数输出融合图像。 在模型推断时, 将低分辨率红外图像 IIRlr、 可见光图像I_Vis分别输入网络, 可以得到超分后的红外图像 IIRsr和融合图像I_f。

1.1.2 特征上采样模块

广义上的空间域超分辨率重建方法包括三个类别: 基于插值、 基于重建和基于学习的重建方法。 其中最早提出的是基于插值的重建方法, 这种方法理论简单、 易于实现, 包括双线性插值、 双立方插值等。 超分辨重建是一个病态问题, 难点在于上采样过程, 一般上采样层有亚像素卷积层、 反卷积层^[9]等方法。 亚像素卷积层是将若干个特征图的像素重新排列成一个新的特征图, 例如, 在放大倍数为r的网络中, 假设特征图尺寸为r²× H× W, 亚像素卷积层会将该特征图重新排列成1× rH× rW的高分辨率特征图, 从而达到上采样的效果。 反卷积层是通过转置后的转换矩阵与特征图进行卷积操作, 从而将低维特征映射到高维特征。 但是这些上采样方法只能实现单一倍数的上采样, 任意尺度上采样一直是超分领域的难点。

为了能够生成任意分辨率的红外超分图像, 研究中设计了特征上采样模块, 结构如图2所示。 首先用双线性插值方法按照平滑性假设增加像素个数, 初步计算得到高分辨率红外特征, 实现特征高宽与可见光特征相同, 然后利用多层感知器(multilayer perceptron, MLP)学习平滑特征与真实高分辨率特征间的非线性关系, 多层感知器由4层参数为[256, 256, 256, 64]的全连接层组成, 在每层全连接层后用ReLU激活函数防止网络退化, 增强网络非线性。 令双线性插值后得到的特征图为F⁰, 每层隐藏层按照式(1)不断迭代传播信息

Fl=fl(WlFl-1+bl), l=1, 2, 3, 4(1)

式(1)中, F^l-1和F^l分别表示第l-1、 l层的特征, W^l和b^l分别表示第l层的权重与偏置, f_l表示ReLU激活函数。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 特征上采样模块结构示意图Fig.2 Architecture of feature up-sampling block

1.1.3 线性注意力模块

传统卷积网络的感受野受到卷积核大小以及网络深度的限制, 难以学习到全局信息。 自注意力这一概念最早应用在自然语言处理领域, 是一种计算单个序列不同位置的关联来表达序列的注意机制, 可以将全局信息引入网络中, 增加感受野。 自注意力机制通过测量查询向量元素与每个关键向量元素之间的相似度来选择相关信息, 输出向量是由相似度得分加权值向量的总和, 如果相似度高就能从值向量中提取相关信息。 令输入的序列为x, 分别用投影矩阵W_q∈ R^{F× D}, W_k∈ R^{F× D}, W_v∈ R^{F× M}将x映射为查询向量Q、 关键向量K、 值向量V, x的自注意力计算公式如式(2)所示。

Q=xWqK=xWkV=xWvSelfAttention(x)=softmaxQKTDV(2)

式(2)中, D为列向量的维度, softmax激活函数作用在QK^T上。 假设将Q和K的长度表示为N, 同时设它们的特征维度为D, Q和K的点积引入了计算成本, 并且计算复杂度随输入序列的长度呈二次方增长[O(N²)], 在提取尺寸较大的图像全局信息时对计算资源要求很高。

本工作引入了线性注意力机制, 能在提取全局相关信息的同时减少计算成本, 模块结构如图3所示。 先将红外与可见光特征在通道维度相加以后得到特征f_in, 特征大小为[B, H, W, C], 分别用矩阵W_q∈ R^{C× D}, W_k∈ R^{C× D}, W_v∈ R^{C× D}将f_in映射为尺寸为[B, H, W, D]的Q, K, V。 自注意力中最重要的是计算Q和K之间的关系, 可以由式(3)表示。

V'i=∑\mathrm{i=1}Nsim(Qi, Ki)Vi∑\mathrm{i=1}Nsim(Qi, Ki)(3)

原始自注意力机制中的相似性是由内积计算得到的, Linear Transformer通过用替代核函数sim(Q, K)=ϕ (Q)ϕ (K)^T的方法代替原始注意力层中使用的指数核, 将自注意力的计算复杂度降低到O(N), 计算方法如式(4)所示。

V'i=ϕ(Qi)T∑\mathrm{i=1}Dϕ(Ki)VTiϕ(Qi)T∑\mathrm{i=1}Dϕ(Ki)ϕ(x)=elu(x)+1(4)

然后用激活函数ϕ (x)增强特征Q和K的非线性表达能力得到ϕ (Q)∈ R^{B× H× W× D}, ϕ (K)∈ R^{B× H× W× D}, 计算特征图中每个位置与其他位置特征的相似性权重V'_i, 并与f_in相加得到f_out。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 线性注意力结构图Fig.3 Architecture of linear attention

图像融合是一个无监督问题, 损失函数决定了多分辨率图像的融合效果。 本工作需要同时对超分辨率重建和图像融合任务进行优化来提高模型的学习能力, 因此设计了多任务损失函数, 模型损失函数由梯度损失L_gradient和像素损失L_pixel组成。

理想的融合图像既能包含可见光的细节纹理信息, 又能突出红外热目标。 一般图像边缘越清晰, 图像信息越丰富, 清晰度越高。 为了保留源图像中的特征并将其融合在一张图像上, 需要保留红外与可见光图像中的灰度变化趋势, 实现互补信息的融合。 采用高斯拉普拉斯算子LoG分别计算可见光图像I_Vis、 红外图像I_IR和生成的融合图像I_f的响应值, 保留红外与可见光图像中梯度变化较大处的响应值, 并计算该值与融合图像响应值的Frobenius范数, 如式(5)和式(6)所示。

∇I˜f(x, y)=∇IVis(x, y), |∇IVis(x, y)|> |∇IIR(x, y)|∇IIR(x, y), |∇IVis(x, y)|≤|∇IIR(x, y)|(5)

Lgradient=1HW‖∇If-∇I˜f‖F2(6)

其中, ∇ I˜f(x, y)表示像素点(x, y)处的响应值, H和W分别表示高度和宽度, ∇表示LoG算子, ‖ · ‖F2表示Frobenius范数。

像素损失L_pixel用来优化真实高分辨率与超分辨重建的红外图像间灰度值分布差异, 如式(7)所示。

Lpixel=‖IIR-IIRsr‖F2(7)

式(7)中, I_IR表示真实红外图像, IIRsr表示超分后的红外图像, ‖ · ‖ ₂表示Frobenius范数。

像素损失L_pixel与梯度损失L_gradient共同组成了本模型的损失函数L_total对网络进行训练, 并引进参数λ 平衡L_pixel和L_gradient对模型的作用, 如式(8)所示。

Ltotal=λLpixel+Lgradient(8)

本文在RoadScene数据集进行模型训练, 该数据集从FLIR数据集中选取了221对红外与可见光图像进行图像增强、 配准等预处理。 在RoadScenes数据集中随机抽取了200对图像作为训练集, 为了测试模型泛化性能并且更直观地与其他算法进行对比, 从TNO数据集中选取20对图像作为测试集。 在训练模型前, 先将训练集用水平翻转、 垂直翻转与90° 旋转等方法进行数据增强, 并每隔12像素将图像裁剪成64× 64大小, 扩充训练集防止模型过拟合。 然后将高分辨率红外图像作为真值I_IR(ground truth), 将I_IR进行4倍双三次下采样后得到低分辨率红外图像 IIRlr, 同时对可见光图像进行HIS算法分解, 将可见光的I分量表示为I_Vis, 然后将 IIRlr、 I_Vis归一化到[-1, 1]输入网络, 输出64× 64大小的红外图像 IIRsr与融合图像I_f。 在模型推断时, 可以输入任意分辨率的红外与可见光图像, 输出与可见光图像分辨率一致的红外图像与融合图像。

本研究中网络使用的卷积大小均为3× 3, 通道数为64, 损失函数中的λ 为500, 使用参数β ₁=0.9, β ₂=0.999的Adam^[10]算法进行优化, 整个模型训练的epoch数为10, 批量大小为32, 学习率设为10^-4。 模型使用了Tensorflow框架, 训练环境为NVIDIA 1080 Ti GPU。 本算法与ASR^[2], HMSD_GF^[11], FusionGAN^[5], MLF^[8]算法在TNO测试集上进行了对比, 其中ASR、 HMSD_GF为传统算法, FusionGAN、 MLF为基于深度学习的算法。 除了对算法进行主观评价以外, 还使用了信息熵(entropy, EN)、 差异相关性总量(sum of the correlations of differences, SCD)^[12]、 标准差(standard deviation, SD)、 平均梯度(average gradient, AG)^[13]和空间频率(spatial frequency, SF)^[14]五个客观评价指标进行图像客观质量评价, 指标值越大表示成像效果越佳。

为了证明所提出方法的有效性, 设置了5种不同尺度的源图像分辨率, 如表1所示。 将原始红外图像使用不同尺度因子的双三次插值计算低分辨率红外图像, 可见光图像分辨率不变, 输出的红外图像、 融合图像的目标分辨率与可见光图像分辨率相同。 例如, Setting #2表示要融合的红外和可见光图像的长、 宽分别是原始图像的1/2和1倍, 即可见光图像分辨率是红外图像的2倍。 红外图像与可见光图像分辨率之间的比例关系是相对的, 因此在改变输入分辨率的同时固定融合图像分辨率与可见光图像分辨率相同的策略是合理的。

表1

Table 1

表1(Table 1)

表1 不同尺度的源图像分辨率设置 Table 1 Source image resolution settings of different scales Setting#1 Setting#2 Setting#3 Setting#4 Setting#5 Visible 1.0 2.0 3.0 4.0 6.0 Infrared 1.0 1.0 1.0 1.0 1.0

表1 不同尺度的源图像分辨率设置 Table 1 Source image resolution settings of different scales

考虑到ASR, HMSD_GF, FusionGAN三种算法只能实现相同分辨率的图像融合, 在测试时这三种方法输入的红外图像是按照表1所示的尺度关系将低分辨率红外图像用双三次插值算法模拟计算得到的, 可见光图像的分辨率不变。 5种算法在TNO数据集“ men in front of house” 图像对上的效果如图4所示。 从图4可得, ASR算法的融合图像较为平滑, 边缘较为模糊, 降低了红外目标的显著性; HMSD_GF算法生成的图像在大块平滑区域出现不必要的纹理变化, 红外目标边界不清晰, 随着红外图像质量的下降, 融合算法效果也受到了影响; FusionGAN 算法生成的融合图像分布趋近于红外图像, 丢失了大量可见光细节特征; MLF算法没有将指示牌等互补信息融合到图像中, 并且在低倍数下生成的图像较为平滑, 在源图像分辨率相差4倍及以上时引入了大量噪声, 细节丢失严重, 边缘出现扭曲。 本算法能够实现不同分辨率的图像融合, 既能突出红外目标, 又能较好保留可见光的细节纹理信息, 并且当红外图像分辨率是可见光图像的1/4、 1/6时, 图像边缘锐化, 有提升对比度的效果。 同时, 本方法无需重新训练模型就能生成任意尺度的红外上采样图像, 在“ man_in_doorway” 图像上的测试结果如图5所示, 与双三次插值方法相比, 在放大6倍时依旧能保持良好的红外目标边缘, 与真值(groundtruth)相比有一定的增强效果。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 不同分辨率“ men in front of house” 图像上不同方法的融合结果 从上至下分别为: Settings 1— 5任务下的实验结果, 从左到右分别为ASR, HMSD_GF, FusionGAN, MLF和本计算结果Fig.4 Fusion results of different methods on the “ men in front of house” example with five settings From top to bottom: the results on the tasks of Settings 1— 5; From left to right: the results generated by ASR, HMSD_GF, FusionGAN, MLF and our method, respectively

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 在“ man_in_doorway” 不同尺度上采样的视觉比较Fig.5 The visual comparison on the “ man_in_doorway” up-sampling with different scale factors

研究中抽取了TNO数据集的20对图像进行图像客观质量评价, 结果如表2所示。 setting #1— 5任务中本算法在EN, SCD和SD指标上的表现最好, 在SF指标上本算法在setting#2— 5任务中表现最优, 在AG指标上本算法在setting#3和setting#4任务中表现突出, 其他任务中与HMSD_GF算法接近, 并且随着红外图像分辨率的降低, 本算法优势越明显。 综合来看, 本算法重建的融合图像信息量丰富、 边缘清晰, 纹理细节保留较为完整, 视觉效果较好, 在红外与可见光图像分辨率相差较大时依旧能保持良好的成像质量。 而且本模型在分布差异较大的RoadScene和TNO数据集上分别进行训练与测试, 图像质量的主客观评价结果优异, 说明本模型的泛化能力较强。

表2

Table 2

表2(Table 2)

表2 不同图像融合方法在TNO数据集上的客观评价结果 Table 2 Objective evaluation results of different image fusion methods on the TNO dataset Tasks Metrics ASR HMSD_GF FusionGAN MLF Ours Tasks Metrics ASR HMSD_GF FusionGAN MLF Ours EN 6.47 7.07 6.38 6.74 7.26 EN 6.46 7.06 6.38 6.87 7.22 SCD 1.64 1.67 1.39 1.56 1.87 SCD 1.62 1.66 1.39 1.64 1.85 Setting #1 SD 25.12 39.10 28.92 39.32 45.09 Setting #2 SD 24.79 38.98 28.96 39.12 43.49 AG 4.72 6.07 3.30 4.10 4.71 AG 4.48 5.48 3.31 4.39 5.13 SF 9.30 11.94 6.64 9.20 10.23 SF 8.64 10.89 6.67 8.93 11.40 EN 6.45 7.06 6.38 6.83 7.22 EN 6.45 7.06 6.37 6.74 7.25 SCD 1.62 1.66 1.39 1.69 1.80 SCD 1.61 1.65 1.38 1.67 1.78 Setting #3 SD 24.73 38.85 28.93 34.44 43.18 Setting #4 SD 24.70 38.78 28.77 31.55 43.74 AG 4.47 5.33 3.32 4.44 5.41 AG 4.46 5.25 3.30 4.28 5.35 SF 8.59 10.55 6.67 8.38 11.83 SF 8.57 10.34 6.60 7.80 11.69 EN 6.45 7.05 6.36 6.48 7.33 SCD 1.61 1.64 1.37 1.38 1.70 Setting #5 SD 24.65 38.45 28.56 25.47 45.41 AG 4.44 5.14 3.27 3.75 5.07 SF 8.55 10.07 6.54 6.87 11.00

表2 不同图像融合方法在TNO数据集上的客观评价结果 Table 2 Objective evaluation results of different image fusion methods on the TNO dataset

为了验证线性注意力和特征上采样模块的作用, 设计了消融实验, 在保证网络参数与损失函数不变的情况下, 去除网络部分结构在相同训练集上重新训练模型, 在setting#4任务的TNO数据集“ soldiers_with_jeep” 图像对上测试结果如图6所示, 其中图6(a)和(b)分别是可见光和4倍放大显示的红外图像。 在保证其他不变的情况下只去除了线性注意力模块, 模型测试结果如图6(c)所示, 保留特征上采样模块中的双线性插值层, 只去除多层感知器, 模型测试效果如图6(d)所示, 本文模型结果如图6(e)所示。 对比可知, 线性注意力可以起到抑制噪声、 伪影等无关信息的作用, 图像表达的视觉感受更佳; 多层感知器能够更精细地学习高低分辨率之间的非线性映射关系, 使得图像边缘更为清晰, 局部对比度更高。

图6

Fig.6

Figure Option ViewDownloadNew Window

图6 线性注意力和特征上采样模块的有效性验证 (a): 可见光图像; (b): 4倍放大显示的红外图像; (c): 无线性注意力的模型效果; (d): 无多层感知器模型效果; (e): 本算法效果Fig.6 Effectiveness validation of the linear attention block and the feature up-sampling block (a): The Visible image; (b): The infrared image displayed at 4× magnification; (c): The model result without linear attention; (d): The model result without multilayer perceptron; (e): The result of our method

为了验证本文提出的损失函数对模型的影响, 在保证网络结构和训练参数不变的情况下改变损失函数重新对模型进行训练: (a)L=L_gradient; (b)L=λ L_pixcel, (c)本方法结果, 在setting#4任务“ soldier_behind_smoke₂” 上的测试结果如图7所示。 第一行的I_Vis为可见光图像, IIRlr为4倍放大显示的低分辨率红外图像, I_IR为原始红外图像; 第二行I_f、 第三行 IIRsr是不同损失函数作用下生成的融合图像与红外图像。 从图7中可得, 只有梯度损失的模型生成的融合图像细节略微模糊, 不能促使网络生成清晰的高分辨率红外图像; 只有像素损失作用能生成的红外图像边缘清晰但缺失细节, 不能对融合任务起到优化效果。 在像素损失和梯度损失的配合下, 生成的融合图像既能包含可见光的细节纹理信息又能突出红外目标, 并且超分重建后的红外图像与高分辨率的原始红外图像相比有一定的增强效果。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 各部分损失函数对模型的作用Fig.7 The effect of each part of the loss function on the model