为了满足深度学习训练对多场景和多特征数据的需求, 选用了公开的CAVE高光谱数据集作为训练集, 该数据集由哥伦比亚大学视觉实验室提供, 网址为: https://cave.cs.columbia.edu/people。 CAVE数据集包含205个高光谱场景, 每个场景具有31个光谱通道, 光谱通道的波长范围为400~700 nm, 每个光谱通道以10 nm为采样间隔, 每张图像的空间分辨率为512× 512像素。 测试集包含五个不同场景: 场景1, 标准的爱色丽24色色卡, 用以测试模型对标准颜色的还原能力。 场景2, 自制国画颜料色卡。 在书画作品修复过程中, 常需进行“ 全色” 处理, 即对缺失或褪色区域进行颜色复原。 传统中国书画在全色时通常使用两类颜料: 一类为矿物颜料(“ 石色” ), 另一类为植物颜料(“ 水色” )。 根据云南省博物馆工作人员介绍, 他们对一副完成全色的国画进行实际修复中主要使用藤黄、 赭石、 花青这三种颜料作为三原色进行配色。 因此, 本实验也选取这三种颜料, 依据Kubelka-Munk理论进行不同配比的调配色试验, 并以“ 红星棉料牌宣纸” 为基底, 制作用于中国画色彩研究的自制色卡, 旨在验证所建模型在特定艺术风格下的表现能力。 场景3, 训练集中的某个场景, 用于评估模型在训练数据中的重建效果。 场景4, 训练集外的一个场景, 测试模型在未知数据上的泛化能力。 场景5是一幅中国画在国际照明委员会(International Commission on Illumination, CIE)标准观察环境下使用高光谱相机拍摄的实景图, 旨在测试模型对真实拍摄画作的重建效果。 以上场景选择覆盖了从标准色卡到真实图像的多种情况, 确保评价指标能够全面反映重建模型在不同场景下的性能。 测试集的光谱范围为390~1 000 nm, 包含256个通道。 在实验中, 将测试集的波段重新调整至400~700 nm, 以10 nm为间隔采样, 同时将图像的空间分辨率标准化为512× 512像素。

训练时使用Adam随机梯度下降算法优化损失函数, 优于高光谱数据较大所以将batchsize设置为5, 学习率设置为0.000 1, 训练epoch设置为100。

实验采用的深度学习模型是卷积自编码器(CAE), 经典的CAE由编码器(Encoder)、 解码器(Decoder)和瓶颈层(Bottleneck)这三部分组成。 本实验选择在经典的CAE基础上增加残差层(Residual)用以更好的学习高光谱数据中的空间信息, 文中对本实验使用的自编码器简称为Res-CAE。 Res-CAE整体网络架构和内部模块细节如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 Res-CAE结构示意图Fig.1 Schematic diagram of the Res-CAE architecture

Res-CAE的编码器部分(Encoder)由三个递进的模块(Module1、 2、 3)组成, 每个模块内都由一个卷积层(convolutional layer, Conv)、 一个批量归一化层(batch normalization layer, BN)、 一个残差层(residual block, Res)和一个最大池化层(max pooling layer, Pool)组成。 由于我们的任务是对高光谱数据立方体的光谱信息与空间信息进行学习与重建, 所以通过多层卷积捕捉空间特征, 并将反射率信息和空间信息融合在特征提取过程中, 这样可以让卷积层捕捉到图像的局部特征信息如边缘信息、 纹理信息、 灰度特征等。 并且通过多个卷积层的堆叠可以使神经网络学习到更高级别的抽象特征。 而在卷积层之后的批量归一化层则承担了稳定模型训练的任务, 归一化层对该模块内的卷积层输出的数据进行归一化, 这可以减少内部协变量偏移, 从而加速训练过程, 使得模型的训练过程更加稳定。

残差层优化梯度传播确保模型不会因为网络过深而导致梯度消失, 保证复杂的光谱与空间特征在深层网络中的传递, 这会帮助卷积层更好、 更有效的学习和保留输入数据的图像信息和光谱信息。 最后, 该模块则通过池化层来对前面输出的特征进行降采样, 这会使得前面提取的特征数据进一步压缩, 让卷积核提取的特征图像尺寸减小, 从而让模型在训练过程中更专注于主要特征例如空间信息和光谱信息, 而不是噪声或者其他信息。 选则最大池化层作为我们的池化函数。 它可以帮助我们降低特征图的尺寸, 从而减小我们的计算量和内存占用, 同时增加特征的不变性(例如对平移、 旋转的鲁棒性)。

设计三个不同模块的原因在于每个模块在Res-CAE中的作用可以看作是逐层提取不同级别的图像特征, 随着深度的增加, 卷积核数量的增加反映了模型捕捉特征的复杂性在提升。 这种递增的设计有助于在前面的模块中捕捉基本的光谱与空间特征, 而在后续模块中结合和提炼这些光谱与空间特征, 从而得到更高级的表示。 最终形成一个高维压缩表示, 也就是瓶颈层。 这是Res-CAE中的关键信息表示部分, 代表了输入数据的核心特征。

解码器(Decoder)负责将编码器生成的低维特征重建回原始数据, 通常被视为编码器的逆过程。 通过逐层的反卷积(deconvolution, De-Conv)、 上采样(Upsampling)和非线性激活(rectified linear unit, ReLU)操作, 解码器逐步恢复特征图的空间维度, 最终输出重建内容。 在本实验中, 解码器与编码器的对称结构匹配, 同样由三个模块组成。 解码器模块的参数设计与编码器保持对称性。 例如, 解码器模块1的反卷积层输入参数设置与编码器模块3的输出一致, 输出参数则与编码器模块3的输入匹配。 这样确保了解码器模块能够逆向解码编码器的特征数据, 从而还原高质量的重建图像。 解码器模块2与模块3的结构与此类似, 使整个解码过程稳定且精确。 解码器尾部则由Relu激活函数作为解码器的最后输出层, 它负责对解码器输出的特征进行非线性变换。 Relu函数可以将线性输出映射到非线性空间, 增强网络的表达能力, 从而帮助网络学习输入数据中复杂的特征。 该部分称为输出层, 该部分将重建后的数据映射回与输入数据相同的形态和尺寸。

本文提出的残差卷积自编码器(Res-CAE)模型, 以残差块和卷积层为基础构建了一种高效的三维特征提取架构。 模型通过多层卷积捕捉空间特征, 并将反射率信息和空间信息融合在特征提取过程中, 使得高光谱数据的重建结果不仅在光谱精度上不弱于传统方法, 同时在图像边缘和细节上也更为丰富。 该模型不仅在在光谱维度上对高光谱数据进行学习, 也突破了传统方法在高光谱数据中空间维度信息使用不足的情况, 充分利用了空间维度信息, 提升了重建的整体质量。

为了验证本实验所用的卷积自编码器在颜色重建任务中的有效性, 我们选择了爱色丽24色标准色卡以及其他不同场景进行颜色重建与可视化再现。 采用色差(Δ E₀₀)与均方根差(root mean square error, RMSE)作为评价指标, 重建结果如图2与表1、 表2所示。 从图2中可以看出, 卷积自编码器重建的光谱反射率曲线与标准光谱反射率曲线趋势一致, 并没有出现额外的波峰或波谷。 表1的均方根差(RMSE)的平均值为0.009 05, 表明重建的光谱反射率曲线与真实值之间的差异较小, 显示模型能够准确捕捉光谱反射率的主要变化趋势。 这些结果显示出卷积自编码器能够有效拟合高光谱反射率数据, 使重建的光谱反射率接近原始光谱反射率, 实现了光谱维度上的高质量重建。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 部分重建色块的反射率曲线对比Fig.2 Comparison of reflectance curves for selected reconstructed color patches

表1

Table 1

表1(Table 1)

表1 Res-CAE重建后的爱色丽24色色卡的色差与均方根差值 Table 1 Color difference and RMSE values for the X-Rite color checker 24 reconstructed by Res-CAE 1 2 3 4 5 6 7 8 9 10 11 12 Δ E00 0.895 0.714 0.746 0.794 0.733 0.658 0.789 0.794 0.49 0.632 0.688 0.764 RMSE 0.005 0.009 0.003 0.007 0.011 0.005 0.014 0.011 0.003 0.009 0.007 0.010 13 14 15 16 17 18 19 20 21 22 23 24 Δ E00 0.721 0.653 0.948 0.349 0.69 0.404 0.056 0.679 1.088 0.567 0.867 0.95 RMSE 0.008 0.011 0.019 0.006 0.006 0.005 0.0001 0.004 0.007 0.008 0.019 0.033

表1 Res-CAE重建后的爱色丽24色色卡的色差与均方根差值 Table 1 Color difference and RMSE values for the X-Rite color checker 24 reconstructed by Res-CAE

表2

Table 2

表2(Table 2)

表2 不同方法对爱色丽色卡重建后的色差值Δ E00 Table 2 Color difference values for the X-Rite color checker reconstructed by different methods 1 2 3 4 5 6 7 8 9 10 11 12 Res-CAE 0.895 0.714 0.746 0.794 0.733 0.658 0.789 0.794 0.49 0.632 0.688 0.764 AS-CAE 0.285 0.446 0.576 0.599 0.354 0.797 0.408 0.269 0.793 0.683 0.59 0.461 PCA 28.472 16.84 22.057 7.426 17.075 10.494 21.112 34.668 32.978 31.054 14.162 25.893 Bilinear 0 0 0 0 0 0 0 0 0 0 0 0 13 14 15 16 17 18 19 20 21 22 23 24 Res-CAE 0.721 0.653 0.948 0.349 0.69 0.404 0.056 0.679 1.088 0.567 0.867 0.95 AS-CAE 0.411 0.498 0.313 0.836 0.449 0.722 1.114 0.578 0.732 0.4 0.13 0.638 PCA 30.117 38.33 18.635 30.172 35.021 15.679 10.301 5.212 3.573 1.072 1.162 5.283 Bilinear 0 0 0 0 0 0 0 0 0 0 0 0

表2 不同方法对爱色丽色卡重建后的色差值Δ E00 Table 2 Color difference values for the X-Rite color checker reconstructed by different methods

表1展示了Res-CAE对爱色丽24色标准色卡的重建效果, 其中包含每个色块的色差(Δ E₀₀)和均方根差(RMSE)。 从数据分析可知, 在24个色块中最大重建色差值为1.088, 最小重建色差值为0.349, 分析造成不同色块重建色差差异的原因是在高光谱数据立方体的各个通道中应呈现不同的灰度值, 灰度值变化幅度大的可供给Res-CAE学习的特征多, 重建色差小; 灰度值变化幅度小的可供给Res-CAE学习的特征少, 重建色差大。 以色差最大的色块21(中性灰)和色差最小的色块16(黄色)为例, 中性灰在不同光谱通道下灰度变化小, 可供给模型学习的特征少, 重建后的色差较大; 黄色颜色鲜亮, 在不同光谱通道下灰度变化大, 可供给模型学习的特征多, 重建后的色差较小。 其他色块的色差均小于1, 其中21个色块的色差位于0.5至1之间, 另有2个色块的色差小于0.5, 整体平均色差为0.694 5。 根据CIE的色差评定标准, 普通人眼对于色差小于1的区域基本无法分辨, 对于色差在1~2的颜色差异, 仅有敏感个体在特定环境下才可能察觉到。 这表明Res-CAE模型在颜色重建方面的性能优异, 能够较好地还原色卡的真实色彩。

为了验证Res-CAE在颜色重建任务中的优越性, 将其与三种其他重建方法进行了对比实验。 对比方法包括两种传统的重建方法: 主成分分析法(principal component analysis, PCA)和双线性插值法(bilinear interpolation, Bilinear); 以及一种不包含残差层与批量归一化层的卷积自编码器(ablation study-CAE, AS-CAE), 该卷积自编码器作为Res-CAE的消融实验加入其中, 用以对比评估残差层与批归一化层对模型性能的贡献。

图3是不同方法对爱色丽色卡重建后的色差柱状图与RMSE折线图。 图3(a)展示了各方法在爱色丽24色标准色卡上的色差表现。 观察图3(a)可以发现, Res-CAE的重建色差在多数色块上略高于AS-CAE和双线性插值法, 但优于PCA。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 不同方法对爱色丽色卡重建后的色差柱状图与RMSE折线图 (a): 色差柱状图; (b): RMSE折线图Fig.3 Color difference bar chart and RMSE line chart of reconstructed the X-Rite color checker using different methods (a): Color difference bar chart; (b): RMSE line chart

从表2的定量结果可以得出, Res-CAE的平均色差为0.694 5, 而AS-CAE的平均色差为0.545 1。 虽然Res-CAE的平均色差略高于AS-CAE, 但在所有色块重建结果中, AS-CAE重建的色块19的色差大于1, 而Res-CAE重建的色块21的色差大于1。 在颜色测量中, 一般认为色差小于1时, 人眼是无法分辨出差异的。 因此, Res-CAE可以承担颜色重建任务。

表3

Table 3

表3(Table 3)

表3 不同方法对爱色丽色卡重建后的均方根差值 Table 3 RMSE values for the X-Rite color checker reconstructed by different methods 1 2 3 4 5 6 7 8 9 10 11 12 Res-CAE 0.004 6 0.009 0.003 1 0.006 6 0.010 9 0.004 5 0.013 8 0.010 7 0.003 0.008 9 0.006 9 0.010 4 AS-CAE 0.013 2 0.004 5 0.003 0.004 5 0.004 0.005 2 0.004 0.004 3 0.003 6 0.003 9 0.004 4 0.003 1 PCA 0.149 1 0.106 5 0.042 3 0.074 8 0.151 6 0.036 6 0.213 1 0.195 8 0.098 7 0.188 6 0.133 2 0.199 7 Bilinear 0 0 0 0 0 0 0 0 0 0 0 0 13 14 15 16 17 18 19 20 21 22 23 24 Res-CAE 0.008 4 0.010 6 0.018 5 0.006 1 0.005 8 0.004 9 0.000 1 0.003 9 0.006 8 0.007 9 0.019 2 0.032 7 AS-CAE 0.004 7 0.004 4 0.004 2 0.003 4 0.004 1 0.003 9 0.002 4 0.003 4 0.005 5 0.005 4 0.003 0.008 9 PCA 0.133 7 0.211 1 0.264 7 0.202 4 0.115 9 0.111 2 0.006 7 0.009 9 0.008 6 0.008 2 0.016 9 0.061 2 Bilinear 0 0 0 0 0 0 0 0 0 0 0 0

表3 不同方法对爱色丽色卡重建后的均方根差值 Table 3 RMSE values for the X-Rite color checker reconstructed by different methods

实验中PCA的平均色差高达19.032 8。 我们可以通过重建后的反射率曲线来进一步理解这种误差产生的原因。 如图4所示, 该图展示了部分色块的反射率曲线。 观察反射率曲线可以发现, PCA重建后的高光谱反射率曲线在410、 550、 670和700 nm等波段出现了显著的尖峰和弯折, 这种误差的出现是因为PCA在重建高光谱数据时, 通常只选择协方差变化最显著的几个通道作为主成分。 这相当于仅选择了某几个波段的单通道图像, 之后通过这些波段数据来重建400~700 nm范围内的颜色信息, 这种选择类似于窄带滤波器, 导致颜色重建过程中只使用了少数几个波段, 而非宽带滤波器或多通道的高光谱数据。 因此, 这种波段覆盖的局限性导致颜色重建的失真和较大的色差。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 部分色块的反射率重建曲线Fig.4 Reconstructed reflectance spectra for selected color patches

对于双线性插值法, 其色差均为0。 这是因为双线性插值法在图像重建中是通过相邻像素点的数值来进行线性插值。 由于我们在颜色重建任务中将双线性插值的缩放系数设置为1, 这使得插值后的图像像素值没有变化, 因而重建出的色差为0。 然而, 双线性插值法的一个缺点在于计算时间较长。 由于该方法逐像素计算, 处理高光谱数据立方体所需的反应时间是Res-CAE的4~5倍。 因此, 尽管双线性插值法的色差表现优异, 但它在时间效率上显著劣于其他方法, 不适合作为高效的颜色重建方案。 表4列出了四种方法在测试集中的四个场景下的重建时间。

表4

Table 4

表4(Table 4)

表4 不同方法重建高光谱数据立方体的时间(s) Table 4 Reconstruction times for hyperspectral data cubes using different methods (s) 场景1 场景2 场景3 场景4 场景5 AS-CAE 2.449 0 2.518 1 2.198 5 2.701 6 2.714 1 Res-CAE 12.319 8 14.252 7 13.142 3 12.282 0 15.041 6 PCA 0.975 3 0.997 9 0.911 5 0.938 6 1.090 0 Bilinner 65.892 1 60.410 8 56.351 4 55.609 5 65.217 1

表4 不同方法重建高光谱数据立方体的时间(s) Table 4 Reconstruction times for hyperspectral data cubes using different methods (s)

在图3(b)中, 展示了不同重建方法对爱色丽色卡的均方根差(RMSE)值。 可以观察到, PCA的均方根差在多数色块上都明显高于Res-CAE和AS-CAE。 这一结果表明, PCA重建的反射率曲线与真实反射率曲线间存在较大的差异, 而Res-CAE和AS-CAE在重建后的反射率曲线与真实曲线的拟合效果上表现更佳。

从上述结果可以看出, 在色差、 均方根差和可视化效果方面, 双线性插值法的表现优于其他三种方法, 表明其在颜色重建任务中的精度非常高。 然而, 表4展示了各方法在多个场景下进行高光谱数据立方体重建的时间消耗情况, 也揭示了双线性插值法的主要缺陷: 重建时间过长。 双线性插值法的每个场景重建通常需要50~60 s, 计算量庞大, 导致实际应用中难以接受。 相比之下, PCA的重建时间仅需1 s左右, 但其色差显著偏大, 难以满足精度要求。 而Res-CAE和AS-CAE的重建时间虽然比PCA稍长, 但在图像重建质量上, Res-CAE显示出更佳的优势。 因此, 综合考虑精度和效率, Res-CAE在实际应用中更具优势, 因为它在保持高质量重建效果的同时, 具有相对合理的计算时间。

在本实验中, 除了色差等颜色重建指标的对比之外, 还对重建图像的整体质量进行了客观评价。 因为实验的目标不仅仅是对高光谱数据进行精确的颜色重建, 还希望将数字化的中国画能够更加真实地展现。

图像质量评价指标能够全面反映重建图像的视觉效果, 特别是在颜色之外的图像细节和结构方面的还原效果。 采用峰值信噪比(peak signal-to-noise ratio, PSNR)、 结构相似性指数(structural similarity index, SSIM)、 梯度幅值(Gradient Magnitude)、 边缘强度(Edge Strength)这四个指标来对重建图像进行质量评价。

为了保证实验的多样性和可靠性, 在测试集的五种不同场景下对重建效果进行了测试。 图5是不同场景重建图像的PSNR、 SSIM雷达图和边缘强度、 梯度幅值的热力图。 图5(a)、 (b)展示了不同场景中重建图像的PSNR和SSIM指标雷达图。 雷达图的不同方向分别代表不同的重建方法, 圆心表示评价指标的最小值(0), 半径越大的同心圆代表指标数值越高, 表明该重建方法的效果越好。 从雷达图可以直观地看出, 不同方法在各评价指标上的性能分布差异: AS-CAE在训练集内的场景(场景1和场景3)的客观指标表现较好, 但在未训练过的数据上, 由于AS-CAE网络结构相对简单, 其各项质量指标下降明显。 Res-CAE在所有场景中的各项质量指标均表现良好, 尤其是在未训练过的数据场景上也表现出色, 这说明Res-CAE具备更好的泛化能力。 PCA由于只提取了高光谱数据的少数主成分通道, 导致重建后的图像仅能还原少数波段的信息, PCA的图像质量指标表现较差。 双线性插值法的评价指标数值较为优异, 显示其在还原整体图像质量方面效果不错, 但因计算耗时过长, 限制了其实用性。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同场景重建图像的PSNR、 SSIM雷达图、 边缘强度和梯度幅值热力图 (a): PSNR雷达图; (b): SSIM雷达图; (c): 边缘强度热力图; (d): 梯度幅值热力图Fig.5 Radar charts of PSNR and SSIM, heatmaps of edge strength and gradient magnitude for reconstructed images of different scenes (a): PSNR radar chart; (b): SSIM radar chart; (c): Edge strength heatmap; (d): Gradient heatmap

图5(c)和图5(d)深入分析了高光谱数据立方体在不同方法下的细节还原效果: AS-CAE在训练集内的场景(如场景1和场景3)能保持较好的梯度幅值, 但在训练集外的数据中, 梯度幅值显著下降, 在边缘强度上也呈现出同样的下降趋势, 这反映出AS-CAE在细节还原上的明显不足。 Res-CAE则有效的利用了空间维度信息, 在各场景下都具备较好的细节还原能力, 尤其是在训练集外的场景中优于AS-CAE。 如场景4和场景5, 从图5(c)和图5(d)可以看到场景4原始数据的边缘强度为6.9, 梯度幅值为0.023, Res-CAE重建后的数据分别为6.8和0.023。 这说明Res-CAE在未训练过的数据上表现同样优异, 表明Res-CAE的卷积-残差结构充分学习了高光谱数据的空间维度信息。 PCA的细节还原能力较差, 原因是其方法仅重构了少数波段, 导致细节信息无法完整还原。 双线性插值法虽然在梯度幅值和边缘强度方面表现优异, 但由于计算耗时极大, 实际应用价值受限。

为进一步对比Res-CAE在细节还原方面的表现, 我们对边缘强度与梯度幅值两个细节评价指标进行了放大可视化展示, 如图6所示。 从图6(a)可以看出, 即便是在训练集内的场景, AS-CAE在边缘细节的表现上依然欠佳, 无法有效还原细节。 这进一步验证了AS-CAE结构在复杂场景中对细节保持的不足。 而对于Res-CAE, 虽然在客观指标(边缘强度与梯度幅值)上与双线性插值法和原始数据存在一些差距, 但通过放大细节部分的可视化比较, 可以看到Res-CAE在保留边缘和细节方面达到了良好的效果, 特别是在满足图像主观视觉需求的同时也具备较好的重建效率。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 场景3(a)和场景5(b)的重建细节比较Fig.6 Comparison of reconstruction details for scene 3 (a) and scene 5 (b)