使用了莱森光学公司的iSpecHyper-VS1000高光谱相机进行数据采集。 该相机采用推扫式成像(push-broom imaging)原理, 通过样品与相机之间的相对运动逐行采集样品的光谱信息, 并在光谱和空间两个维度上生成三维数据立方体。 该相机的工作光谱范围为380~1 020 nm, 覆盖了从紫外到近红外区域, 适用于颜料等材料的光谱分析。 仪器包含300个光谱通道, 且光谱分辨率优于2.5 nm, 确保了细微光谱差异的捕捉。 横向扫描角度小于60° , 保证成像过程中视场范围内的光照均匀性。 系统采用300 W的卤素灯作为稳定的连续光源, 发射光谱涵盖了380~25 000 nm的宽光谱范围, 能够提供平滑的光谱输出, 避免了光谱间断。 高光谱图像采集系统如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 高光谱图像采集系统Fig.1 Hyperspectral image acquisition system

为了确保实验数据的多样性和准确性, 选取了矿物颜料中具有代表性的七种在唐宋时期的绘画作品中广泛应用的颜料, 包括朱砂、 雌黄、 蛤白、 象牙黑、 石青、 豆绿和深赭石, 所有颜料均来自北京岩彩天雅艺术中心。 并且由于文物本身具有极高的历史价值和不可再生性, 为确保实验过程中数据的可控性, 使用所选颜料绘制标准色块样本作为实验对象。 基底材料选用了棉料单宣纸, 该宣纸由中国宣纸股份公司生产的红星宣纸制成, 成分中含有40%的沙田稻草与60%的檀皮, 厚度约为90 μ m。 为增强颜料在宣纸表面的附着力, 选用了5%的牛皮胶水溶液作为粘合剂。 绘制过程主要分为三步, 首先将颜料在研钵中充分研磨, 使其颗粒均匀细化; 随后, 将研磨后的颜料与5%的牛皮胶溶液进行充分混合, 形成均匀的颜料浆液; 最后, 利用毛笔将混合后的颜料均匀涂覆于宣纸表面, 以获得稳定且可重复的实验样本如图2所示。 这些色块是使用特定的古代颜料按照不同的比例混合制作的, 模拟了实际古代书画中的颜料分布和混合情况^[8]。 这种方式不仅保证了样品的真实性, 还使得采集到的高光谱数据能够更好地反映实际应用中的复杂情况, 采集到颜料光谱如图3所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 模拟古代书画颜料的色块混合图Fig.2 Color block mixing chart simulating ancient painting pigments

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 颜料光谱曲线图Fig.3 Pigment spectral curves

高光谱图像作为一个立方体式的数据, 其中包含了数百个连续波长下的波段图像, 其中每个波段都反映了物体在不同光谱范围内的反射特性。 通过这些波段信息, 可以精细地区分不同材料和物质的光谱特征。 对于这样的高光谱数据, 提出了一种多尺度特征提取网络, 网络结构如图4。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 多尺度空间-光谱特征提取网络Fig.4 Multi-scale spatial-spectral feature extraction network

在本网络中, 输入的高光谱图像首先分别经过光谱注意力模块和空间注意力模块, 以提取光谱特征和空间特征^[9]。 具体而言, 光谱注意力模块专注于分析各个波段的反射特性, 从而提取不同材料和物质的光谱特征; 而空间注意力模块则关注图像的几何结构和纹理信息, 捕捉像素之间的空间依赖关系。 此外, 网络通过卷积操作将输入的高光谱图像划分为小块(Tokens), 并使用位置编码(Position Embedding)对这些小块进行处理。 处理后的图像块再输入到Vision Transformer的Transformer Encoder中, 以提取高光谱图像的全局空间-光谱特征。

注意力机制的核心在于根据输入数据的相关性分配权重, 使模型能够专注于重要部分, 忽略无关信息, 从而更有效地提取有用信息。 对于高光谱图像数据, 光谱注意力模块突出光谱波段的特征, 而空间注意力模块强调分类像素周围的空间特征。 本文提出的方法利用注意力机制捕捉高光谱图像中的细节信息, 即光谱和空间特征, 以完成颜料高光谱图像的分类任务^[10]。

这里, 采集到的高光谱数据输入为X∈ R^{H× W× B}, 空间维度表示为(H, W), 其中H代表高光谱图像的高度, W代表宽度, B表示光谱的波段数。

X∈RH×W×B(1)

然后通过最大池化和全局平均池化将高光谱图像中的每个像素点的波段信息提取出来形成一个1× 1× B的光谱特征向量

Xh, w=[Xh, w, 1, Xh, w, 2, Xh, w, 3, ···, Xh, w, B](2)

式(2)中, X_{h, w}表示位置(h, w)处的光谱特征向量。 然后将这些特征向量输入到一个多层感知机MLP(multi-layer perceptron)来提取高光谱图像中每个波段的权重, 然后将提取的特征经过Sigmoid激活函数即可得到光谱权重系数, 由于光谱特征中既包含了全局模式的信息(整体光谱趋势), 也可能存在局部波段的强响应(特定波段蕴含的关键信息)。 为捕捉这两类信息, 我们同时使用了平均池化(average pooling)和最大池化(max pooling), 平均池化用于提取整体光谱的平均趋势, 帮助模型关注全局性的光谱分布特征。 它可以平滑异常的波段响应, 保证模型不过分依赖局部的剧烈变化。 最大池化用于捕捉光谱中的局部强响应, 有助于模型在需要识别微小但关键的光谱特征时更加敏感。 从而达到突出包含重要信息的波段, 并抑制冗余或噪声波段的目的。 光谱注意力计算公式可以概括:

MSe(X)=σ(MLP(AvgPool(X)))+σ(MLP(MaxPool(X)))(3)

式(3)中, X为输出的高光谱图像, σ 为sigmoid激活函数, M_Se是权重系数。

最后将计算得到的注意力权重对原始高光谱图像的每个波段进行加权求和, 从而增强关键光谱特征, 提高分类和识别性能。

X'h, w=∑i=1BMSe(X)Xh, w, i(4)

式(4)中, X_{h, w, i}表示位置(h, w)处第i个波段的特征, M_Se(X)是注意力权重。

在本研究中, 空间信息指的是画作中颜料在二维空间中的分布模式与局部结构特征。 每个像素的光谱信息不仅反映了局部颜料的成分, 还携带了空间邻域中颜色变化、 纹理以及颜料重叠等特征, 空间信息的引入有助于捕捉不同颜料之间的空间关系(如边界、 纹理和局部差异), 这些信息对于画作的颜料分类和复原具有重要意义。

与光谱注意力相似, 空间注意力机制通过分析高光谱图像中的空间特征来计算每个位置的权重, 从而突出包含重要信息的区域并抑制无关或噪声区域。 具体来说, 首先将高光谱图像在通道维度进行池化, 以此来压缩通道大小便于后面学习特征, 然后将全局池化和平均池化的结果, 维度为(H, W, 1), 按照通道拼接, 然后通过一个7× 7的卷积核来获取空间特征, 再经过Sigmoid激活函数即可得到每个位置的注意力权重, 最后将计算得到的注意力权重进对原始高光谱图像进行加权求和, 从而增强关键空间特征。 空间注意力计算公式可以概括为

MS(X')=σ(f7×7([AvgPool(X'); Maxpool(X')]))(5)

式(5)中, X'表示高光谱徒像中加权的结果, f^{7× 7}表示卷积核为7× 7的卷积层, σ 为sigmoid激活函数。

视觉转换器(vision transformer, ViT)是一种将Transformer模型应用于计算机视觉任务(如图像分类)的新颖方法。 ViT 的核心思想是将图像划分为小块(Tokens), 并利用自注意力机制处理这些小块, 以捕捉长距离依赖关系。 这使得 ViT 能够有效提取图像的全局特征, 从而提升对高光谱图像中复杂光谱和空间信息的理解与分类性能。 在高光谱图像处理中, 将ViT应用于特征提取可以充分发挥其强大的能力, 有助于捕获高光谱数据中的详细光谱和空间信息, 从而提高分类准确性, 增强对高光谱图像复杂空间和光谱关系的理解^[11]。

为了适应ViT模型的输入要求, 将高光谱图像分成小块(Tokens)。 具体而言, 通过卷积操作实现图像分块, 并通过设置卷积核大小以及补偿参数来控制图像块的分辨率^[12]。 图5展示了分块器(Tokenizer )模块的结构。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 Tokenizer模块Fig.5 Tokenizer module

经过嵌入层处理的序列化表示作为输入, 传入到编码器(Encoder)进行处理, 经过一系列Transformer编码器的处理后, 提取到全局特征用于后续的分类任务。 Transformer Encoder 如图6所示。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 Transformer编码器Fig.6 Transformer encoder

在提取了多尺度的空间特征Fp、 光谱特征Fspe以及由ViT提取出的全局空间-光谱特征Fh之后, 如何有效地将这些特征融合成是提升模型分类性能的关键一步。 特征融合的核心目标在于结合这些不同维度的特征, 使模型能够更全面地理解高光谱图像的复杂结构, 从而更精准地进行颜料识别。 为实现这一目标, 采用了注意力加权融合的方法。 注意力机制通过动态地为不同特征分配权重, 确保最重要的特征在融合过程中得到充分表达, 进而增强模型的表现力^[13]。

具体来说, 首先为每个特征生成查询Q(Query)、 键K(Key)和值V(Value)向量。 其中

Q=WQF(6)

K=WKF(7)

V=WVF(8)

W_Q, W_K, W_V分别表示可学习的权重矩阵, F表示输入的特征。 然后, 通过计算查询和键向量的点积并对结果进行归一化, 得到各个特征的注意力权重α _spe, α _p, α _h。 接下来, 利用这些权重对特征进行加权求和, 将不同特征融合为一个综合特征如式(9)所示。

Ffused=αspeFspe+αpFp+αhFh(9)

这种加权融合方式不仅保证了各类特征的有效整合, 还通过动态权重分配强化了对关键信息的关注。

使用的高光谱图像数据集涵盖了多种模拟古代书画颜料的色块混合图。 图像光谱范围为380~1 020 nm具有300个通道, 分辨率为2.5 nm。 在数据预处理阶段, 对图像进行了反射率矫正、 噪声去除等处理, 以确保数据的准确性和一致性。 将得到的原始数据划分为两部分, 训练集和测试集, 比例设置为80%训练集, 20%测试集。 总计训练集样本数为22 560, 测试集样本数为5 640。

为了验证提出的基于多尺度空间-光谱特征提取的颜料高光谱图像分类算法, 所有算法模型均采用Python3.9编程语言采用Pycharm2022.3.3进行编程, 实验在CPU为Intel(R) Xeon(R) Platinum 8157 @2.30GHz, GPU为NVIDIA GeForce RTX 3090, RAM为24GB的个人计算机上进行。 实验中所有深度模型统一采用交叉熵损失函数(CrossEntropy Loss), Adam优化器, 随机梯度下降(stochastic gradient descent, SGD), 学习率为0.000 1, 训练轮次Epoch为200轮。

表1

Table 1

表1(Table 1)

表1 数据集的类名和各个样本数 Table 1 Class names and sample counts of the dataset 序号 类名 训练数据 样本数 测试数据 样本数 描述 1 朱砂 2 196 549 单一颜料区域 2 赭石 2 280 570 单一颜料区域 3 雌黄 1 840 460 单一颜料区域 4 豆绿 1 804 451 单一颜料区域 5 石青 2 012 503 单一颜料区域 6 蛤白 1 104 276 单一颜料区域 7 象牙黑 2 264 566 单一颜料区域 8 叠色区域1 416 104 赭石+蛤白 9 叠色区域2 264 66 朱砂+石青 10 叠色区域3 424 106 石青+蛤白 11 叠色区域4 312 78 雌黄+豆绿 12 叠色区域5 116 29 象牙黑+雌黄 13 叠色区域6 268 67 赭石+雌黄 14 叠色区域7 56 14 蛤白+象牙黑 15 叠色区域8 152 38 朱砂+赭石 16 宣纸 7 052 1 763 底层基质 总计 22 560 5 640

表1 数据集的类名和各个样本数 Table 1 Class names and sample counts of the dataset

实验的定量评估方法采用总体精度OA(overall accuracy), 平均精度AA(average accuracy), 和Kappa系数K以及精确率(precision)、 F1得分作为综合评价指标^[14]。 几种评价指标公式如下:

OA表示所有类别的正确预测样本数占总样本数的比例, 其计算公式如式(10)

OA=TP+TNTP+TN+FP+FN×100%(10)

AA即模型正确预测的样本数占总样本数的比例。 它衡量了模型对所有类别的整体预测准确性, 其计算公式如式(11)

AA=TPTP+FN+TNTP+FN2×100%(11)

Kappa系数, 是指一种对遥感图像的分类精度和误差矩阵进行评价的多元离散方法, 其计算公式如式(12)

Kappa=p0-pe1-pe×100%(12)

式(12)中, p₀表示表示观测精确性或一致性单元的比例, p_e表示偶然性一致或期望的偶然一致的单元的比例

Precision=TPTP+FP×100%(13)

Recall是指争取预测的正样本数的占真是样本数的比值, 计算公式如式(14)

Recall=TPTP+FN(14)

F1 score是精确率和召回率的调和平均值, 用于衡量模型在精确率和召回率之间的平衡能力, F1 score越高, 表明模型在这两个指标上表现越好。

F1score=2×Precision×RecallPrecision+Recal(15)

其中, TP表示真正例的数目; FP表示负正例的舒服; FN表示假负例的数目。 TP、 FP、 FN均由分类结果混淆矩阵获得。

为了评估所提出模型中各模块对分类性能的贡献, 设计并实施了两组消融实验, 分别去除了光谱-空间注意力模块和Vision Transformer (ViT)模块, 并与完整模型进行对比。 以下是消融实验的具体设计与分析方法:

(1) 移除了模型中的光谱-空间注意力模块, 保持其他网络结构不变, 旨在评估该模块在低层光谱与空间特征提取中的作用。 通过去除该模块, 期望观察模型在捕捉高光谱图像细节信息和分类性能上的变化。 模块图如图7所示。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 消融实验(去除注意力模块)Fig.7 Ablation study (removing attention module)

(2) 设计了一个不包含ViT模块的网络, 仅使用基础卷积神经网络和光谱-空间注意力机制。 该实验旨在验证ViT的自注意力机制是否显著增强了模型的全局特征提取能力, 并提高了分类精度。 模块图如图8所示。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 消融实验(去除ViT模块)Fig.8 Ablation study (removing ViT module)

通过消融实验, 分别评估了去除光谱-空间注意力模块及Vision Transformer模块的网络在分类任务中的表现。 实验结果通过10次重复实验获得, 并以平均值± 标准差的形式报告。 表2和图9汇总了消融实验的关键评价指标, 包括平均准确率(AA)、 总体准确率(OA)和精度(Precision)。

表2

Table 2

表2(Table 2)

表2 消融实验评价指标 Table 2 Metrics for ablation study AA 0A Precision 含注意力模块 95.89%± 0.12% 87.37%± 0.36% 91.54%± 0.17% 不含注意力模块 86.47%± 0.39% 82.68%± 0.34% 85.89%± 0.52% 不含ViT模块 87.51%± 0.38% 79.95%± 0.24% 86.93%± 0.05%

表2 消融实验评价指标 Table 2 Metrics for ablation study

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 消融实验评价指标对比图Fig.9 Comparison of metrics for ablation study

从表2中可以看出, 去除光谱-空间注意力模块后, 模型的AA和OA分别下降至86.47%和82.68%, 这表明该模块对于增强模型在捕捉光谱和空间特征上的能力至关重要。 去除ViT模块后, AA和OA分别降至87.51%和79.95%, 这显示出ViT在全局特征提取方面的重要性。 Precision指标的下降进一步表明, 缺少这两个模块会显著影响分类精度, 导致分类错误率的增加。

这些结果表明, 在去除光谱-空间注意力模块后, 模型在低层特征提取和分类精度方面的性能显著下降。 表明光谱-空间注意力机制在增强有效波段和像素信息方面具有至关重要的作用。 缺乏这一模块会导致特征提取过程中关键信息的遗漏, 从而降低模型对高光谱图像细节的敏感度。 此外, 去除ViT后, 模型在全局特征捕捉和分类任务中的表现也显著下降。 ViT的自注意力机制对于捕捉图像中的长距离依赖关系和全局上下文信息至关重要。 去除ViT后, 模型失去了对全局特征的深度分析能力, 导致特征表示的不完整, 从而影响了分类精度。

将本文提出的基于多尺度空间-光谱特征提取的颜料高光谱图像分类算法与其他几种方法进行对比, 包括机器学习方法支持向量机(support vector machine, SVM)^[15], 其中, SVM的参数选择了径向基函数(RBF)核, 这是处理复杂非线性数据分离的理想选择。 具体来说, 将核参数γ (gamma)设置为0.005, 将惩罚参数C设置为100。 较低的γ 值意味着每个训练点具有较广泛的影响, 从而产生更平滑的决策边界, 有利于泛化, 而较高的C值使得模型在训练数据上拟合更紧密, 以及两种深度学习方法SSRN^[16]和HyBridSN^[17]。 SSRN(spectral-spatial residual network)和HyBridSN都是当前高光谱图像分类任务中较为先进的模型。 这两个模型结合了光谱和空间特征的提取, 且都有一定的深度学习基础。 SSRN 是一个在光谱-空间特征融合方面表现突出的模型, 其通过残差机制来提高模型对信息的捕捉能力。 而HyBridSN同样结合了多层的深度学习结构和空间-光谱特征的提取, 二者是当前领域中解决类似问题的代表性方法。 为了确保实验的公平性, 所有网络均在相同的实验条件下进行了对比, 实验结果如表3和图10所示。 每个实验重复10次, 结果以平均值± 标准差表示。

表3

Table 3

表3(Table 3)

表3 不同模型在数据集上的分类准确度 Table 3 Classification accuracies of different models on the dataset 序号 SVM HyBridSN SSRN 多尺度特征提取 OA 56.95%± 0.21% 87.22%± 0.09% 85.55%± 0.20% 87.37%± 0.25% AA 62.03%± 0.28% 81.86%± 0.06% 86.12%± 0.24% 95.89%± 0.12% K 0.53 0.85 0.83 0.95 F1-score 0.49 0.72 0.73 0.89 Precision 57.19%± 0.21% 82.61%± 0.14% 85.94%± 0.23% 91.54%± 0.17% 1 73.39% 81.94% 89.30% 97.85% 2 81.67% 92.20% 81.21% 98.09% 3 78.03% 86.18% 87.18% 94.99% 4 82.71% 88.34% 87.69% 95.54% 5 84.72% 81.46% 82.75% 95.37% 6 78.15% 80.72% 86.72% 90.71% 7 78.20% 89.29% 88.47% 97.36% 8 49.40% 91.37% 90.51% 91.09% 9 55.07% 70.42% 76.42% 83.87% 10 39.08% 91.59% 85.42% 81.48% 11 0% 70.06% 93.12% 86.76% 12 56.89% 87.22% 90.51% 95.00% 13 43.71% 73.21% 74.98% 88.52% 14 38.17% 70.36% 87.69% 76.92% 15 0% 76.02% 89.47% 93.33% 16 75.77% 91.48% 86.25% 97.80%

表3 不同模型在数据集上的分类准确度 Table 3 Classification accuracies of different models on the dataset

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 使用不同模型的数据集分类图 (a): 真实图; (b): SVM; (c): HyBridSN; (d): SSRN; (e): 多尺度特征提取网络Fig.10 Dataset classification chart using different models (a): Original; (b): SVM; (c): HyBridSN; (d): SSRN; (e): Multi-scale feature extraction network

实验结果表明, 提出的基于多尺度空间-光谱特征提取的高光谱图像分类模型在多项评价指标上显著优于传统的机器学习模型SVM以及两种主流的深度学习模型HyBridSN和SSRN。 在总分类精度 (OA) 方面, 本模型达到了87.37%± 0.25%, 与HyBridSN的87.22%± 0.09%接近, 且明显高于SVM的56.95%± 0.21%和SSRN的85.55%± 0.20%, 说明其在整体分类任务中具备更强的性能表现。 平均分类精度 (AA) 指标上, 提出的模型以95.89%± 0.12%显著高于其他方法, 表明其在处理各类样本时更加均衡, 能够更好地应对高光谱数据中不同类别间的不平衡问题。 Kappa系数(K)为0.95, 较SVM的0.53和SSRN的0.83有大幅提升, 显示出模型在分类一致性方面的优势。 此外, 本模型的F1-score和Precision分别为0.89和91.54%± 0.17%, 不仅远超SVM的0.59和57.19%± 0.21%, 也优于SSRN的0.73和85.94%± 0.23%, 体现了在分类精确度和召回率方面的全面提升。

这些结果充分表明, 提出的多尺度空间-光谱特征提取方法在融合高光谱图像的多尺度空间信息与光谱特征方面具有显著优势, 能够在复杂的高光谱数据场景中有效提升分类性能。 相较于传统机器学习和其他深度学习方法, 该模型对高光谱图像中细微的光谱和空间差异有更强的捕捉能力, 在颜料类别识别任务中展现出卓越的鲁棒性和准确性。 这些特性使其在高光谱图像处理和文化遗产保护等领域具有重要的应用前景。