实验基于国际权威的UWA Writing Ink高光谱图像库(WIHSI)。 该数据集包含70张手写文本的高光谱图像, 涵盖10种不同墨水(5种蓝色墨水和5种黑色墨水), 由7位不同书写者完成, 每位参与者使用每种墨水在白纸上书写标准英文句子“ The quick brown fox jumps over the lazy dog” 一遍, 如图1所示。 每幅高光谱图像的尺寸为752× 480像素, 包含33个光谱波段, 覆盖400~700 nm的可见光范围, 光谱分辨率为10 nm。 所有墨水均来自不同制造商, 以确保同一颜色类别内存在细微的光谱差异, 从而提高数据集的多样性和挑战性。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 WIHSI数据库结构组成Fig.1 Composition of the WIHSI database structure

1.2.1 高光谱数据提取

在基于高光谱成像的墨水分类任务中, 预处理阶段常需对高光谱图像进行分割, 以提取有效的墨水区域。 大津法(Otsu's Method)是一种基于灰度直方图的自适应阈值分割算法, 不易受图像亮度和对比度的影响^[16]。 其核心思想是通过最大化类间方差(inter-class variance)来确定最佳分割阈值, 从而将图像分为前景(墨水笔迹)和背景(纸张)两部分。 对于基于高光谱成像的墨水数据, 设某波段图像的灰度级L, 像素总数为N, 灰度值的像素数为n_i, 阈值可将像素分为两类: 灰度值大于t的为前景(墨水区域), 小于t的为背景(白纸区域)。 类间方差的计算如式(1):

σB2(t)=ω0(t)ω1(t)[μ0(t)-μ1(t)]2(1)

式(1)中, ω ₀(t)为前景像素累积概率; ω ₁(t)为背景像素累积概率; μ ₀(t)为前景平均灰度; μ ₁(t)为背景平均灰度。 遍历所有可能的t , 选择使 σB2(t)最大的t作为最佳分割阈值。

为了排除背景的干扰, 获得所有墨水像素的位置, 使用大津法确定图像最优二值化阈值, 获得每种墨水笔迹的掩膜图像如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 编号002书写者五种黑色墨水样本经处理后得到的掩膜图像Fig.2 Mask images of five black ink samples from writer No.002 after processing

1.2.2 高光谱数据重塑

利用墨水笔迹的二值图像定位墨水像素的位置, 在五种蓝色墨水掩膜图像中获取了77 188个有效像素, 在五种黑色墨水掩膜图像中获取了87 761个有效像素, 制作十个数组分别储存十种墨水各个像素33个波段的光谱数据信息, 如图3所示。 为了通过卷积神经网络进行特征提取, 将获取的33个波段的光谱反射率按行优先排列的方式重塑为6× 6的二维反射率矩阵, 缺少的3个波段补零。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 提取编号003书写者某类墨水光谱数据后的处理过程Fig.3 The processing procedure after extracting the spectral data of a certain type of ink from writer number 003

1.3.1 模型概述

针对基于高光谱成像的墨水数据的高维性, 提出了一种融合多尺度卷积与注意力机制的HI-CNN深度学习框架。 其输入为6× 6的高光谱反射率矩阵, 输出为5类墨水的概率分布。 模型通过以下核心设计实现高效分类: (1)多分支并行卷积, 用于提取不同尺度的光谱特征; (2)通道注意力标定, 用于动态增强判别性光谱通道; (3)通过残差跨层连接来优化梯度传播和防止梯度消失。 整体架构如式(2)

Y=Fcls(P(R(C(B1(X), B2(X), B3(X)))))(2)

式(2)中, B_i为并行卷积分支, C表示特征融合与压缩, R为残差连接, P为池化操作, F_cls为分类器。

1.3.2 多尺度特征提取

输入层将原始的6× 6光谱块(反射率矩阵)添加通道维, 随后馈送到三条独立的卷积通路, 其中分支1为细节特征通路, 架构如式(3)

F1=ReLU(BN(W3×3(2)* ReLU(BN(W3×3(1)* X))))(3)

式(3)中, W3×3(1)表示卷积核大小为3× 3, 步幅为1, W3×3(2)表示卷积核大小为3× 3, 步幅为2, * 表示卷积操作, 使用ReLU 作为激活函数, BN为批量归一化。 分支2为中等尺度通路, 结构与分支1类似, 但初始通道数为24, 最终输出F₂∈ R^{6× 6× 32}, 满足‖ F₂‖ ₀< ‖ F₁‖ ₀的稀疏性约束。 分支3为上下文通路, 采用大核卷积捕获全局模式, 使用16个5× 5 的卷积核, ReLU作为激活函数, BN为批量归一化。 特征融合阶段如式(4)

Ffused=W1×1* Concat(F1, F2, F3)(4)

式(4)中, W_{1× 1}使用32个1× 1小核将通道数降至32, 降低后续计算压力。

1.3.3 通道注意力机制

受视觉注意力启发, 设计轻量化通道重标定模块。 给定输入特征F, 经过双路池化并共享MLP映射得到通道权重A, 输出为通道加权结果。 表达式如式(5)

Fatt=A☉F(5)

式(5)中, ☉为点积, 该操作使模型聚焦于墨水化学成分敏感的光谱通道。

1.3.4 残差学习与分类器

为了确保梯度可直接回传至浅层, 防止出现梯度消失和模型退化问题, 使用残差连接将分支2的中等尺度特征通路与注意力输出融合, 将输出特征经过展平和丢弃法后使用全连接映射, Dropout层以概率0.5随机屏蔽神经元, 最后经Softmax函数输出五类分类概率的表达式如式(6)

$P(y=k \mid X)=\frac{\exp \left(z_{k}\right)}{\displaystyle\sum_{i=1}^{5} \exp \left(z_{i}\right)} \quad k=1, \cdots, 5$(6)

为了量化模型性能并分析分类误差来源, 采用总体准确率(overall accuracy, OA)和混淆矩阵(confusion matrix)作为核心评价指标。 总体准确率(OA)反映模型对所有测试样本的整体分类能力, 表达式如式(7)

$\mathrm{OA}=\frac{\displaystyle\sum_{i=1}^{k} T P_{i}}{N}$(7)

式(7)中, TP_i为第 i 类墨水正确分类的像素数, k为墨水类别总数, N为测试集总数。 OA值越接近1, 表明模型分类性能越强。 混淆矩阵通过行列交叉表直观展示分类细节, 其元素C_ij表示真实类别为i的样本被预测为类别j的数量, 基于该矩阵可进一步计算类别精确率和类别召回率。 类别精确率(Precision): TPiTPi+FPi, 衡量模型对类别i的预测可靠性; 类别召回率(Recall): TPiTPi+FNi, 评估模型对类别i的覆盖能力。 F1得分为精确率与召回率的调和均值, 表达式如式(8)

$\mathrm{F} 1_{i}=2 \times \frac{\text { Precision }_{i} \times \text { Recall }_{i}~~~}{\text { Precision }_{i}+\text { Recall }_{i}~~~}$(8)

本实验使用搭载Windows11专业版操作系统的计算机进行, 如表1所示。 具体硬件环境包括AMD7700处理器、 RTX4070super显示卡、 32G运行内存等。 编程IDE为Trae, 环境解释器为python3.9.19, 环境依赖库包括Numpy, Pandas 等。

表1

Table 1

表1(Table 1)

表1 实验的环境配置 Table 1 Experimental environment configuration 软硬件 配置详情 中央处理器 AMD Ryzen 7 7700 8-Core Processor, 3.80 GHz 内存 32GB DDR5 显示卡 NVIDIA GeForce RTX 4070super 操作系统 Windows 11 专业工作站版 CUDA版本 12.8 编程IDE Trae 环境解释器 Python3.9.19 深度学习框架 Tensorflow2.10.1 依赖库 NumPy, Pandas, Matplotlib, OpenCV, Spectral, Scikit-learn

表1 实验的环境配置 Table 1 Experimental environment configuration

WIHSI数据集包含7个不同个人书写的10类墨水的样本, 为了严格控制变量为墨水种类, 排除不同书写者对分类器的干扰, 第一次将所有样本随机取20%作为独立的测试集, 余下80%作为训练数据集。 第二次将编号007的书写者的所有样本作为测试集, 余下样本作为训练数据集, 在同样的环境下进行训练和测试。

损失函数使用多分类交叉熵, 优化器为Adam, 初始学习率设置为0.001, 通过ReduceLROnPlateau函数动态调整学习率并加入早停机制, 当验证集连续5个epoch没有改善时降低学习率, 连续10个epoch没有改善时停止训练, 训练轮次设置为100, 每次载入的批量大小为128, 损失函数的表达式如式(9)

$L=\frac{1}{N} \displaystyle\sum_{i} L_{i}=-\frac{1}{N} \displaystyle\sum_{i} \displaystyle\sum_{c=1}^{M} y_{i c} \log \left(p_{i c}\right)$(9)

2.3.1 不同验证集比例对模型训练的影响

为确定最优验证集划分比例, 对比了30%、 20%和10%三种验证集占比对模型训练动态的影响。 通过监测训练过程中准确率和损失值的收敛特性, 可评估不同数据划分策略对模型泛化能力与训练效率的综合作用。 采用早停机制在验证损失连续10轮未下降时终止训练, 并以验证集最佳表现保存模型参数。 图4、 图5、 图6分别记录了30%、 20%和10%三种验证集占比下训练过程中模型的准确率和损失值, 其中蓝色曲线代表训练集, 黄色曲线代表验证集。 当验证集占训练数据集的30%时, 训练过程中验证集的准确率和损失率在40轮前波动较大, 在51轮后趋于平稳, 在第80轮时模型停止训练并保存为最佳模型参数; 当验证集占训练数据集的20%时, 训练过程中验证集的准确率和损失率在37轮前有波动, 在44轮后趋于平稳, 在第76轮时模型停止训练并保存为最佳模型参数; 当验证集占训练数据集的10%时, 训练过程中验证集的准确率和损失率在38轮前有波动, 在49轮后趋于平稳, 在第90轮时模型停止训练并保存为最佳模型参数。 由此可知, 验证集占比为20%达到最佳效果的轮次最少, 训练效率最高, 算力成本最低, 因此本研究的后续实验均使用该数据划分比例。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 验证集比例为30%的训练过程 (a): 训练集和验证集的准确率曲线; (b): 训练集和验证集的损失值曲线Fig.4 Training process with a 30% validation set (a): Accuracy curves of the training set and validation set; (b): Loss value curves of the training set and validation set

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 验证集比例为20%的训练过程 (a): 训练集和验证集的准确率曲线; (b): 训练集和验证集的损失值曲线Fig.5 Training process of model with 20% for validation set (a): Accuracy curves of the training set and validation set; (b): Loss value curves of the training set and validation set

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 验证集比例为10%的训练过程 (a): 训练集和验证集的准确率曲线; (b): 训练集和验证集的损失值曲线Fig.6 Training process of model with 10% for validation set (a): Accuracy curves of the training set and validation set; (b): Loss value curves of the training set and validation set

2.3.2 不同测试集划分方式对实验结果的影响

随机选取所有数据的20%作为测试样本时, 模型在五种黑色墨水的分类识别中的整体准确率为98.07%; 取编号007的书写者的样本作为测试集时, 模型在五种黑色墨水的分类识别中整体准确率为98.02%。 两者的分类识别准确率差别在0.05%以内, 因此不同书写者对于模型在光谱维度的学习没有关键性影响, 模型成功学习了不同种类墨水高光谱数据间的差别。

2.3.3 模型表现和可视化结果

为了评估模型性能, 统计测试样本并绘制了HI-CNN模型在测试数据集上分类的混淆矩阵如图7所示。 图7(a)和(b)分别为模型对五种蓝色墨水和五种黑色墨水分类的混淆矩阵, 根据其中的样本数计算每种墨水分类的整体准确率、 精确率、 召回率和F1得分, 统计其分类表现。 表2为五种蓝色墨水的分类表现, 04的预测为正例的样本里预测正确的比例最高, 各类F1得分均在0.98以上, 整体准确率> 0.99, 表现优秀。 表3为五种黑色墨水的分类表现, 01中预测为正例的样本里预测正确的比例最高, 01、 02、 05的F1得分在0.98以上, 整体准确率> 0.98, 也达到了较高水平。 如图8所示, (a)为用于提取墨水像素位置的二值掩膜图像, (b)为可视化后的分类结果, 经过对比可以发现模型分类效果良好, 具有一定的泛化能力, 能够应对两种场景下的同色不同种类墨水的分类。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 HI-CNN在测试数据集上分类的混淆矩阵 (a): 五种蓝色墨水分类的混淆矩阵; (b): 五种黑色墨水分类的混淆矩阵Fig.7 Confusion matrices of HI-CNN classification for the test dataset =(a): Confusion matrix of classification for five types of blue ink; (b): Confusion matrix of classification for five types of black ink

表2

Table 2

表2(Table 2)

表2 五种蓝色墨水的分类表现 Table 2 Classification performance of five blue inks 精确率 召回率 F1得分 01 0.990 4 0.991 3 0.990 8 02 0.984 2 0.988 7 0.986 4 03 0.987 8 0.989 9 0.988 8 04 0.998 5 0.983 4 0.991 0 05 0.992 3 0.991 0 0.991 6 整体准确率 0.990 6

表2 五种蓝色墨水的分类表现 Table 2 Classification performance of five blue inks

表3

Table 3

表3(Table 3)

表3 五种黑色墨水的分类表现 Table 3 Classification performance of five blackinks 精确率 召回率 F1得分 01 0.990 1 0.988 3 0.989 2 02 0.986 3 0.988 1 0.987 2 03 0.973 4 0.980 3 0.976 8 04 0.967 7 0.974 4 0.971 0 05 0.985 9 0.984 6 0.985 2 整体准确率 0.980 7

表3 五种黑色墨水的分类表现 Table 3 Classification performance of five blackinks

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 原二值掩膜图像及可视化分类结果 (a): 原二值掩膜图像; (b): 墨水分类结果Fig.8 Original binary mask image and visualized classification results (a): Original binary mask image; (b): Ink classification results

为验证本文提出的HI-CNN模型中关键模块的有效性, 设计了系统性消融实验, 通过逐步移除或修改模型核心组件, 评估其对同色墨水分类性能的影响。 所有实验均基于相同的高光谱数据集(6× 6光谱矩阵输入)和训练参数(Adam优化器, 初始学习率0.001, 批量大小128), 实验结果取三次独立实验的平均值。

为了探究通道注意力模块的有效性, 设计实验移除通道注意力模块, 直接保留并行分支融合后的特征, 严格控制数据集划分比例及批量大小、 学习率等训练参数保持不变。 移除该模块后模型验证集准确率下降1.0%(从98.07%降至97.05%)。 原模型能显著增强部分波段的特征响应, 如图9所示。 因此, 通道注意力机制通过动态校准光谱特征的重要性, 有效提升了模型对同色墨水细微光谱差异的捕获能力。 为了探究残差连接的作用, 取消分支2的残差连接, 仅保留主路径特征。 模型收敛速度明显减缓, 达到相同验证准确率所需的训练周期增加116 s, 最终分类准确率下降0.5%。 残差连接的缺失导致深层特征图出现梯度弥散现象, 中高层特征响应强度降低。 这表明残差结构不仅缓解了梯度消失问题, 还通过跨层特征复用增强了模型对墨水混合光谱特征的鲁棒性。 为验证多分支结构的有效性, 设计两组实验。 第一组是仅保留单一分支(移除branch2和branch3, 仅使用branch1的3× 3卷积组合); 第二组统一所有分支卷积核为3× 3, 消除多尺度特征差异。 第一组和第二组的准确率分别下降4.6%和2.5%。 原模型的多分支结构在特征图中同时激活了局部细节(5× 5卷积捕获的宽光谱趋势)和上下文关联(3× 3卷积提取的精细纹理), 而单一分支模型仅能保留单一尺度特征。 多分支结构通过融合多尺度光谱特征, 广泛提升了模型对光谱特征的提取能力。 消融实验中, 不同模型架构在黑色墨水分类的具体表现如表4所示。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 测试集样本1的注意力权重热力图Fig.9 Heat map of attention weights for sample 1 in the test set

表4

Table 4

表4(Table 4)

表4 消融实验中不同模型架构在黑色墨水分类的表现 Table 4 Performances of different model architectures for black ink classification with the ablation study 模型架构 准确率 /% 单轮时 长/s 训练 轮次 总训练时 长/s HI-CNN 98.07 3 76 228 HI-CNN(无通道注意力) 97.05 3 94 282 HI-CNN(单路卷积) 93.46 4 99 396 HI-CNN(相同核大小) 95.61 3 89 267 HI-CNN(无残差连接) 97.53 4 86 344

表4 消融实验中不同模型架构在黑色墨水分类的表现 Table 4 Performances of different model architectures for black ink classification with the ablation study

为验证不同模型架构在蓝色墨水分类中的表现, 在相同实验条件下对蓝色墨水数据进行了对比实验, 结果如表5所示。 从结果可以看出, 蓝色墨水的分类趋势与黑色墨水基本一致: 移除通道注意力模块后准确率下降0.9%, 取消残差连接后准确率下降0.4%, 而仅保留单一路径卷积时下降最为明显, 达到3.3%。 此外, 统一卷积核大小的模型也表现出约2.0%的性能损失。 该结果与黑色墨水的实验结论相吻合, 进一步证明了多分支卷积、 通道注意力和残差结构在提升模型泛化能力和稳定性方面的必要性。

表5

Table 5

表5(Table 5)

表5 消融实验中不同模型架构在蓝色墨水分类的表现 Table 5 Performances of different model architectures for blue ink classification with the ablation study 模型架构 准确率 /% 单轮时 长/s 训练 轮次 总训练时 长/s HI-CNN 99.06 3 76 228 HI-CNN(无通道注意力) 98.15 3 92 276 HI-CNN(单路卷积) 95.76 4 97 388 HI-CNN(相同核大小) 97.11 3 88 264 HI-CNN(无残差连接) 98.67 4 85 340

表5 消融实验中不同模型架构在蓝色墨水分类的表现 Table 5 Performances of different model architectures for blue ink classification with the ablation study

消融实验表明, 通道注意力、 残差连接与多分支结构三者协同优化了高光谱数据的特征表达, 具体作用为: (1)通道注意力模块通过光谱维度自适应加权, 抑制冗余波段干扰; (2)残差连接保障了深层网络的稳定训练与特征复用; (3)多分支设计实现了光谱多尺度特征的互补增强。 三者缺失将导致模型对同色墨水的类内差异敏感度下降, 验证了本文模型架构设计的必要性。

为了进一步评估模型性能, 将本文提出的算法模型与数据库中现有算法的进行对比(同架构算法取性能最优的为代表), 如表6所示。 由此可以看出, 本模型对黑色墨水的分类识别准确率比目前表现最好的CAE-LR提升了5.3%; 对于蓝色墨水的分类识别也达到了较高水平, 体现了模型具有一定的泛化能力。

表6

Table 6

表6(Table 6)

表6 数据库中各种算法的性能表现 Table 6 Performances of various models for the database 算法 参数量 (M) FLOPs (× 106) 单次推理 用时 /ms 蓝色墨水 准确率 /% 黑色墨水 准确率 /% Clustering[17] - 15 3 89.0 82.3 MVES[18] - 22 5 86.2 83.4 CNN[12] 1.8 165 14 99.6 92.3 Autoencoder[13] 3.5 280 22 99.05 92.74 Ours 2.1 190 12 99.06 98.07

表6 数据库中各种算法的性能表现 Table 6 Performances of various models for the database

从表6的对比结果可以看出, 现有算法在蓝色墨水与黑色墨水的分类识别中存在差异, 其中蓝色墨水的分类准确率普遍高于黑色墨水。 这一现象主要源于黑色墨水在光谱维度上的区分度较低, 不同批次或厂商的黑色墨水在光谱反射特性上差异极为细微, 传统特征提取方法及浅层模型难以充分捕捉这些细微差异, 因而导致分类性能下降。 相比之下, 蓝色墨水在特定波段具有较为显著的光谱差异, 因而更容易被传统算法识别。 值得注意的是, 本文提出的HI-CNN模型在蓝色与黑色墨水上的分类准确率差异明显缩小。 这主要得益于多尺度卷积结构能够同时提取局部细节与全局光谱特征, 通道注意力机制可自适应地强化关键判别波段, 而残差连接则保障了深层网络的稳定训练与特征复用。 上述设计协同作用, 显著增强了模型在低差异光谱数据中的特征表达能力, 使其在蓝色与黑色墨水的分类任务中均能保持较高且稳定的识别精度。

除分类准确率外, 为全面评估不同算法在实际应用中的可行性, 进一步对比了各模型的计算复杂度与推理用时。 结果表明, 传统的聚类与MVES方法尽管计算复杂度较低, 但在大规模数据处理场景下难以满足精度要求; 深度学习方法虽然在准确率上具有优势, 但部分模型(如Autoencoder)在训练与推理阶段耗时较长, 影响了实际应用效率。 相比之下, 本文提出的HI-CNN模型在保证高分类精度的同时, 得益于多分支并行结构与残差优化机制, 在计算复杂度上保持适中水平, 且单次推理用时明显低于Autoencoder和传统CNN, 兼顾了性能与效率, 这进一步验证了本模型在司法鉴定应用场景中的实用性与优势