作者简介: 胡伟成, 1998年生,中国刑事警察学院公安信息技术与情报学院硕士研究生 e-mail: 1428682099@qq.com
血迹是揭露、 证实犯罪的关键诉讼证据, 但由于犯罪现场环境的复杂性与客体的多样化, 现场勘查中很难快速、 准确的发现血迹, 并对血迹及其类似物进行识别。 鉴于此, 本文提出基于极化注意力机制的血迹高光谱可视化分类模型Hybird-PSA(Hybird Polarized Self-Attention), 用于对血迹及其类似物, 如血液、 番茄酱、 人工血液、 丙烯酸颜料等进行可视化分类识别。 Hybird-PSA模型设计包含三个层次, 核心为三级三维卷积层组、 极化自注意力模块(PSA), 以及二维卷积层。 通过残差连接嵌入PSA模块, 其采用双分支结构实现特征优化; 通道分支保留1/2光谱带, 将空间维度压缩至1×1以聚焦光谱波段间的关联特征; 空间分支保持原始分辨率, 将通道数压缩至1以建模空间特征。 这种双极化机制在光谱完整性与空间信息建模间取得平衡, 使模型能精准聚焦关键特征区域, 在仅增加少量参数的前提下, 同时提升模型特征捕捉能力和计算效率。 为验证Hybird-PSA模型性能, 通过与3DCNN、 Hybird-SN在公开可用的血迹高光谱数据集Hyper Blood上进行实验对比, 使用有限的训练样本对3D卷积模块和注意力模块进行消融实验。 实验结果表明, Hybird-PSA在仅增加0.02%参数量的情况下, 使模型准确率从96%提高至99.08%, 准确率提升3.08%。 在可视化识别方面, 3D-CNN和Hybird-SN误识率较高, 未能很好分类出红色和黑色背景上的血迹及类血迹痕迹。 Hybird-PSA的空谱融合策略与残差链接使得极化自注意力机制能够在每次迭代中更好的适应痕迹目标形状并精确捕捉痕迹边界, 避免因颜色相似性而导致边界处的错误分类, 可视化分类效果明显优于另外两种模型。 本文提出的基于注意力机制的血迹分类模型具有分类准确率高、 可视化效果优异、 泛化能力强的特点, 能够在在复杂勘查环境中快速、 准确、 无损地发现并识别血迹。
Bloodstains are key litigation evidence for exposing and confirming crimes. Still, due to the complexity of the crime scene environment and the diversity of objects, it is challenging to quickly and accurately detect bloodstains and identify their analogues during scene investigation. Given this, this paper proposes Hybrid-PSA, a hyperspectral visual classification model for bloodstain identification based on the attention mechanism, which enables the visual classification and identification of bloodstains and their analogues, such as blood, ketchup, artificial blood, and acrylic paint. The Hybrid-PSA model was designed hierarchically, with a core containing a set of three-level 3D convolutional layers, a polarized self-attention module (PSA), and a 2D convolutional layer. The PSA module is embedded through residual linkage, which employs a dual-branching structure to achieve feature optimization; the channel branch retains 1/2 spectral band and compresses the spatial dimensions to 1×1 to focus on correlation features between spectral bands; the spatial branch maintains the original resolution and compresses the number of channels to 1 to model spatial features. This dual-polarization mechanism strikes a balance between spectral integrity and spatial information modeling, enabling the model to accurately focus on key feature regions while simultaneously improving its feature capture capability and computational efficiency with only a small increase in parameters. To validate the performance of the Hybrid-PSA model, ablation experiments are performed on the 3D convolution module and the attention module using a limited number of training samples, experimentally comparing them with 3DCNN and Hybrid-SN on the publicly available bloodstain hyperspectral dataset, Hyper Blood. The experimental results show that Hybrid-PSA improves the model accuracy from 96% to 99.08% with only a 0.02% increase in the number of parameters, resulting in a 3.08% improvement in accuracy. In terms of visual recognition, 3D-CNN and Hybrid-SN-exhibit high misidentification rates and struggle to classify blood and blood-like traces accurately on red and black backgrounds. The null-spectrum fusion strategy and residual linking of Hybrid-PSA enable the polarized self-attention mechanism to better adapt to the trace target shape and accurately capture the trace boundaries in each iteration, thereby avoiding misclassification of traces at the boundaries due to similarity in color. Avoid misclassification at the boundary due to color similarity, and the visualization classification effect is significantly better than the other two models. The bloodstain classification model based on the attention mechanism proposed in this paper is characterized by high classification accuracy, an excellent visualization effect, and strong generalization ability, and is able to quickly, accurately, and non-destructively discover and identify bloodstains in complex investigation environments.
在法庭科学领域, 血液、 精液、 尿液、 唾液等体液痕迹物证由于含有DNA成分, 是揭露犯罪和证实犯罪的关键诉讼证据[1]。 其中, 血迹是现场勘查工作中的重点, 但由于现场环境复杂, 血迹与其类似物痕迹难于区分, 如人工血液、 丙烯酸颜料, 番茄酱等。 而且, 血液物证常常会遭到嫌疑人或者自然原因的破坏, 导致血迹十分微量, 使血液的发现与寻找非常困难。 传统方法主要采用化学试剂法进行血迹搜寻。 联苯胺法是联苯胺试剂与血迹接触后会从无色联苯胺氧化成联苯胺蓝, 使痕迹呈现翠蓝色, 但是其中的联苯胺试剂有致癌的作用, 使用时对身体有危害[2]。 鲁米诺法是通过鲁米诺试剂激发血红蛋白中的铁元素产生荧光, 肉眼可以观察到试剂从无色变为蓝紫色, 实现血迹搜寻[3]。 但化学测试法存在两方面不可避免地问题, 一是化学试剂会对血迹物证产生破坏性, 二是化学试剂普遍具有毒性不适合大面积喷洒, 无法实现对现场的大范围搜寻。
可视化识别技术作为现代法庭科学的重要工具, 检测微量、 潜隐、 背景干扰血迹时可突破人类感官局限, 揭示痕迹空间分布, 支撑血迹形态分析与现场重建, 其在血迹物证搜寻中的价值愈加重要。 高光谱成像技术具有高分辨率、 波段信息丰富等优点, 使其在可视化分类和识别任务中具有独特优势, 而且凭借其对血红蛋白的高度敏感性以及无损检测特性, 使其成为法庭科学中血迹检测的重要工具。 但高光谱技术数据量大、 波段相关性强等特点也带来了挑战, 要求研究人员需要结合先进的算法和降维技术来处理分析高光谱数据。 Pereira[4]团队开发的监督模式识别系统配合便携式近红外设备, 对人类血液识别准确率达到了81%~94%, 但由于水分子在近红外波段的吸收峰会影响检测, 所以该技术更适合干燥样本, 对血迹的分类识别准确率难以进一步提升。 Edelman[5]采用便携式高光谱成像系统(400~720 nm), 结合PCA与SIMPLISMA算法实现非破坏性血迹检测, 可在黑色棉布表面识别25%稀释度的微量血液。 Li[6]等利用血红蛋白中的血红素基团在414~415 nm处附近有一个极强的吸收峰来标记血迹特征, 成功区分了红色纺织物上血迹与红酒、 口红等9种类似物痕迹。 黄威[7]等利用fisher判别法并结合高光谱成像技术对不同介质上的人血、 鸡血、 蛇血进行数据分析, 通过函数型数据使四种介质上的血迹种类判别准确率达到了96%。 上述方法一般采用传统光谱分析方法[8], 即通过机器学习对血迹在特定波段的光谱特征进行分析并实现识别, 并未充分利用高光谱数据中丰富的空间和光谱信息, 因此上述方法的识别精度和泛化能力均有待提升。
随着深度学习的突破性进展, 使其在处理高光谱数据时展现出显著优势, 包括一维、 二维和三维卷积模型在内的多种高光谱分类模型架构用于血迹检测[9, 10]。 Liang[11]等提出卷积神经网络结合支持向量机的新方法, 在近红外光谱范围内快速识别不同种类的血迹, 预测准确率达到98.48%。 Muhammad[12]等提出了一种用于血迹及其类似物痕迹分类的快速且紧凑的混合卷积神经网络(HybridSN), 该模型在频谱-空间3D CNN后接入专注于获取空间特征的2D CNN, 这种通过融合多维卷积使模型在处理三维高光谱数据时既能同步获取光谱和空间信息, 又能降低模型的复杂度, 结果表明混合模型在仅使用5%训练样本的情况下, 分类准确率达到了96%。 上述论文受限于血痕的显微分布特性、 复杂背景干扰以及时效性要求, 识别的可视化效果不佳, 边界误识率较高, 无法满足现场勘查中物证搜寻的可视化需求, 需要进一步提高血迹预测准确率及速度, 避免因颜色相似性而导致错误分类。 鉴于此, 本研究提出一种融合极化自注意力机制的混合网络模型Hybird-PSA, 即在3D卷积层和2D卷积层之间通过残差连接插入极化自注意力模块[13, 14, 15, 16]。 该模型可以有效融合空间信息和光谱信息, 避免高光谱数据的三维特征信息在多层网络学习过程中丢失, 并且不会因为加深网络深度而导致梯度消失。 在血迹干燥过程中, 痕迹边缘处的血红蛋白结晶导致偏振方向紊乱, 中心区域形成均匀的光谱吸收带, PSA模块通过建模这种偏振差异在来增强边缘检测。 即对32个特征通道计算偏振权重, 梯度变化大的边缘相关通道权重大于0.8, 中心均匀区域通道权重小于0.2。 血迹与类似物痕迹在可见光波段反射光谱十分相似, 但在700~1 000 nm 近红外波段会因血红蛋白的特征吸收谷而产生显著差异, PSA模块通过可学习的权重向量自动聚焦于这些鉴别性波段, 捕捉长距离依赖关系, 通过计算各个像素之间的注意力权重能够使网络在空间和光谱维度上更好地聚焦于重要的特征区域, 而不是对所有区域进行均等处理。 可以更好地提升分类模型的关键特征学习能力和计算效率, 从而提升分类识别任务的准确率和可视化效果, 实现现场勘查中快速、 准确地识别血迹。
高光谱数据可以表示为三维立方体I∈ RM× N× D, 其中I是原始输入数据, M是宽度, N是高度, D是光谱带数。 每个像素包含D个光谱值, 形成一个标签向量Y∈ R1× 1× C, 其中C表示血迹及其类似物类别。 为了去除冗余光谱信息, 使用稀疏主成分分析(sparse principal component analysis, SPA)对原始数据的光谱波段数进行降维, 在保持空间维度不变的情况下, 将光谱带的数量从D降至B。 同时, 通过稀疏性选择关键波段, 增强特征可解释性, 减少噪声干扰。 经过稀疏主成分分析降维后的数据立方体记为X∈ RM× N× B, 其中X是经过处理后的输入数据, B是降维后的光谱带数。
在目标分类技术中, 将三维高光谱数据划分为多个较小的HSI立方体, 其空间中心位置(a, b)用于确定HSI立方体的真实类别标签, 具体操作流程如下: 在空间位置(a, b)处创建大小为S× S× B的邻域窗口Pi, 其中i∈ {1, 2, 3, (M-S+1)× (L-S+1)}。 对于图像中每一个n补丁, 其空间宽度范围涵盖从a-(S-1)/2到a+(S-1)/2, 高度范围涵盖b-(S-1)/2到b+(S-1)/2。
在2D卷积操作中, 二维卷积核仅在高光谱数据的空间维度(M和N)上滑动, 对每个光谱带d∈ {1, 2, 3, …, D}进行独立二维卷积, 第i层第j个特征图中空间位置(x, y)的激活值
式(1)中, ϕ(· )为激活函数, bi, j为第i层第j个卷积核的偏置参数, dl-1为第j-1层特征映射的个数,
在3D卷积中, 卷积核在(M, N, D)三个维度上进行滑动, 通过同时考虑空间和光谱信息来提取高光谱数据的特征, 从而捕获光谱信息[17]。 在三维卷积中, 生成第i层第j个特征图中空间位置(x, y, z)的激活值, 记为
式(2)中, λ为卷积核在深度方向上的偏移量, 其他参数与式(1)相同。
极化自注意力机制的核心关键在于极化滤波和非线性增强。 极化滤波通过使用孪生分支结构[18], 在通道分支保留C/2的光谱带数, 压缩空间维度至1× 1, 聚焦光谱波段间的关系, 如式(3)。 空间分支保持空间分辨率[M, N], 压缩通道维度至1, 建模全局空间依赖, 如式(4)。 这种孪生结构避免传统注意力机制在双向压缩时的信息损失, 最大限度保留高分辨率信息。
式(3)中, Wq, Wv, Wz是1× 1卷积层, 用于线性变换; σ1, σ2是张量重塑操作, 调整维度以进行矩阵乘法; FSM是Softmax函数。 用于归一化注意力权重; FSG是Sigmoid函数, 进一步调整输出动态范围。
对于高光谱图像分类问题, 需要捕获与空间信息一起编码在多个波段的光谱信息以缓解高光谱数据的光谱-空间耦合难题。 2DCNN不能处理光谱信息, 另一方面, 3DCNN可以同时从HSI数据中提取光谱和空间特征表示, 但代价是增加了计算复杂度, 难以建立长距离依赖。 极化自注意力机制(PSA)通过在通道和空间分支进行极化滤波, 可以抑制冗余光谱维度, 保留关键波段。 空间维度建模全局依赖, 弥补3D卷积的局部感受野限制。 同时PSA采用正交注意力分离以聚焦光谱间相关性, 捕捉空间上下文信息, 通过Softmax+Sigmoid自动学习光谱和空间的权重分布, 无需人工干预从而缓解耦合问题[19, 20]。 本文为了利用2D-3D混合神经网络和极化自注意力机制的自动特征学习能力, 提出了一种用于HSI分类的混合特征学习框架HybridSN-PSA, 如图1所示。
模型采用分层架构, 主要由三维卷积层组、 极化自注意力模块、 二维卷积层及全连接网络构成。 在核心的Hybrid-PSA框架中, 三维卷积核的尺寸依次为(8, 7, 3, 3)、 (16, 5, 3, 3)和(32, 3, 3, 3), 经三次卷积运算后输出特征尺寸为(B, 32, 18, 19, 19)。 为实现三维卷积特征向二维结构的过渡转换, 同时适配后续注意力机制的处理需求, 特征张量被重塑为(B, 576, 19, 19)形式。
通过并行极化自注意力机制实现空间-光谱特征的协同提取, 如图2所示, 特征图随后输入二维卷积层进行空间信息建模。 该层的卷积核尺寸为(64, 3, 3, 576), 其中64表示卷积核数量, 3× 3为空间维度, 576对应输入特征通道数。 值得注意的是, 通过级联三维卷积操作渐进式扩展特征映射维度, 能有效保留高光谱影像的固有光谱特征。 二维卷积操作在保持光谱特征完整性的前提下有效提取空间信息, 避免传统处理方法中普遍存在的光谱失真问题。
![]() | 图2 HyperBlood数据集中不同背景上血迹及其类似物痕迹[21] (1): 血液; (2): 番茄酱; (3): 人造血液; (4): 海报漆; (6): 番茄浓缩酱; (7): 丙烯酸颜料Fig.2 Traces of blood and its analogs on different backgrounds in the HyperBlood dataset[9] (1): Blood; (2): Ketchup; (3): Artificial blood; (4): Poster paint; (6): Tomato concentrate; (7): Acrylic paint |
网络分层参数如表1所示, 末层全连接节点数16与数据集中目标类别数对应。 模型共包含5 145 856 个可训练参数, 网络权重采用随机初始化策略。 通过Adam优化器配合Softmax交叉熵损失函数进行反向传播优化, 实验设置256批次规模进行100轮训练。
![]() | 表1 网络分层参数 Table 1 Network layering parameters |
本研究中使用的HyperBlood数据集最初由Romaszewski等制作并检验, 涵盖400~1 000 nm波长范围, 共包含224个连续波段, 空间分辨率为512× 512像素。 如图2所示, HyperBlood数据集包含不同背景如织物、 木材、 塑料和金属, 每种血液及其类似物在8个背景样本上有不同大小的痕迹特征, 它们是一系列横状分布。 图3为血液、 番茄酱、 人造血液、 海报漆、 番茄浓缩酱、 丙烯酸颜料痕迹物质在数据集中的光谱曲线。
实验均在Linux系统下使用深度学习框架PyTorch进行, 表2为实验环境具体信息。 实验均采用通过Adam优化器配合Softmax交叉熵损失函数进行反向传播优化, 每个批次样本数设置为250, 权重衰减为0.01, 迭代次数设置为100。 整个数据划分为训练集、 验证集、 测试集, 其中80%用于训练目的, 10%用于验证目的, 剩下的10%为用于模型最终评估的测试集。 如图4所示, 模型在20个epoch后实现了收敛, 突显了Hybird-PSA的快速收敛性能。
![]() | 表2 实验环境 Table 2 Experimental environment |
采用消融实验来验证所提出的网络各部分的有效性, 选择3DCNN为基线网络, 表3为实验结果。 采用增量主成分分析(SPCA)方法, 选取了15个信息量最大的频带, 通过混淆矩阵计算所提出模型的评价结果。 采用Acc、 FPS、 IoU、 Param作为评价指标, pixel accuracy(Acc)为预测类别正确的像素数占总像素数的比例, intersection-over-union(IoU)一定程度上可以反映痕迹目标定位的准确性, Param表示模型的参数复杂度。
![]() | 表3 消融实验 Table 3 Ablation experiments |
表3中第3行表示快速基线网络在血液痕迹和类似物痕迹测试集上的性能, 算法预测准确率达到了96%, 可见融合了二维卷积核的混合网络在预测准确率上有一定提升。 3D卷积核的参数量随光谱维度立方增长, 易导致过拟合和计算负担。 本工作采用的混合神经网络使用二维卷积核提取空间特征, 通过reshape压缩光谱维度, 避免全3D卷积的爆炸性参数增长, 使其在兼顾光谱与空间信息时卷积参数量仅提升一倍。 第4行表示提出的Hybrid-PSA网络其预测准确率Acc为99%, 相比于前两者得到显著提升, 参数增加了32, 占比0.02%。 这是因为PSA通过全局池化捕捉长程依赖关系, 替代了传统卷积中需要堆叠多层才能实现的全局建模能力。 这减少了通过增加网络深度来提升性能的需求, 从而控制参数量。 同时, 残差结构允许网络在增加深度的情况下学习更复杂的特征映射, 避免因堆叠更多卷积层而导致参数量激增。
为了多方面评价分类模型的性能表现, 在训练模型时使用0.001作为学习率, 计算总体准确率(ACC)、 精度(P)、 召回率(R)、 分数(F1), 宏平均(Macro avg)和加权平均(weighted avg), 如表4所示。 宏平均达到98%, 说明模型对所有类别包括小类别的识别能力极强, 没有因为样本不均衡而忽略小类别。 同时加权平均达到97%, 表明模型在实际样本分布下的实用性很高, 主导类别几乎无错误。
![]() | 表4 Hybrid-PSA的血迹及其类似物痕迹分类结果 Table 4 Classification results of traces of blood and its analogues by Hybrid-PSA |
使用3DCNN、 混合3D-2DCNN和Hybrid-PSA方法对血迹以及其类似物图像的分类结果如图5所示。 从不同的血迹与类似物痕迹分类效果来看, 在对血液、 番茄酱、 红色丙烯酸颜料这类颜色相近目标进行分类时, 需要同时聚焦于光谱关联性和空间上下文信息。 若所有层均为3D卷积, 因过度关注局部光谱细节, 导致计算量剧增且易丢失高层空间语义。 如图5(a)所示, 对分类结果图中①号区域进行放大后可以观察到, 深色背景上的血液和番茄酱分类时出现混淆, 误识率较高。 在3D特征图基础上转为2D, 利用2D卷积聚焦血迹及其类似物痕迹的纹理、 形状, 缓解纯3D-CNN对小空间区域的过拟合风险, 使其分类效果有所改善, 如图5(b)所示。 混合3D-2DCNN依赖传统卷积的局部特征提取能力, 而Hybrid-PSA网络中的极化自注意力通过全局交互弥补了长距离依赖建模的不足。 注意力分支作为残差项提供了高频光谱特征信息, 通过多维度特征精细化建模、 动态自适应增强、 高效计算架构以及数据驱动的类别解耦, 全面提升了Hybird-SN的特征表示能力与分类鲁棒性。 尤其在处理颜色及纹理相似(如血迹、 人工血液、 海报颜料等)、 形态多变的场景时, 其双极化设计能更精准地捕捉判别性特征, 从而显著提升模型性能。 在血迹的分类中, 通道注意力可捕捉不同波段下的光谱特性, 空间注意力定位空间细节, 两者协同提升分类置信度。 所以Hybrid-PSA在应对复杂背景和痕迹边缘特征时的分类效果相比于混合模型更佳, 如图5(c)所示, 边界处分类准确, 几乎没有误识别。 图6为Hybrid-PSA模型在Hyper-Blood数据集上分类性能的混淆矩阵, 各行代表实际类别, 各列代表预测类别。 其中Blood的分类预测表现较好, 准确率达到98.0%, 仅与Artificial Blood和Acrylic Paint存在少量双向混淆。
![]() | 图5 Hyper Blood数据集 (a): 3DCNN ; (b): 3D-2DCNN混合模型; (c): Hybrid-PSA模型预测分类Fig.5 Hyper Blood dataset (a): 3DCNN; (b): 3D-2DCNN hybrid model; (c): Hybrid-PSA model predictive classification |
利用极化自注意力机制对高光谱图像中空间-光谱特征的高效学习能力, 提出一种基于高光谱成像技术的深度神经网络Hybrid-PSA。 该模型使用并行结构的极化自注意力机制与混合CNN相结合, 以进行血迹及其类似物痕迹识别与分类。 通过轻量化设计、 残差连接和特征动态选择, 在几乎不增加参数量的前提下增强了模型对关键特征的捕捉能力, 从而实现了准确率提升与参数效率的平衡。 并在公开的高光谱影像数据集上使用三种不同的深度学习模型进行了一系列实验, Hybrid-PSA分类预测准确率达到最高的99.08%, 在召回率(Recall)、 F1-score、 宏平均(Macro avg)和加权平均(weighted avg)方面均表现更优, 证实所提出模型对血迹及其类似物痕迹的优秀分类性能。 相较于现有的血迹分类识别方法, 该方法具有可视化效果好、 反应速度快、 泛化能力强的优点, 可以完成较复杂环境下血迹的识别任务, 有效提高现场血迹勘查工作的效率, 具有重要的实践应用价值与推广潜力。 后续工作中将探索Hybrid-PSA模型轻量化部署研究, 开发跨场景迁移学习框架, 通过边缘计算实现移动端实时血迹检测, 并增强决策过程的可解释性, 以满足现场勘查实战要求。
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|