根据近十年有关馆藏环境中微生物的研究文献, 曲霉属是国内外馆藏文物保存环境中最常见的优势真菌种属。曲霉属可以分解包括纤维素、 蛋白质等多种有机物质, 对有机质文物的危害较大。其次黑曲霉在霉变纸质文物中常常被分离得到, 因此选择黑曲霉作为本研究对象。

模拟霉菌侵染后的纸质文物样本由重庆中国三峡博物馆提供, 侵染霉菌为黑曲霉, 如图2(a)所示样本的黑曲霉霉斑较为严重。图2(b)是利用生物显微镜系统(尼康Eclipse Ni-U, 放大倍数× 40)拍摄的霉菌图像。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 (a)霉斑样本局部; (b)生物显微镜图像Fig.2 (a) Part of mold sample; (b) Super depth of field microscopic image

纸质文物样本霉斑检测系统, 如图3所示, 由一台计算机(装有莱森光学公司开发的采集软件), 便携式高光谱成像仪(莱森光学, iSpecHyper-VS1000), 2台1 000 W卤素光源, 1个佳能RF24镜头等组成。高光谱成像仪光谱分辨率优于2.5 nm, 支持内置推扫系统, 横向扫描角度小于60° , 纵向扫描范围22.6° , 光谱范围为400~1 000 nm, 分辨率为2.8 nm。经过多次模拟霉斑样品拍摄实验, 高光谱成像仪参数设置为16 Hz· s^-1, 积分时间62 501 μ s, 此时采集到的图像清晰无失真。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 纸质文物霉斑检测系统Fig.3 Mold spot detection system for paper artifact

高光谱图像中每个像素点都包含一份完整的光谱信息, 能够完整地提供物体表面反射率信息。然而这也导致数据维度的增加, 带来高维度问题。相较于传统RGB三通道图像和单色图像, 高光谱数据更容易引发维度灾难^{[16, 17]}, 增加数据处理的难度。为了解决维度灾难这个难题, 传统的降维手段有主成分分析^[18](principal component analysis, PCA), 独立成分分析^[19](independent component correlation algorithm, ICA)等。与传统降维手段相比较, 深度学习能够更好地捕捉高光谱数据中非线性的复杂特征。

人在观看一个物体时, 会对重点区域投入更多的焦点, 忽略其他无用信息。注意力机制是用于模拟人类感官的一种技术。为了实现这一效果, 引入通道注意力机制^[20], 通过动态分配不同通道的权值来加权原始输入特征。高光谱图像包含大量波段信息, 每个波段都对应着相应的一个通道, 通过使用通道注意力机制计算分配每个通道的权重, 用以判断不同通道对于当前目标的重要性。对于重要性较高的通道, 则增强其权重, 对于重要性较低的通道, 则抑制其权重。对高光谱数据进行通道注意力机制运算, 可以判断不同通道对于当前目标的重要性, 并根据权重对冗余信息较多的波段进行抑制, 从而得到高光谱数据降维的目的。

通道注意力将输入的高光谱图像在通道维度上分别使用MaxPool和AvgPool进行压缩, 并将得到的两个一维矢量进行MLP网络连接, 其实现公式

Mc(F)=σ(MLP(AvgPool(F)))+σ(MLP(MaxPool(F)))=σ(W1(W0(Favgc)))+σ(W1(W0(Fmaxc)))(1)

式(1)中, σ 为Sigmoid函数, W₀和W₁是MLP权重且在输入端是共享的, MaxPool是最大池化层, AvgPool是平均池化层。

如图4所示, 首先, 采用通道注意力机制对高光谱数据进行处理, 通过计算得到各个波段的权重值, 以突出重要信息。随后, 对注意力机制得到的权重值排序并提取前N个波段权重值和相应波段编号。根据提取的波段编号, 从原始高光谱图像中提取相应波段数据。最后将提取的权重值和筛选后的高光谱数据进行乘法运算, 实现对筛选后的高光谱数据的权重分配。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 通道注意力机制预处理流程Fig.4 Channel attention mechanism preprocessing process

使用主成分分析方法、 独立成分分析方法和通道注意力机制三种预处理方法对原始高光谱图像进行预处理, 将原始图像和预处理后的数据分别通过U-Net、 SegNet、 DeepLabV3+和PSPNet四种图像分割模型来评估不同预处理技术对图像分割对霉斑识别的性能。

1.5.1 U-Net

在语义分割领域, U-Net是一种常用的全卷积神经网络。其结构如图5所示, 核心结构由编码器和解码器组成, 编码器部分通过堆叠卷积层和池化层来获取图像的全局信息和语义信息, 解码器通过堆叠卷积层和上采样层恢复图片尺寸。U-Net可以有效地提取图像的全局信息和语义信息, 并获取准确的分割结果。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 U-Net网络结构示意图Fig.5 Schematic diagram of U-Net network structure

1.5.2 SegNet

SegNet是一种被广泛用于图像语义分割的全卷积神经网络模型, 其结构如图6所示, 它可以对图像每个像素分类标签进行分类预测。SegNet通过编码器-解码器的结构实现对图像每个像素的分类预测, 在医学、 自然图像等领域展现了出色的性能。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 SegNet网络结构图Fig.6 SegNet network structure

1.5.3 DeepLabV3+

DeepLabV3+是使用了空洞卷积编码器解码器结构的语义分割模型。结构如图7所示, 空洞卷积增加了模型对于上下文的感知能力, 在自动驾驶、 智能视频监控等领域展现了出色的性能。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 DeepLabV3+网络结构图Fig.7 DeepLabV3+ network structure diagram

1.5.4 PSPNet

PSPNet是基于空间金字塔池化模块获取上下文语义特征的模型, 其结构如图8所示, 空间金字塔池化层模块输出特征与编码器的特征图进行融合。PSPNet在场景解析得到重大的突破, 在需要全局上下文信息的场景中表现出色。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 PSPNet网络结构图Fig.8 PSPNet network structure diagram

Kappa系数, 是指一种对遥感图像的分类精度和误差矩阵进行评价的多元离散方法, 其计算公式如式(2)

Kappa=p0-pe1-pe(2)

式(2)中, p₀为观测精确性或一致性单元的比例, p_e为偶然性一致或期望的偶然一致的单元的比例。

召回率(Recall rate, Recall)是指正确预测的正样本数占真实正样本总数的比值, 其计算公式如式(3)

Recall=TPTP+FN(3)

平均交并比(mean intersection over union, MIoU), 是指图像分割模型预测结果与实际标签之间的相似程度, 计算公式如式(4)

MIoU=1K+1∑i=0KTPFN+FP+TP(4)

交并比(intersection over union, IoU), 是用于衡量预测区域与实际标签之间的重叠程度, IoU计算公式如式(5)

IoU=TPTP+FP+FN(5)

准确率(accuracy, Acc)计算公式如式(6)

Acc=TP+TNTP+FP+TN+FN(6)

其中: TP为真正例的数目; FP为假正例的数目; FN为假负例的数目。TP、 FP和FN通过分类结果混淆矩阵计算得出。

该实验所使用的硬件、 软件和集成开发环境如表1所示。

表1

Table 1

表1(Table 1)

表1 集成开发环境 Table 1 Integrated development environment 配置 参数 开发 环境 CPU Intel(R) Core(TM) i5-12490F GPU NVIDIA Geforce RTX 3060Ti 8GB RAM 32.00 GB System Windows 10.22H2 Python Python3.9 Pytorch 2.0 IDE Pycharm2023.1.1

表1 集成开发环境 Table 1 Integrated development environment

利用高光谱成像系统采集到的纸质文物黑曲霉霉斑单张图像尺寸为500× 380, 共19 000个像元, 光谱通道数300个。采集到的纸质文物黑曲霉霉斑图像分为墨迹(Text)、 霉斑(Mole)和健康纸张区域(Paper)三类。反射率光谱曲线显示在413~708 nm波段之间霉斑反射率光谱曲线缓慢增长, 708~989 nm波段霉斑反射率光谱曲线增长较为迅速, 855 nm波段霉斑的平均反射率与健康区域纸张的反射率相等, 三种区域的反射率曲线如图9所示。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 平均反射率曲线Fig.9 Average reflectance spectra

由图9所示的三种不同区域的平均反射率曲线结果可知, 在400~800 nm波段范围之间, 三条反射率曲线差异明显; 而在850~1 000 nm范围内, 黑曲霉霉斑和健康纸张区域之间曲线类似但与墨迹反射率曲线差异明显。结合上述对三种区域光谱曲线的描述, 选取了部分波段图像进行展示。在538 nm波段, 样品表面的霉斑与墨迹颜色非常相似, 霉斑突出。在717 nm波段, 霉斑的颜色略微降低, 而在797 nm波段, 纸张上的霉斑颜色进一步减弱, 墨迹中的霉斑开始以白色斑点的形式呈现。到了926 nm波段, 霉斑已完全呈现为白色形态, 墨迹中的霉斑与字体中的健康区域形成了明显的对比, 其不同波段图像如图10所示。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 (a) 原始图像, (b) 538 nm波段图像, (c) 717 nm波段图像, (d) 797 nm波段图像, (e) 926 nm波段图像Fig.10 (a) Original image, (b) 538 nm characteristic band image, (c) 717 nm characteristic band image, (d) 797 nm characteristic band image, (e) 926 nm characteristic band image

鉴于三种区域的反射率曲线在特定的波段范围内呈现出明显的差异, 并且高光谱图像中每一个像素点都包含一份完整的反射率光谱信息, 采用支持向量机(support vector machine, SVM)对纸质文物黑曲霉样本高光谱数据在光谱数据维度进行分类。首先对采集到的纸质文物高光谱图像进行感兴趣区域(region of interest, ROI)标记, 分别为墨迹、 霉斑和纸张, 标记后的高光谱图像如图11所示。其中墨迹区域标记150个像素, 纸张区域标记350个像素, 墨迹区域标记200个像素。然后对标记的高光谱图像使用ENVI软件自带的SVM进行光谱维度的分类, 接着使用阈值分割提取分类图像中霉斑的感兴趣区域, 人工标记墨迹中霉斑区域并补全其他未标记霉斑区域。最后使用ENVI软件中深度学习标签制作工具制作对应高光谱图像的深度学习标签。其标签制作样例如图11所示。

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 标签制作样例Fig.11 Sample labeling

对20张高光谱图像及其对应标签进行图像裁剪。为了提高图像分割模型的性能, 需要大量的样本, 需要大量的样本来提高神经网络对霉斑的学习。为此, 制作深度学习数据集通常耗时耗力, 本文采用数据增广的方式增加样本数来减少人工制作数据集的成本, 同时提高模型的泛化能力。数据增广效果如图12所示。

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 数据集增广与样例Fig.12 Dataset augmentation and sample

所使用的高光谱数据集中含有7 884张图像, 随机将其中1 584张高光谱图像分为测试集, 6 336张高光谱图像分为训练集。

为了评估注意力机制在纸质文物黑曲霉高光谱图像预处理中的潜力, 设计4组实验, 第一组实验使用原始高光谱数据制作数据集, 并运用四种经典图像分割模型进行霉斑识别; 第二组实验, 首先使用ENVI软件对20张原始高光谱图像进行主成分分析法降维, 提取前30个主成分, 然后制作相应数据集, 最后运用四种经典图像分割模型进行霉斑识别; 第三组实验, 首先使用ENVI软件对20张原始高光谱图像进行独立成分分析法降维, 分别提取前30个独立成分, 然后制作相应数据集, 最后运用四种经典图像分割模型进行霉斑识别; 第四组实验使用原始高光谱数据制作数据集, 使用注意力机制对数据集进行预处理再通过四种图像分割模型进行霉斑识别, 实验示意图如图13所示。

图13

Fig.13

	Figure Option ViewDownloadNew Window
	图13 实验示意图Fig.13 Schematic diagram of the experimental design

通过五种指标对霉斑识别结果进行评估和分析, 分别是Kappa、 Recall、 MIoU、 Acc(霉斑)和IoU(霉斑)。四种经典图像分割模型参数设置为交叉熵损失函数(CrossEntropy Loss)、 Adam优化器、 学习率为0.000 01和训练轮次为400轮。

表2是基于原始霉斑高光谱数据图像分割结果的比较, 从表2可以看出, SegNet模型在各个评估指标上表现最佳, 其Kappa、 Recall、 MIoU、 Acc(霉斑)和IoU(霉斑)分别达到了60.38%、 77.57%、 68.55%、 59.68%和51.41%。相比之下, DeepLabV3+模型的性能表现最差, Kappa、 Recall、 MIoU、 Acc(霉斑)和IoU(霉斑)分别为19.07%、 58.38%、 43.13%、 26.54%和22.65%。U-Net和PSPNet模型的性能介于SegNet和DeepLabV3+之间。

表2

Table 2

表2(Table 2)

表2 基于原始高光谱数据图像分割结果 Table 2 Image segmentation results based on original hyperspectral data Kappa Recall MIoU Acc(霉斑) IoU(霉斑) U-Net 28.97% 63.95% 51.08% 41.49% 28.01% SegNet 60.38% 77.57% 68.55% 59.68% 51.41% DeepLabV3+ 19.07% 58.38% 43.13% 26.54% 22.65% PSPNet 15.65% 56.77% 41.28% 22.12% 19.22%

表2 基于原始高光谱数据图像分割结果 Table 2 Image segmentation results based on original hyperspectral data

表3是是基于PCA降维的霉斑高光谱数据图像分割结果的比较, 从表3可以看出, SegNet模型在Kappa、 Recall、 MIoU、 Acc(霉斑)和IoU(霉斑)等评价指标上表现最佳, 分别达到了78.06%、 87.97%、 80.81%、 79.56%和70.51%。U-Net模型和DeepLabV3+模型在各项指标上表现稳定, 其五种指标略低于SegNet模型。PSPNet模型表现逊色, 其五种指标均较低。

表3

Table 3

表3(Table 3)

表3 基于PCA降维的高光谱数据图像分割结果 Table 3 Image segmentation results of hyperspectral data based on PCA dimensionality reduction Kappa Recall MIoU Acc(霉斑) IoU(霉斑) U-Net 54.33% 75.39% 63.25% 75.39% 51.45% SegNet 78.06% 87.97% 80.81% 79.56% 70.51% DeepLabV3+ 55.65% 75.37% 65.63% 56.18% 47.12% PSPNet 43.31% 64.65% 50.55% 50.84% 40.27%

表3 基于PCA降维的高光谱数据图像分割结果 Table 3 Image segmentation results of hyperspectral data based on PCA dimensionality reduction

对比表2和表3的图像分割模型评估指标结果可以看出, 使用主成分分析法能有效提高霉斑高光谱图像在四种经典图像分割模型中的性能, SegNet模型在霉斑分割中表现最好, U-Net模型在性能有显著提升。DeepLabV3+和PSPNet模型性能有一定提升, 但模型效果仍不够理想。

从表4可以看出, CA降维技术, 可以有效降低高光谱数据的维度, 提高模型性能。U-Net模型在各个评估指标上表现最佳, 其Kappa、 Recall、 MIoU、 Acc(霉斑)和IoU(霉斑)分别达到了80.23%、 88.84%、 82.49%、 83.66%和76.98%。相比之下, DeepLabV3+模型的性能表现最差, Kappa、 Recall、 MIoU、 Acc(霉斑)和IoU(霉斑)分别为47.02%、 70.45%、 60.69%、 45.94%和38.99%。

表4

Table 4

表4(Table 4)

表4 基于ICA降维的高光谱数据图像分割结果 Table 4 Image segmentation results of hyperspectral data based on ICA dimensionality reduction Kappa Recall MIoU Acc(霉斑) IoU(霉斑) U-Net 80.23% 88.84% 82.49% 83.66% 76.98% SegNet 76.69% 87.11% 79.77% 77.92% 68.89% DeepLabV3+ 47.02% 70.45% 60.69% 45.94% 38.99% PSPNet 44.32% 69.29% 52.66% 44.15% 36.88%

表4 基于ICA降维的高光谱数据图像分割结果 Table 4 Image segmentation results of hyperspectral data based on ICA dimensionality reduction

对比表2和表4, 独立成分法能有效提高霉斑高光谱数据在四种经典图像分割模型中的性能, 其中U-Net模型提升较为显著, Kappa、 Recall、 MIoU、 Acc(霉斑)和IoU(霉斑)等评估指标分别提升51.26%、 24.89%、 31.41%、 42.17%和48.97%。SegNet、 DeepLV3+和PSPNet模型有明显提升, 但DeepLabV3+模型和PSPNet模型的模型效果仍不理想。

表5是基于通道注意力降维的高光谱数据图像分割结果。U-Net在Kappa、 Recall、 MIoU、 Acc(霉斑)和IoU(霉斑)等指标表现最佳, 分别为87.75%、 93.51%、 88.64%、 89.49%和94.49%。SegNet在Kappa、 Recall、 MIoU、 Acc(霉斑)和IoU(霉斑)等指标上也取得了较好的成绩, 分别为81.07%、 91.02%、 84.73%、 88.46%和84.39%。相比之下, DeepLabV3+和PSPNet在这些指标上的得分相对较低, Kappa分别为65.01%和70.77%, Recall分别为81.99%和70.77%, MIoU分别为70.54%和56.67%, Acc(霉斑)分别为74.36%和55.13%, IoU(霉斑)62.88%和44.52%。

表5

Table 5

表5(Table 5)

表5 基于通道注意力的高光谱数据图像分割结果 Table 5 Image segmentation results for hyperspectral data based on channel attention Kappa Recall MIoU Acc(霉斑) IoU(霉斑) U-Net 87.75% 93.51% 88.64% 89.49% 94.49% SegNet 81.07% 91.02% 84.73% 88.46% 84.39% DeepLabV3+ 65.01% 81.99% 70.54% 74.36% 62.88% PSPNet 70.77% 70.77% 56.67% 55.13% 44.52%

表5 基于通道注意力的高光谱数据图像分割结果 Table 5 Image segmentation results for hyperspectral data based on channel attention

对比表2、 表3、 表4和表5, 三种预处理方法对高光谱数据霉斑分割模型性能有优化的作用。相较于原始高光谱数据, 通道注意力预处理后的高光谱数据在图像分割模型上表现出明显的优势, 在黑曲霉霉斑高光谱数据中, 主成分分析和独立成分分析能有效降低数据维度, 增强相应模型性能; 通道注意力机制通过捕捉霉斑高光谱图像中不同通道之间的相关性, 进一步提升霉斑高光谱图像分割性能, 原始高光谱数据以及三种预处理方法霉斑分割准确率对比图如图14所示, 图像分割模型Kappa系数如图15所示。

图14

Fig.14

	Figure Option ViewDownloadNew Window
	图14 不同预处理方法霉斑分割准确率对比图Fig.14 Comparison of the correct rate of mold spot segmentation by different preprocessing methods

图15

Fig.15

	Figure Option ViewDownloadNew Window
	图15 不同预处理方法霉斑分割Kappa系数对比图Fig.15 Comparison of Kappa coefficients for mold spot segmentation by different pretreatment methods