实验数据为2023年5月采集于山西义居寺的高光谱影像数据, 光谱分辨率为2.8 nm, 光谱范围为400~1 000 nm, 840个波段。 采集现场无直射自然光, 采用与太阳光谱接近的卤素灯作为光源, 拍摄时相机镜头的主光轴保持与壁画墙面垂直, 拍摄距离约为0.6 m, 高光谱影像的空间分辨率为0.193 mm。 由于拍摄的大幅影像中含有大片泥斑和脱落等瑕疵, 故对原始影像进行裁剪分区域进行研究, 文中选取了2处代表性的数据进行实验, 数据1壁画的大小为1 420× 1 066像素, 整体线条及色彩信息比较丰富但存在部分线条模糊丢失, 数据2壁画的大小为850× 640像素, 该部分线条信息模糊较严重且色彩丢失, 在RGB照片中大部分线条图案颜色信息已肉眼不可见, 如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 代表性区域图Fig.1 Map of representative areas

高光谱成像系统采集的原始数据数字影像的DN值不能直接用于光谱分析, 在使用前需要对其进行辐射校正转换为反射率影像。 对原始高光谱数据的辐射校正的公式为(1)

R=Rraw-RdarkRwhite-Rdark×98%(1)

式(1)中, R是校正后的反射率影像, R_raw是高光谱原始数据, R_white是白板原始数据, R_dark是暗电流数据。

白板原始数据是在与采集壁画同时的环境和仪器参数情况下, 扫描反射率为98%的标准白板得到的全白的影像, 暗电流数据是在相同环境下且无光源, 盖上高光谱镜头盖时得到的全黑的高光谱影像数据。

综合利用高光谱数据的降维方法最小噪声分离变换(MNF)、 端元提取及图像融合技术, 设计了壁画线条信息增强融合的流程, 如图2所示。 通过数据预处理与分段MNF降维、 线状特征增强影像提取、 增强真彩色影像重构, 将增强的线条图案信息与壁画的色彩信息进行有效融合, 从而提高壁画影像的视觉表现和信息量, 为后续的壁画修复、 分析提供更清晰的图像参考。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 线状特征增强流程图Fig.2 Flowchart for linear feature enhancement

预处理与分段MNF降维: 首先, 对原始高光谱影像进行预处理, 包括辐射校正和匀色。 接着, 对处理后的高光谱影像去除前后50个噪声较大的波段, 分别对740个波段进行整体MNF和分段MNF变换方法, 从而分离噪声并实现数据降维, 将高光谱数据信息集中于前面波段。

线状特征增强影像提取: 计算分段MNF结果的前十个波段平均梯度(average gradient, AG)值, 并从中挑选出平均梯度最大的波段, 该波段包含较多的线条信息, 将分段得到的7个AG最大的波段进行加权平均后与整体MNF的AG最大波段相比效果较好, 故将其作为最优MNF波段影像。 利用整体MNF变换的输出结果, 执行了快速PPI算法以提取纯净端元, 并借助全约束最小二乘法(fully constrained least squares, FCLS)来反演丰度信息, 得到含有线条信息的线条丰度图, 这一过程从光谱维角度获得含有线条丰富的影像。 将两者信息叠加, 得到增强影像。

增强真彩色影像重构: 将线状特征增强影像与高光谱合成的真彩色影像的每个波段分别进行高斯滤波处理增强细节信息。 再经过Haar小波分解, 得到一个低频信号和三个高频信号, 其中, 低频信号反映了图像的主要信息内容, 而细节信息则隐藏在高频信号中。 所以将两者的高频信号取绝对值最大值后进行BayesShrink软阈值处理, 再与真彩色每个波段的低频信号进行小波重构, 从而得到既包含图案信息又具有色彩信息的影像。

平均梯度(AG): 描述了图像在垂直方向和水平方向上的平均变化率, 如果AG值较大, 则图像图案有明显变化, 也就是说图像包含大量信息。 通过以下方式计算图像的AG值

AG=1M* N∑i=1M∑j=1N∂f∂x2+∂f∂y22(2)

式(2)中, M和N分别对应影像的宽和高; ∂f∂x是水平方向的梯度; ∂f∂y是垂直方向的梯度。

信息熵: 衡量图像中信息丰富程度的指标, 值越高表示所含信息量越丰富。

H=-∑i=0mpilogpi(3)

式(3)中, m是图像的灰度级; p_i表示灰度级i出现的概率。

边缘强度: 指的是图像中边缘区域的梯度幅度, 用于表示边缘的清晰程度。

G=Jx2+Jy2(4)

式(4)中, J_x和J_y表示边缘像素点在x和y方向的一阶差分。

对初步预处理的数据1中的壁画高光谱数据做整体MNF和分段MNF, 随后计算变换结果归一化处理后的前10个波段AG值, 并进一步确定了AG值最大的波段影像。 图3 中(a)是整体MNF变换后的第2波段, (b)是分段变换后每个AG值最大的波段加权平均结果。 与整体降维相比, 分段降维的加权波段噪声较少且含有的线状特征较为丰富, 故选定该波段影像作为最优MNF波段影像, 以更好地提取影像中的细节信息。 为了定量对比结果, 分别计算整体降维和分段降维归一化后的平均梯度和图像信息熵, 结果如表1 所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 整体MNF和分段MNF对比Fig.3 Comparison of overall and segmented MNF

表1

Table 1

表1(Table 1)

表1 对比结果 Table 1 Comparison results AG 信息熵 整体MNF 0.117 9 6.450 8 分段MNF 0.134 6 6.794 1

表1 对比结果 Table 1 Comparison results

将上述整体MNF变换后的结果在ENVI软件中进行快速PPI, 以计算结果为基础, 在N维可视化器中提取6个纯净端元, 然后通过FCLS进行丰度反演, 得到的各个端元曲线对应的丰度图, 如图4所示, 对比得到的丰度图发现第2个丰度图含有的线条比较丰富, 所以选择其为线条丰度图。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 端元丰度图Fig.4 Endmember abundance maps

为了增强线条信息, 将高光谱影像的空间信息和光谱信息得到的含有线条信息丰富的图像进行信息叠加融合, 分别计算归一化后的最优MNF波段影像与线条丰度图和线条丰度图取倒归一化进行叠加, 是由于线条丰度图的像素值是在0~1之间, 而直接对像素值为0的部分取倒数会导致无效值, 故先将其像素值整体加1后再取倒数归一化。 分别计算两者的AG值和图像信息熵, 如表2所示, 发现后者结果高于前者, 将其称为线状特征增强影像, 如图5(c)所示。

表2

Table 2

表2(Table 2)

表2 波段运算对比结果 Table 2 Comparison results of band operations AG 信息熵 直接相加 0.195 9 7.154 9 丰度图取倒相加 0.218 3 7.342 3

表2 波段运算对比结果 Table 2 Comparison results of band operations

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 增强对比 (a): 最优MNF波段; (b): 线条丰度图; (c): 线状特征增强影像Fig.5 Comparison of enhancement (a): Optimal MNF band; (b): Line abundance map; (c): Linear feature-enhanced image

为了定量分析数据1中除泥斑外的各个线条丰富区域的线状特征增强结果, 从图5中选择三个区域, 对比增强前后的信息熵, 结果如表3, 增强后影像的信息熵均较高, 表明了线状特征增强影像线条信息更加清晰, 将最优MNF波段影像与线条丰度图进行信息融合对壁画中的模糊线条有一定的增强作用。

表3

Table 3

表3(Table 3)

表3 区域对比结果 Table 3 Regional comparison results ① ② ③ 归一化最优MNF波段影像 7.342 4 7.443 2 7.288 2 线条丰度图 7.781 3 7.701 1 7.400 6 线状特征增强影像 7.838 3 7.836 6 7.466 2

表3 区域对比结果 Table 3 Regional comparison results

高光谱影像中波段范围是可见光的整个波段范围, 我们选择红色光谱范围为605~700 nm、 绿色光谱范围为510~570 nm和蓝色光谱范围为450~510 nm, 将MNF逆变换后的影像在各个颜色范围内的波段加权平均后合成真彩色影像。 使用不同标准差(sigma为1、 3和5)的高斯滤波分别对真彩色和线状特征增强影像进行平滑处理, 将原图与平滑处理后的结果进行相减提取细节信息, 将三个细节信息加权平均后与原始影像相加进行细节增强。 利用Haar小波变换将线状特征增强影像和真彩色影像的各个波段分别分解, 每幅影像都得到一个低频信号(LL)和三个高频信号(HL、 LH、 HH), 高频信号中蕴含了图像中的细节特征信息, 例如边缘轮廓、 线条以及纹理图案等, 分别考虑将两者的高频信号直接平均加权融合和取高频分量绝对值最大值后再用BayesShrink软阈值处理, 然后小波重构得到的重构影像, 计算平均梯度和信息熵, 结果如表4所示。 通过对比可以看到将高频信号取绝对值最大值结合软阈值处理融合的结果更高。

表4

Table 4

表4(Table 4)

表4 不同融合方法对比 Table 4 Comparison of different fusion methods AG 信息熵 高频分量加权平均 0.206 4 6.625 7 高频分量绝对值最大值和软阈值 0.257 5 6.767 7

表4 不同融合方法对比 Table 4 Comparison of different fusion methods

在图6对比发现在RGB图片中线条信息肉眼已经不可见, 但在合成的真彩色影像中部分线条信息显现出来了, 融合后的影像相比真彩色影像, 在线状特征信息的呈现上更为清晰, 模糊的线条得到了有效增强。 为了进一步量化这种增强效果, 采用Sobel边缘检测算子对指定区域及整个影像边缘提取, 并计算各区域的AG值, 结果如表5所示。 与真彩色影像相比, 融合影像的值均有明显的提升, 即信息得到了增强。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 融合对比 (a): RGB图像; (b): 合成真彩色影像; (c): 融合影像Fig.6 Fusion comparison (a): RGB; (b): Composite true color image; (c): Fusion image

表5

Table 5

表5(Table 5)

表5 平均梯度对比结果 Table 5 Comparison of the average gradient 合成真彩色影像 融合影像 ① 0.138 4 0.250 3 ② 0.190 8 0.333 4 ③ 0.174 3 0.324 0 整幅影像 0.136 0 0.266 3

表5 平均梯度对比结果 Table 5 Comparison of the average gradient

为了验证所提方法的有效性, 选用了文献[14]中提出的线条增强方法作为对比实验。 由于其生成的结果为灰度影像, 为确保实验结果具备可比性, 本文使用线状特征增强影像, 并将其与对比方法的结果进行比较。 结果如图7所示。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 对比结果 (a): PCA增强; (b): 线状特征增强法Fig.7 Methods comparison (a): PCA; (b): Linear feature-enhanced

分别计算了指定区域及整个影像的平均梯度和边缘强度的数值, 并将结果展示在了表6中。 这表明线状特征增强影像更有效地突出了线条细节。 这种增强方式通过融合线条丰度图和最优MNF波段信息, 从而强化了壁画中线状特征的表现。 因此, 线状特征增强影像比PCA增强影像在细节丰富性和视觉显著言上具有更大优势。

表6

Table 6

表6(Table 6)

表6 不同方法对比结果 Table 6 Comparison of different methods ① ② ③ 整幅影像 平均梯度 边缘强度 平均梯度 边缘强度 平均梯度 边缘强度 平均梯度 边缘强度 PCA增强影像 0.192 1 48.900 8 0.189 4 48.221 4 0.133 4 33.948 3 0.134 6 34.328 3 线状特征增强影像 0.275 7 70.129 1 0.256 9 65.399 5 0.231 0 58.779 7 0.218 3 49.581 4

表6 不同方法对比结果 Table 6 Comparison of different methods

利用同样的方法对数据2壁画进行实验, 壁画表面泥斑覆盖或脱落而导致线条模糊和色彩信息退化较严重, 在RGB中已肉眼不可见。 图8中(a)是数据2经分段MNF变换后的最优MNF波段影像, (b— f)是得到的端元丰度图, 可以看出第1个丰度图包含的线条信息比较丰富, (g)为最优MNF波段影像与第1个丰度图进行波段运算得到的结果, (h— j)分别为RGB、 合成真彩色影像和融合影像。 通过对比分析, 可以明显看出, 在融合后的影像中, 原始影像中模糊线条信息得到了有效增强, 还保留了图案的色彩信息。 对比结果如表7所示, 融合后的AG值和边缘强度均高于合成真彩色影像。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 数据2实验结果 (a): 最优MNF波段影像; (b— f): 端元丰度图; (g): 线状特征增强影像; (h): RGB; (i): 合成真彩色影像; (j): 融合影像Fig.8 Experimental results from data 2 (a): Optimal MNF band image; (b— f): Endmember abundance map; (g): Linear feature-enhanced image; (h): RGB; (i): Composite true color image; (j): Fusion image

表7

Table 7

表7(Table 7)

表7 数据2线状特征融合前后影像对比结果 Table 7 Comparison of the images before and after linear feature enhancement in data 2 合成真彩色影像 融合影像 AG 0.164 3 0.280 7 边缘强度 18.071 8 34.753 2

表7 数据2线状特征融合前后影像对比结果 Table 7 Comparison of the images before and after linear feature enhancement in data 2

通过对比两个研究数据融合前后的影像, 发现融合后显著增强了线条信息, 使得在RGB和合成真彩色影像中不可见的图案线条在融合后的影像中清晰呈现, 并保留了原始图像的色彩信息。 这表明, 该方法能够充分利用高光谱数据中丰富的信息, 实现壁画中不同模糊程度的线状特征的增强, 使得微弱和退化的图案信息更加清晰, 揭示传统RGB中难以观察到的细节, 有助于文物保护工作者在不破坏原始材料的前提下, 进行更加深入的分析与研究, 对文物的数字化保护、 历史信息的发掘以及后续的修复具有重要的应用价值。