3D卷积神经网络(3D-CNN)将高光谱图像立方体看做一个整体, 可以准确有效的提取高光谱图像深层空谱结合的特征, 直接生成3D特征立方体。 这在很大程度上改善了以往的基于1D、 2D或者2D+1D的特征提取模型, 可以更加充分利用高光谱图像的空谱信息和结构特性。 相对于通常的将空间维和光谱维简单相加的2D+1D卷积网络, 3D-CNN将其合并为一体, 不仅可以利用空间和光谱信息, 还考虑了空间-光谱之间的相关性, 并且仅需要更少的参数和层。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 2D卷积操作(a)和3D卷积操作(b)对比Fig.1 Comparing 2D convolution operation (a) and 3D convolution operation (b)

对于输入高光谱图像I∈ R^{x× y× z}, 其大小为 Dx(I)× Dy(I)× Dz(I)。 定义三维卷积核为W∈ R^{x× y× z× i}, 其移动距离为(s_x, s_y, s_z), 大小为 Dx(I)× Dy(I)× Dz(I)× D_i, 其中额外的第四维D表示输入到卷积层的三维特征立方体的数量。 本文中, D=1。 因此, 第i个卷积层的三维卷积表示为

Oi, jx, y, z=bi, j+∑k=0Di-1∑p=0Dx-1∑q=0Dy-1∑r=0Dz-1Wj, kp, q, rIi, kxsx+p, ysy+q, zsz+r(1)

式(1)中, 下标“ i” 和“ j” 分别代表卷积层和对应卷积层中的卷积核。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 3D卷积Fig.2 3D convolution

3D反卷积也称为3D转置卷积, 是卷积层卷积的逆过程。 通过填充和卷积, 将输入从低维空间映射到高维空间。 在解码器网络中, 反卷积层与编码器网络的卷积层具有镜像结构。 通过堆叠三维反卷积层, 可以从编码特征中重构高光谱立方体。

3D归一化将高光谱图像数据转换为[0, 1]的值, 这样可以使网络对不同高光谱图像的适应性更强, 同时加快运算速度。

池化层可以大大降低算法模型的参数量和优化工作量, 减少卷积层的训练参数数量, 同时减少卷积层产生的冗余特征。 为了更好的保留高光谱图像的纹理特征, 本工作选择最大池化。 最大池化是对检测点邻域内特征点取最大值, 可以将数个3D卷积核应用于高光谱图层中探索不同的深层特征, 然后使用池化合并这些特征来保留主要特征。 3D最大池化定义为

Ox, y, z=maxtFtx, y, z(2)

式(2)中, Ftx, y, z为利用3D卷积核提取的特征, O^{x, y, z}为经过3D最大池化后的特征。

自动编码器是一种包含输入层(编码器)、 隐含层和重构层(解码器)的神经网络, 通过最小化解码层的重构误差, 以无监督的方式从高光谱图像数据中学习特征。 编码层是从输入数据中学习图像的深层特征, 生成保留原始高光谱图像最基本信息的隐含层Z; 解码层则利用从隐含层Z包含的深层特征进行图像重构。 在自动编码器中, 编码器起到特征提取作用, 利用权重矩阵W和和偏差b将输入层I映射到隐含层Z

Z=σ(WI+b)(3)

式(3)中, σ 为激活函数, Z的维度比输入I小。

解码器利用权重矩阵W'和偏置b'将隐藏层Z映射到重构层I'

I'=σ(W'Z+b')(4)

传统的AE常使用全连接的方式来学习数据的特征, 这种方法不能充分的学习到数据的内在特征, 而且对于二维或以上的数据这些操作会丢失数据的结构信息。 利用3D卷积代替全连接方法可以有效的提取高光谱图像内在特征, 保留光谱和空间的特征。 3D卷积自动编码器(3D convolutional auto-encoder, 3D-CAE)是在传统的AE的基础上改进的神经网络模型, 将编码层和解码层分别建模成深度卷积神经网络, 通过卷积的方式对输入数据进行线性变换, 同时保持权重共享。 编码层由卷积层和最大池化层构成, 最大池化层负责空域下采样; 解码层由反卷积层和上采样层构成。 通过将3D-CNN与AE联合, 在保证自动编码网络对高光谱图像数据以无监督的方式进行训练的同时, 加入了3D卷积神经网络的空间-光谱特性提取能力, 使得自动编码网络可以更好的学习到高光谱图像内在特征。

选择均方差(mean squared error, MSE)作为损失函数。 通过调节参数φ =(W, W', b, b')来最小化重构误差函数, 其定义为

R=‖I-I'‖2(5)

然而, 选择欧几里得范数(l₁ or l₂)或者均方差作为损失函数容易使图像产生模糊^[13]。 根据光谱矢量固有的光谱特性,

采用光谱角距离(spectral angle distance, SAD)来约束输入和重构光谱矢量。 定义

DSAD=cos-1II'‖I‖2‖I'‖2(6)

D_SAD的值在[0, 1]范围内, 值越大, 输入与重构光谱向量越相似。 综合考虑高光谱图像的空间和光谱信息, 我们采用D_SAD作为损失函数的一项。 因此, 完整的损失函数为

loss=‖I-I'‖2+cos-1II'‖I‖2‖I'‖2(7)

通过误差反向传播算法(back propagation, BP)不断的训练调节参数。 最后, 利用得到的损失函数提取最优的特征来有效的表示输入高光谱图像的隐含层信息。

另外, 对于编码器和解码器中的激活函数σ , 引入非线性激活函数Leaky ReLu, 这样可以有效解决梯度消失和过度拟合的问题, 帮助建立更深层的网络。 同时, 弥补ReLu在输入值为负数时的不足, 计算速度比Sigmoid或TANH等替代方法更快。

LeakyReLU(Y)=xx≥0axx< 0 x∈R(8)

式(8)中, x为输入, Y为输出, a是(1, +∞ )区间内的固定参数。

本文提出的3D-CAEAD算法的核心就是重构与原始高光谱图像更相似的背景图像。 3D-CAE神经网络通过3D卷积解码器对3D卷积编码器不断训练到最优结果, 从而提取高光谱图像中的空间-光谱深层特征。 因此, 可以更好的重构背景图像, 使背景图像尽可能的不包含异常目标信息, 对原始高光谱背景图像产生较低的重构误差。

在高光谱图像异常检测任务中通常利用欧氏距离或者马氏距离来判断待测像元与背景图像之间的差异。 本工作选择马氏距离, 虽然相较于欧式距离计算稍微复杂, 但是马氏距离可以独立于测量尺度并排除变量间相关性的干扰。 利用3D-CAE重构与原始高光谱图像极为相似的重构高光谱背景图像, 并将马氏距离应用到最后的异常检测步骤, 通过马氏距离计算待测像元与重构后的高光谱图像之间的差异, 从而判断出与背景图像存在显著差异的异常目标。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 基于无监督的3D-CAE异常检测框架Fig.3 Unsupervised anomaly detection framework based on 3D-CAE

利用马氏距离检测异常目标的算法表达式为

RX(x)=(x-μb)TCb-1(x-μb)≥ε目标< ε背景(9)

式(9)中, x为输入像元光谱, μb=1M∑i=1Mxi为背景数据的均值, Cb=1M∑i=1M(xi-μb)(xi-μb)T为背景数据的协方差矩阵。设阈值为ε, 若RX(s)≥ε,则异常目标存在; 反之则不存在。

由于传感器和外部环境条件限制, 高光谱图像在采集过程中容易受到噪声影响。 为了提高检测的准确率, 我们选取在异常检测领域广泛应用, 并且经过大气校正的三组高光谱数据集。 根据Frobrnius范数对截取的九个高光谱图像进行简单的预处理, 剔除吸水区域、 低信噪比和坏波段, 仅保留大部分含有较多光谱信息的波段^[18]。 利用以下高光谱图像对所提出的算法进行对比验证。

表1

Table 1

表1(Table 1)

表1 数据集信息 Table 1 Information of datasets 名称 传感器 波长/μ m 像素 波段 San Diego-1 AVRIS 0.37~2.51 100× 100 205 San Diego-2 AVRIS 0.37~2.51 100× 100 191 San Diego-3 AVRIS 0.37~2.51 120× 120 189 San Diego-4 AVRIS 0.37~2.51 100× 100 189 Los Angeles-1 AVRIS 0.45~1.35 100× 100 204 Los Angeles-2 AVRIS 0.45~1.35 100× 100 207 Pavia-1 ROSIS 0.43~0.86 100× 100 188 Pavia-2 ROSIS 0.43~0.86 100× 100 188 Pavia-3 ROSIS 0.43~0.86 100× 100 102

表1 数据集信息 Table 1 Information of datasets

(1)San Diego 数据集

从拍摄场景中截取三个100× 100和一个120× 120的高光谱图像。 在此机场数据集中, 飞机被视为异常, 机库, 草坪, 停机坪等构成背景。 图像中的背景对象(机库)与异常对象(飞机)具有相似的材质, 可能导致难以从周围背景中区分异常。

(2)Los Angeles数据集

在这个场景中, 截取两个100× 100的高光谱图像。 其中, 不同比例的物体、 建筑物的屋顶被视为异常, 土壤, 草地等构成背景。

(3)Pavia数据集

截取三个100× 100的高光谱图像, 数据集中主要涵盖的背景包括水和沙滩。 异常目标为水面上的舰船或者桥上的车辆。

对比算法中窗口大小(win_in和win_out)和参数选择对算法结果有很大影响。 我们根据数据集为每个算法选择不同的参数进行调优。 在SRX算法中, 通过K-Means++方法确定簇类K。 在CRD和UNRS算法中, 对于较大异常目标选择窗口大小(9, 27), 对于较小异常目标选择窗口(3, 5), 调和参数λ 设置为0.01。 在LRASR算法中, 对于San Diego和Los Angeles数据集, λ 和β 设置为0.1; 对于Pavia数据集λ 和β 分别设置为1和0.001。

选择自适应矩估计(adaptive moment estimation, Adam)为优化器, 因为它具有高效的运算效率并且适用于稀疏梯度的情况。 设置初始学习率为0.000 1, 学习率更新采用自适应调整策略。 网络的batch size设置为32, epoch设置为100。 在训练时分别将60%, 20%和20%的数据随机分配给训练集、 测试集和验证集。

表2

Table 2

表2(Table 2)

表2 3D-CAE参数设置 Table 2 3D-CAE parameter settings 卷积层 INPUT SIZE KERNEL SIZE KERNEL NUMBERS STRIDE PADDING OUTPUT SIZE CONV1 224 5 5 1 2× 3× 3 32 2 1 1 valid 112 3 3 32 CONV2 112 3 3 32 2× 1× 1 64 2 1 1 valid 56 3 3 64 CONV3 56 3 3 64 2× 3× 3 128 2 1 1 valid 28 1 1 128 DECONV1 28 1 1 128 2× 3× 3 64 2 1 1 valid 56 3 3 64 DECONV2 56 3 3 64 2× 1× 1 32 2 1 1 valid 112 3 3 32 DECONV3 112 3 3 32 2× 3× 3 1 2 1 1 valid 224 5 5 1

表2 3D-CAE参数设置 Table 2 3D-CAE parameter settings

为了检验所提出3D-CAEAD算法的优越性我们将所提出的算法与其他五种方法进行比较, 分别是RX, SRX, CRD, UNRS和LRASR。 同时, 以接收器工作曲线ROC和曲线下面积AUC值作为评价异常检测准确率的主要标准, 在9组真实高光谱图像上进行对比验证。

三个数据集的检测结果如图4, 图5和图6所示。 与其他方法相比, 本方法的结果与参考图像最接近。 并且该方法可以检测具有不同大小和不同结构信息的异常像素, 并完全保留异常的全部形状结构。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 San Diego数据集异常检测结果 (a): 假彩色图像; (b): 参考图; (c): RX; (d): SRX; (e): CRD; (f): UNRS; (g): LRASR; (h): 3D-CAEADFig.4 Results of San Diego datasets anomaly detection (a): False color image; (b): Reference map; (c): RX; (d): SRX; (e): CRD; (f): UNRS; (g): LRASR; (h): 3D-CAEAD

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 Los Angeles数据集异常检测结果 (a): 假彩色图像; (b): 参考图; (c): RX; (d): SRX; (e): CRD; (f): UNRS; (g): LRASR; (h): 3D-CAEADFig.5 Results of Los Angeles datasets anomaly detection (a): False color image; (b): Reference map; (c): RX; (d): SRX; (e): CRD; (f): UNRS; (g): LRASR; (h): 3D-CAEAD

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 Pavia数据集异常检测结果 (a): 假彩色图像; (b): 参考图; (c): RX; (d): SRX; (e): CRD; (f): UNRS; (g): LRASR; (h): 3D-CAEADFig.6 Results of Pavia datasets anomaly detection (a): False color image; (b): Reference map; (c): RX; (d): SRX; (e): CRD; (f): UNRS; (g): LRASR; (h): 3D-CAEAD

通过结果图可看出, 在背景环境较为简单并且异常目标单一时, 传统方法可以表现出较高的准确率。 在目标光谱相近或异常目标较小时, 检测准确率明显下降。 同时, 传统方法只能在部分场景中保持较高的准确率。 这说明传统方法的性能较弱, 不能充分利用高光谱图像的信息, 特征提取能力不强, 无法完整的表现异常目标的形状结构, 不能将所有的异常目标检测出来。 这说明这些算法的鲁棒性不高, 不能适应大多数场景, 只能针对个别数据集产生准确的检测效果。

与传统方法相比, 我们的方法基于深度学习, 具有更强的特征提取能力。 可以学习到高光谱图像更深层的信息, 以得到更多具有区分性的信息, 来检测出图像中的异常目标。 该方法的判别性重构部分可以有效地突出异常目标并抑制背景, 本文具有更好的异常检测效果。 但是, 本算法在面对密集或者单一的小异常目标情况时, 检测效果并不理想。 异常检测结果相较于其他传统方法优势不明显, 对个别数据集甚至存在一定差距。 原因在于, 本算法的核心是利用3D-CAE网络对高光谱图像进行背景重构。 当异常目标较小并且单一时, 受周围背景像元干扰和卷积核大小的影响, 数据训练时被当作背景数据的一部分; 异常目标较为密集时, 容易被当作局部区域背景图像进行训练, 不能很好的检测出异常像元与背景图像之间的差异。

通过以上三组异常检测结果图可以看出, 总体上提出的3D-CAE方法的检测准确率和鲁棒性都比较出色。

图7, 图8和图9和表3分别列出了不同数据集使用不同方法得到的ROC曲线和AUC值。 通过对比, 可以清晰的看出3D-CAEAD的检测准确率的稳定性远远高于其他5种算法, 整体上保持着最高的AUC值。 在所有数据集上都保持着0.97以上的AUC值, 可以适应不同的目标与场景, 具有较高的可靠性。 原因在于, 3D-CAEAD网络可以通过3D卷积块提取高光谱图像的空间-光谱信息, 有效的利用了异常目标与背景在空间和光谱信息上存在的差异, 可以更加凸显出异常目标。 同时, 在编码解码的过程中, 对高光谱图像中存在的噪声有一定抑制作用, 减少了检测时受到噪声的干扰。 这些对检测空间或者光谱信息与背景相似的小异常目标尤其有效。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 San Diego数据集ROC曲线图Fig.7 ROC curves of San Diego datasets

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 Los Angeles数据集ROC曲线图Fig.8 ROC curves of Los Angeles datasets

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 Pavia数据集ROC曲线图Fig.9 ROC curves of Pavia datasets

表3

Table 3

表3(Table 3)

表3 三组数据集的AUC值 Table 3 AUC values of three groups of datasets 数据集 RX SRX CRD UNRS LRASR 3D-CAEAD San Diego-1 0.840 4 0.902 5 0.884 0 0.898 7 0.866 0 0.971 7 San Diego-2 0.952 6 0.944 1 0.768 1 0.791 7 0.962 2 0.986 9 San Diego-3 0.911 1 0.949 5 0.760 2 0.812 6 0.988 7 0.978 4 San Diego-4 0.940 3 0.961 7 0.907 1 0.919 8 0.894 9 0.983 3 Los Angeles-1 0.990 7 0.724 1 0.965 5 0.972 2 0.954 0 0.993 0 Los Angeles-2 0.944 0 0.927 5 0.922 4 0.981 6 0.989 9 0.984 6 Pavia-1 0.980 7 0.966 4 0.992 8 0.992 9 0.918 7 0.987 8 Pavia-2 0.999 1 0.995 8 0.994 4 0.997 6 0.996 3 0.999 9 Pavia-3 0.953 8 0.877 7 0.886 8 0.959 9 0.930 5 0.972 4

表3 三组数据集的AUC值 Table 3 AUC values of three groups of datasets