图1为GFRP/NOMEX蜂窝夹层结构缺陷深度预测红外热成像无损检测系统, 试验过程为计算机产生的脉冲信号经数据采集卡传输至调光器, 调光器接收信号控制卤素灯对试件施加热激励, 卤素灯将热量施加至试件表面并不断向试件内部传递, 若试件内部存在缺陷, 则试件表面温度场分布表现为缺陷区域与非缺陷区域出现温差, 采用FLIR A655SC非制冷红外热像仪实时记录激励及散热过程试件表面的温度场分布变化, 得到若干帧分辨率为640× 480的热图。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 GFRP/NOMEX蜂窝夹层结构缺陷深度预测红外热成像无损检测系统Fig.1 Infrared thermal imaging NDT system for depth prediction of defects in GFRP/NOMEX honeycomb mezzanine structures

采用的GFRP/NOMEX蜂窝夹层结构是由0.7 mm的GFRP蒙皮与4mm的芳纶纸蜂窝通过0.1 mm的环氧树脂粘结而成, 整板总厚度为5.6 mm。 采用对试件底部打平底盲孔的方式模拟直径为10 mm的脱粘及分层缺陷, 图2为试件缺陷位置示意图, 表1为试件缺陷埋深参数。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 试件缺陷位置示意图Fig.2 The schematic diagram of the defect position of the specimen

表1

Table 1

表1(Table 1)

表1 试件缺陷埋深参数 Table 1 Specimen defect depth parameter 行 列 1 2 3 4 1 DP=0.8 DP=0.7 DP=0.5 DP=0.3 2 DP=0.8 DP=0.7 DP=0.5 DP=0.3 3 DP=0.8 DP=0.7 DP=0.5 DP=0.3 4 DP=0.8 DP=0.5 DP=0.7 DP=0.4 注: DP: 缺陷埋深(mm)

表1 试件缺陷埋深参数 Table 1 Specimen defect depth parameter

试验设置卤素灯功率为2 000 W, 脉冲激励为7 s, 采样频率为10 Hz, 采样时间为100 s, 共计1 000帧红外热图, 将热像仪采集的试件表面热图进行时间空间对齐等操作, 得到640× 480× 1 000的热序列, 图3为热序列示意图。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 热序列Fig.3 Thermal sequence

由图3可知, 试件在受到热激励后缺陷处和非缺陷处会产生明显的温度差异, 同时不同类型、 平面尺寸、 埋深的缺陷均会由于传热情况不同导致缺陷对应试件表面的温度存在不同。 图4为不同埋深缺陷中心对应试件表面温度变化归一化曲线。 图4表明, 相同平面尺寸不同埋深缺陷中心处对应的试件表面对于外部热源激励会有不同程度的温度响应。 根据表1试件预制的缺陷埋深情况, 依次设置缺陷深度标签为0.3、 0.4、 0.5、 0.7和0.8 mm, 无缺陷处深度标签设置为5.6 mm。 图5为样本数据选取区域示意图, 在样本选择区域取缺陷点及无缺陷点共计9 848个样本数据, 并将数据集随机划分为训练集及验证集。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 不同埋深缺陷中心对应试件表面温度变化归一化曲线Fig.4 Normalized curve of surface temperature change of specimen corresponding to the center of defects with different burial depths

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 样本数据选取区域示意图Fig.5 Schematic diagram of the area from which the sample data were selected

(1)卷积层

卷积层(convolutional layer, Conv)是CNN的核心, 是一定尺寸的卷积核窗口以一定的步长在输入样本上滑动进行卷积运算, 实现对输入样本的特征提取, 其特点是全局共享权值, 网络计算速度快、 训练参数少及内存占用少。 在卷积过程中为了不遗漏边缘信息以及使输出特征大小与输入相同, 通常会进行补0操作, 在输入样本的起始和终止补充0数据, 使边缘数据也进行多次卷积, 常用的补0方式之一为“ same” 。 卷积的具体计算公式为

xi+1=Wi⊗xi+bi(1)

式(1)中, x_i为输入数据; x_i+1为卷积操作后的数据; ⊗为卷积运算符号; W_i为卷积核权重; b_i为偏置。

(2)BN层

批量标准化(batch normalization, BN)层通常置于激活层前, 对数据进行归一化处理, 使数据服从正态分布, 减少数据分布的差异性, 规避了由于网络加深时数据差异性逐渐增大导致的梯度爆炸或梯度消失, 引入BN层可有效提高模型收敛速度和网络训练速度, 同时引入可学习参数γ 和β , 其具体向前传播的公式为式(2)— 式(5)所示

μB=1m∑i=1mxi(2)

σB2=1m∑i=1m(xi-μB)2(3)

x̂i=xi-μBσB2+ε(4)

yi=γx̂i+β(5)

式(2)中, x⁽ⁱ⁾为输入的样本数据。

(3)激活层

单纯的卷积操作只能表达线性映射, 不能实现对复杂特征的提取与表达, 无法解决非线性问题, 因此通常在卷积计算后引入激活操作, 对卷积的结果进行非线性变换, 将特征映射到高维非线性区间, 使网络可以逼近任意非线性函数, 使其具备非线性映射的能力, 解决复杂任务。 目前常用的激活函数为Sigmoid、 Tanh、 ReLU等。 图6为Sigmoid、 Tanh、 ReLU函数示意图, 其表达式分别为式(6)— 式(8), 网络激活函数表达式如式(9)所示。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 常用激活函数示意图Fig.6 Common activation function diagram

f(x)=11+e-x(6)

f(x)=ex-e-xex+e-x(7)

f(x)=x, x≥00, x0(8)

yi=f(xi+1)=f(Wi⊗xi+bi)(9)

其中Sigmoid函数输出限制在0到1之间, 曲线平滑且易于求导。 Tanh函数是Sigmoid函数的变体, 实际是Sigmoid函数的平移和收缩, 相比于Sigmoid函数有更快的收敛速度。 ReLU是目前最常用的激活函数, 其具有强大的非线性拟合能力, ReLU会使部分神经元的输出为0, 使网络存在稀疏性, 减少了参数相互依存的关系, 减缓了过拟合问题, 收敛速度快, 没有梯度弥散。

(4)池化层

最大池化和平均池化是目前最常用的两种池化方式, 卷积神经网络中池化层的引入是仿照人的视觉系统对视觉输入对象进行特征降维和特征抽象提取, 其计算原理是一定尺寸的池化窗口以一定的步长在输入数据上滑动进行相应的池化计算, 具有特征不变性, 对数据进行有效降维, 减少计算量和参数个数, 一定程度上防止过拟合, 同时也实现了非线性映射, 有效扩大了感受野。 近年来全局池化也逐渐被大量应用, 其中全局平均池化和全局最大池化是特殊的平均池化和最大池化, 其不同是池化窗口即为特征输入中单个通道的特征图大小, 全局池化可以有效提取全局信息, 常用来代替全连接层, 减少计算量。 图7(a— d)为池化过程示意图。 最大池化和平均池化的数学公式如式(10)和式(11)所示。 图8为全局池化示意图。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 池化过程示意图 (a): 最大池化; (b): 平均池化; (c): 全局最大池化; (d): 全局平均池化Fig.7 Pooling process diagram (a): Max pooling; (b): Average pooling; (c): Global max pooling; (d): Global average pooling

p=maxa(10)

p=∑ak(11)

式(10)和式(11)中, a为池化窗口, p为池化输出, k为输入特征尺寸。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 全局池化示意图Fig.8 Global pooling diagram

(5)全连接层

全连接层(fully connected layers, FC)一般位于网络的最后, 与上层输出的展平结果相连接进行线性映射。 网络中全连接层添加过多会引入过多的学习参数, 从而增加运算的困难和时间, 且易产生过拟合现象。 全连接层的数学公式如式(12)所示。

Zl+1(j)=∑i=1nWijlxl(i)+bjl(12)

式(12)中, Z^l+1(j)为全连接层l+1的第j个神经元的输出, Wijl为第l层的第i个神经元与l+1层的第j个神经元之间的权值, bjl为第l层神经元对l+1层第j个神经元的偏置。

(6)传播过程

采用一维卷积神经网络回归预测, 其训练机制的第一阶段是将信号输入到网络中, 网络经过特征提取、 特征整合及预测结果实现正向传播, 得到预测值 ŷ, 同时计算预测值与实际值y之间的损失函数值。 第二阶段是网络的反向传播, 将预测值与实际值之间的误差从输出层逆向传输, 通过链式求导以及学习率不断更新网络权重, 使网络的预测值与实际值之间的损失逐渐下降, 其中以Regress作为输出层的Loss计算公式如式(13)所示, 均方误差计算公式如式(14)所示。 将全部数据划分为若干个Batch依次进行迭代训练, 全部数据完成正向迭代与反向迭代即为迭代一轮, 网络迭代指定训练轮次后停止训练。

$\text { Loss }=\frac{1}{2} \sum_{i=1}^{R}(y-\hat{y})^{2} $(13)

$R M S E=\sqrt{\frac{1}{R} \sum_{i=1}^{R}(y-\hat{y})^{2}}$(14)

式(13)和式(14)中, R为一个Batch的样本个数。

1.5.1 多尺度空洞卷积

在传统网络的卷积层中, 卷积核尺寸过大易导致无法捕捉数据的细节信息, 过小则无法顾及数据的全局信息。 而空洞卷积(dilated convolutions)则是在普通卷积的基础上引入扩张率参数, 其具体机制为在过滤器像素之间引入固定大小的空洞或跳跃来扩展过滤器的感受野, 使提取的网络信息更加细致, 从而提高模型的能力。 图9为卷积扩张原理图。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 卷积扩张原理图Fig.9 Convolution expansion schematic diagram

图10为常规卷积和空洞卷积计算过程对比。 原卷积核大小均为1× 3。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 卷积计算原理示意图Fig.10 Convolution calculation principle diagram

空洞卷积的扩张率大有利于捕捉全局信息, 但过大的扩张率也会导致采样稀疏, 使部分信息丢失, 造成连续性破坏, 不利于细节的学习, 因此使用多个扩张率不同的卷积核进行卷积操作, 使其在多尺度上获得不同感受野的特征, 经过Concat操作将不同分支提取的特征信息进行融合, 通过融合不同卷积核提取的特征, 全面捕获样本中的信息特征, 增强网络的表达能力, 提高模型的鲁棒性和准确性。

1.5.2 残差

通常情况下较深较复杂的网络对于非线性拟合的能力要强于较浅的网络, 适度的增大网络规模可以提高网络的能力, 但无限的堆叠时通常会导致网络性能饱和, 甚至网络出现衰退的现象, 能力反不如浅层网络, 原因是在网络的学习过程中, 梯度经过过多的网络层传递后可能会变的非常大或非常小, 即出现了梯度消失或梯度爆炸, 梯度消失会使得底层网络的权重几乎不变, 网络无法学习, 梯度爆炸即会导致学习过程极不稳定, 波动性较大, 最终导致训练失败。

图11(a, b, c)为常规卷积与残差模块对比, 常规的卷积过程可能会导致信息的丢失, 网络层数越多, 丢失的信息则越多, 将会严重影响网络的学习, 残差模块的思想是将网络若干层的输入与结果融合, 即图11(b)中的跨层连接, 保留输入数据的信息, 输出结果为F(x)+x, 最差效果为F(x)=0, 即没有增益, 但也没有信息的损失, 网络引入恒等映射, 实现数据跨层流动, 使网络层数增加也可以保证梯度的稳定。

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 残差模块 (a): 传统卷积; (b): 残差网络模型; (c): 本文残差模型Fig.11 Residual module (a): Conventional convolutional network; (b): Residual network module; (c): Residual moduleof this article

当输入和输出的维度一致时, 可直接相加, 若不一致则需要额外的卷积或池化调整大小, 完成跨层连接, 图11(c)为使用的残差模块结构。 残差网络除解决深层网络的梯度爆炸和梯度消失问题外, 还可以提高网络的泛化能力, 减少计算量。

1.5.3 注意力机制

注意力机制为模仿人类视觉研究衍生而来, 其作用是对重要事物进行聚焦, 其原理是通过给不同的通道分配不同的权重, 让网络捕捉且学习到重要的特征信息。 SE-Net(squeeze-and-excitation networks, SE-Net)是最早的注意力机制网络之一, 其机制是利用通道的独特性调整通道维度的特征, 使特征提取的效果更好, 图12(a)为SE模块, 其过程为压缩、 激励以及特征重映射。 SE模块使用全局平均池化进行特征压缩, 全连接层以及ReLU进行激励, 通过Sigmoid将权重归一化, 最后通过Multiplication将归一化后的特征权重系数与模块输入逐层相乘, 完成特征重映射。

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 注意力机制 (a): SE模块; (b): 本文注意力模块Fig.12 Attention mechanism (a): SE module; (b): Attention module of this article

其中SE模块使用全局平均池化操作进行特征压缩, 并不能充分的将特征提取, 且使用参数较多的全连接, 导致训练速度慢。 图12(b)为本文注意力模块, 其首先采用全局平均池化和全局最大池化将特征分别压缩, 进行充分的特征提取, 再对压缩后的一维信号使用1× 1的卷积操作进行降维, 将两者的特征图进行拼接再进行1× 1的卷积操作实现升维, 恢复原始通道数, 最后将Sigmoid激活函数归一化后的权重系数与模块输入相乘, 得到加权后的特征图。

1.5.4 构建缺陷深度预测模型

为实现缺陷深度的稳定预测, 引入多尺度空洞卷积、 残差结构、 注意力机制搭建一维卷积神经网络模型, 图13为所搭建的网络结构示意图, 表2为网络结构参数。 其中k为窗口尺寸, s为步长, DR为扩展率, t为卷积核个数。

图13

Fig.13

	Figure Option ViewDownloadNew Window
	图13 网络结构示意图Fig.13 Schematic diagram of network structure

表2

Table 2

表2(Table 2)

表2 网络结构参数 Table 2 Network structure parameters 编号 输入维度 操作/结构 输出维度 操作 k s DR t 1 1 000× 1× 1 Dilated Conv1+BN+ReLU 11× 1 1× 1 1 16 1 000× 1× 16 1 000× 1× 1 Dilated Conv2+BN+ReLU 11× 1 1× 1 3 16 1 000× 1× 16 1 000× 1× 1 Dilated Conv3+BN+ReLU 11× 1 1× 1 5 16 1 000× 1× 16 1 000× 1× 1 Dilated Conv4+BN+ReLU 11× 1 1× 1 7 16 1 000× 1× 16 2 (1 000× 1× 16)× 4 Depth Concat 1 000× 1× 64 3 1 000× 1× 64 Residual module1+ReLU 500× 1× 64 4 500× 1× 64 Maxpooling 4× 1 4× 1 - - 125× 1× 64 5 125× 1× 64 Residual module2+ReLU 63× 1× 128 6 63× 1× 128 Maxpooling 4× 1 4× 1 - - 16× 1× 128 7 16× 1× 128 Residual module3+ReLU 8× 1× 128 8 8× 1× 128 Maxpooling 2× 1 2× 1 - - 4× 1× 128 9 4× 1× 128 Attention module 4× 2× 128 10 4× 2× 128 Flatten 1 024 11 1 024 FC1+ReLU 256 12 256 FC2+Tanh 1 13 1 Regress 1

表2 网络结构参数 Table 2 Network structure parameters

模型首先通过四个并行的空洞卷积分别进行浅层的特征提取, 将卷积结果分别进行BN及ReLU后使用Concat在深度方向进行叠加。 将输出结果送入图11(c)所示结构的残差模块1中, 其中Conv1参数为k=9× 1、 s=2× 1、 t=64, Conv2参数为k=5× 1、 s=1× 1、 t=64, Conv3参数为k=1× 1、 s=2× 1、 t=64。 残差模块1的输出结果经池化操作后

送入图11(c)所示的残差模块2中, 其中Conv1参数为k=5× 1、 s=2× 1、 t=128, Conv2参数为k=3× 1、 s=1× 1、 t=128, Conv3参数为k=1× 1、 s=2× 1、 t=128。 残差模块2的输出结果经池化操作后送入参数与残差模块2相同的残差模块3中, 将结果进行池化操作后送入图12(b)所示的注意力机制模块中, 其中Conv1及Conv2参数为k=1× 1、 s=1× 1、 t=16, Conv3参数为k=1× 1、 s=1× 1、 t=128。 将注意力模块的输出结果使用Flatten操作进行扁平化后与全连接层连接, 最后使用Regression作为深度预测模型的输出层。

将构建的数据集输入到所搭建的一维卷积神经网络中进行训练, 训练的批次大小过大会导致迭代速度慢, 训练速度低, 过小则会导致丧失全局信息, 最终根据数据集规模, 本研究选取批次大小为200, 每轮迭代38次, 每隔2次迭代验证一次, 共迭代100轮次, 设置学习率为0.000 1, 每30轮次衰减50%。

图14(a— d)为训练集与验证集的Loss及RMSE曲线, 其中训练集Loss曲线从起始的0.888 2经5轮次迭代后达到0.000 782 7, 后逐渐趋于稳定, 最终经100轮次后达到8.15× 10^-6, RMSE曲线从起始的1.332 8经40轮次迭代后达到0.007 4, 最终经100轮次后达到0.004。 由数据及曲线可知, 模型整体收敛速度较快, 且验证集和训练集的Loss及RMSE趋势一致, 即并未出现过拟合问题, 验证集最终Loss为1.67× 10^-5, RMSE为0.005 8, 验证集训练曲线略低或略高于训练曲线均可视为正常情况。

图14

Fig.14

	Figure Option ViewDownloadNew Window
	图14 训练曲线 (a): 训练集Loss; (b): 验证集Loss; (c): 训练集RMSE; (d): 验证集RMSEFig.14 Training curve (a): Training set Loss; (b): Validation set Loss; (c): RMSE of training set; (d): Validation set RMSE

将图5所示预测区域温度信号输入至训练完成的网络模型中进行预测, 图15为预测结果, 其中发现本文所搭建的网络模型可以有效识别出缺陷, 且缺陷深度预测效果良好, 同时计算四个缺陷中心处深度预测误差, 具体数值如表3所示, 缺陷中心处深度预测误差控制在2%以内, 预测效果稳定。 由此可知, 通过搭建一维卷积神经网络模型进行回归分析对于蜂窝夹层结构的缺陷深度预测是完全可行的。

图15

Fig.15

	Figure Option ViewDownloadNew Window
	图15 预测结果Fig.15 Prediction results

表3

Table 3

表3(Table 3)

表3 缺陷深度预测误差 Table 3 Defect depth prediction error 缺陷深度及 预测误差 缺陷编号 #1 #2 #3 #4 真实/mm 0.8 0.5 0.7 0.4 预测/mm 0.802 5 0.501 9 0.702 3 0.407 6 误差 0.312 5% 0.38% 0.326% 1.9%

表3 缺陷深度预测误差 Table 3 Defect depth prediction error