耀州窑古陶瓷跨代较多, 且不同朝代之间具有物理相似性, 如唐代和五代时期的耀州窑均存在青灰、 透明的胎釉特征, 因此耀州窑的断代具有一定的挑战性。 故而以耀州窑为研究对象, 选取来自唐、 五代、 宋、 金、 元五个不同朝代的80个耀州窑古陶瓷样品, 采用Ideaoptics公司生产的PG2000-Pro紫外-可见-近红外光谱仪。 光谱仪的光源以0° 正入射在陶瓷样品上, 采集不同朝代耀州窑样品的光谱数据。 为丰富光谱数据的多样性以利于后续的建模, 探测角范围为10° 60° , 间隔5° 。 五个不同朝代的80个耀州窑古陶瓷样品共测得880条光谱数据样本, 波长范围为400~1 100 nm, 采样间隔为0.6 nm。 其中, 图2(a)为同一朝代耀州窑样品的400~1 100 nm波长光谱曲线图, 由图2(a)可发现在1 000~1 100 nm范围内的古陶瓷光谱曲线毛刺明显, 表明存在较大的光谱幅度波动异常。 为获得可靠的古陶瓷分类模型, 选用光谱波长范围为400~1 000 nm可见-近红外波段[如图2(b)所示]进行分析、 讨论。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 某朝代耀州窑样品光谱曲线图 (a): 400~1 100 nm光谱曲线; (b): 400~1 000 nm光谱曲线Fig.2 Spectra of Yaozhou kiln sample in a dynasty (a): 400~1 100 nm; (b): 400~1 000 nm

由图2可以发现: 耀州窑光谱曲线虽去除了波动异常的1 000~1 100 nm波段, 但400~1 000 nm波段的光谱曲线平滑性较差, 且仍存在一定的毛刺。 主要原因在于测试样本形状存在差异以及表面不均匀等因素造成背景信息和噪声等干扰。 为压制、 消除噪声和不相关信息对耀州窑断代分类影响, 采用Savitzky-Golay滤波^[8]对光谱曲线进行平滑, 平滑后的光谱曲线如图3(a)所示; 同时, 为进一步避免样品表面分布不均匀以及样本颗粒度的散射影响, 基于MSC多元散射校正方法, 对上述平滑的光谱曲线进一步进行多元散射校正, 如图3(b)所示。 由图3(b)可以发现, 经上述多元散射校正后, 采用不同探测角获取的同一朝代耀州窑光谱曲线之间的差异明显减小。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 耀州窑光谱数据的预处理过程 (a): S-G平滑滤波; (b): MSC多元散射校正Fig.3 Spectral data preprocessing of Yaozhou kiln (a): S-G filtering; (b): MSC multiplicative scatter correction

为进一步增强光谱信息, 对多元散射校正后的光谱曲线分别进行一阶和二阶微分, 如图4所示。 使用一阶微分可消除部分线性噪声和背景信息; 使用二阶微分以消除基线漂移和背景信息的影响。 由图4知: 一阶微分和二阶微分的光谱曲线差异很大。 为有效利用一阶微分和二阶微分之间的差异性, 提出将分数阶微分算法引入到光谱数据的预处理中。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 耀州窑光谱数据一阶和二阶微分预处理过程 (a): 一阶微分; (b): 二阶微分Fig.4 First and second order differential preprocessing of Yaozhou kiln spectral data (a): First order differential; (b): Second order differential

分数阶微分是对整数阶微分的扩展, 用于研究任意阶微分数学的数学性质及其应用^[9]。 分数阶微分Grunwald-Letnikov式如式(1)

dαf(x)dxv=limh→01hα∑m=0t-ah(-1)mΓ(α+1)m!Γ(α-m+1)f(x-mh)(1)

式(1)中, α 为微分阶数, h为微分步长, Г 为gamma函数。

由于耀州窑光谱数据的采样间隔为0.6 nm, 故式(1)中h取0.6。

利用极限定理, 将式(1)分数阶微分表示成如式(2)递推公式

w0(α)=1; w0(α)=1-α+1mwm(α); dαf(x)dxv≈1hα∑m=0t-ah(-1)mwm(α)f(x-mh)(2)

由式(2)可得到0.22.0阶(间隔为0.2)的不同阶数的微分结果并使用线性归一化方法将数据映射到01, 如图5所示。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 光谱数据不同阶微分处理 (a): 0.2~1.0阶微分; (b): 1.2~2.0阶微分Fig.5 Different order differential processing of spectral data (a): 0.2~1.0 order differential; (b): 1.2~2.0 order differential

由图5初步可以发现, 随着微分阶数的增加, 光谱数据具有一个渐变过程。 如何利用不同阶微分进行耀州窑断代, 将在后续实验中讨论、 分析。

BP神经网络是应用广泛的一类神经网络模型, 常应用于模式分类。 由于BP神经网络的权值和阈值随机初始化, 易存在陷入局部最优^[10]。 为了解决这一问题, 提出一种基于RBM受限玻尔兹曼机和BP神经网络的深度信念网络古陶瓷分类断代方法。 整个网络模型由一定数量的RBM受限玻尔兹曼机和一层有监督的BP反向传播神经网络组成, 如图6所示。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 深度信念网络模型图Fig.6 Deep belief network model diagram

深度信念网络的整个过程, 本质上也是一个训练网络参数的过程。 为了获得良好的网络参数, 深度信念网络的训练分为两阶段: 预训练和微调。 在预训练阶段, 整个网络采用逐层训练的方法对各层RBM进行无监督训练。 RBM由可视层v和隐藏层h两层结构构成, 可视层作为输入, 隐藏层作为输出。 根据RBM的能量函数和贝叶斯方程^[11], 可以得到RBM隐藏层h的输出满足如下的条件概率

p(hj=1|v)=11+exp-bj-∑i=1mwijvi=sigmoidbj+∑i=1mwijvi(3)

相应地, 当输出层的数据确定后, 输入可视层单元的条件概率为

p(vi=1|h)=11+exp-ai-∑j=1nwijhj=sigmoidai+∑j=1nwijhj(4)

其中, w_ij为可视层单元v_i和隐藏层单元h_j之间的连接权重, a_i为可视层单元v_i的偏置, b_j表示隐藏层单元h_j的偏置, sigmoid表示激活函数(1/(1+e^-x))。

原始光谱数据维度较高, 不可避免地会引入冗余特征和无关特征, 有些成分甚至会起到负作用, 并带来维数灾难问题。 为克服上述问题, 在预训练阶段, 深度信念网络利用层叠的RBM结构, 将低一层RBM的隐藏层输出作为高一层的RBM的可见层输入, 提取出光谱数据的高层特征, 实现特征的降维, 从而减少数据的冗余性。

在预训练阶段, 通过最大化RBM在输入层数据v上的对数似然函数得到参数梯度公式, 进一步得到参数{a_i, b_j, w_ij}。 参数梯度公式如下所示

∂lnL(w, a, b)∂wij=p(hj=1|v)vi-∑p(v)p(hj=1|v)vi(5)∂lnL(w, a, b)∂ai=vi-∑vp(v)vi(6)∂lnL(w, a, b)∂bj=p(hj=1|v)-∑vp(v)p(hj=1|v)(7)

梯度公式中包含了输入训练集的概率分布p(v), 计算量大, 无法直接计算出。 因此采用基于Gibbs采样^[12]方法近似迭代梯度公式。 参数的更新方程如下

ai=ai+ε[vi(0)-vi(k)](8)bj=bj+ε[p(hj=1|v(0))-P(hj=1|v(k))](9)Δwij=wij+ε[p(hj=1|v(0))vi(0)-P(hj=1|v(k))vi(k)](10)

其中, ε 为学习率, vi(0)为样本值, vi(k)为通过Gibbs采样获得满足分布p(v)分布的样本。

微调阶段采用有监督的BP网络进行训练, 预训练阶段每一层RBM最终训练得到的权值和阈值参数{a_i, b_j, w_ij}同样能反映降维后数据的特征性质, 因此将预训练阶段每一层RBM训练得到的权值参数用于初始化BP神经网络, 并用BP神经网络对权值参数进行微调, BP这时不需要做全局搜索, 只需要从一个有意义的起始点开始局部搜索。 最后利用BP网络的反向传播阶段将该误差回传微调整个深度信念网络的权值和阈值参数, 使实际输出与期望输出的误差达到最小值, 即实际输出越来越接近期望输出。

深度神经网络主要应用于大量数据样本, 对于小样本数据或者样本特征维度较低情形, 网络则会出现过拟合。 为防止出现过拟合, 在深度信念网络中引入如下Dropout技术: 在网络训练阶段, 以一定概率p随机让网络某些隐含层节点的权重不工作, 如图7所示。 此时深度信念网络隐层第j个节点的输出如下所示

hj=Xjsigmoidbj+∑i=1mwijvi=sigmoidbj+∑i=1mwijvi, ifXj=10, ifXj=0(11)

其中, p(X_j=0)=d, 即X_j为0的概率为d, d为隐层节点随机丢弃的比例。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 深度信念网络中Dropout策略Fig.7 Dropout in deep belief network

不工作节点可以暂时认为不是网络结构的一部分, 但保留其权重, 仅是暂时不更新。 在下次迭代过程中, 这些不工作的隐层节点可能又重新用于训练。 在小样本训练数据的情况下, 由于过多的迭代次数可能会导致节点之间具有相互依赖性。 而上述Dropout策略在每次迭代的过程中, 隐层的节点是随机丢弃的, 因此每一次训练网络都在发生变化, 从而防止特征之间相互依赖。

为获取预处理阶段分数微分的最优阶数, 将02阶(间隔为0.1阶)不同阶微分预处理后的光谱数据, 基于Dropout深度信念网络对耀州窑五个朝代的古陶瓷进行分类断代, 结果如图8所示, 其中0阶微分表示未进行微分预处理。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 耀州窑古陶瓷光谱数据在不同分数阶微分下的分类识别性能Fig.8 Classification performance of Yaozhou kiln spectral data in different fractional differential

由图8分类识别结果知: 0阶时, 即未进行微分处理时, 耀州窑不同年代古陶瓷的分类准确率仅为84.8%, 而基于不同分数阶微分的分类准确率均较0阶明显高, 表明采用微分预处理有助于耀州窑断代分类; 且基于0.7阶微分处理的分类性能最优, 为93.5%。

因使用的古陶瓷数据范围为400~1 000 nm, 采样间隔为0.6 nm, 故光谱数据的特征维度为1 000维, 因此将Dropout深度信念网络第一个RBM网络层的输入层V₀的单元个数设为1 000, 关于隐层H的单元数以及RBM的数量设置将会在后面讨论。 本实验中共包括了耀州窑唐、 五代、 宋、 金、 元五个不同朝代古陶瓷的光谱数据, 因此将最后一层的输出层Y的单元数设为5。

3.2.1 RBM数量

在Dropout深度信念网络中, RBM堆叠数量直接影响了整个网络的深度和分类结果。 RBM数量越多, 提取出的高层特征对分类越有利。 但当增加RBM数量使网络深度变深时, 将使整个深度神经网络模型分类性能降低^[13]。 一方面, RBM数量的增加, 意味着该网络模型中需要更多参数参与运算, 从而导致网络模型过拟合; 另一方面, 随着RBM数量增加, 采用BP神经网络进行微调阶段造成的误差, 将在反向传播过程中不断累积增加。

为获取最佳RBM数量, 实验使用枚举法将RBM数量从1变化到5, 采用实际输出Y_k与期望输出O_k均方误差进行评价

E=12∑d=1r∑k=1q(Ydk-Odk)2(12)

其中, r为样本数目, q为输出层的节点数。

图9为基于Dropout深度信念网络对耀州窑进行分类的均方误差和总体分类精度结果。

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 Dropout深度信念网络基于不同RBM的输出均方误差及其分类性能Fig.9 Mean square error and classification performance of Dropout deep belief network based on different numbers of RBM

由图9可以看出, RBM数量对耀州窑不同年代古陶瓷的分类性能影响明显。 RBM的数量为1时, 均方误差较大, 说明此时RBM输出层特征还不能很好地拟合输入层的光谱数据。 当RBM的数量为2时, 均方误差显著降低, 且此时分类性能达到最优。 而随着RBM数量的继续增加, 均方误差逐渐增加, 分类性能随之逐渐下降。 因此, RBM最佳数量为2。 在后续实验中, 取RBM数量为2, 并保持不变。

3.2.2 RBM隐藏层节点数

RBM隐藏层节点数越多, RBM的隐藏层越能精确地表示训练数据的分布情况; 另一方面, 若隐藏层节点数太少, 网络可能根本不能训练或网络性能很差; 但是若隐藏层的节点数过多会延长整个网络模型的训练时间, 同时会导致在使用BP神经网络进行微调阶段仍会出现过拟合现象。 为选取最优的隐藏层节点数, 使用枚举法将RBM隐层节点数从50变化到300, 实验结果如图10所示。

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 Dropout深度信念网络基于不同RBM隐藏层节点的输出均方误差及其分类性能 由图10可知, 当RBM节点数为100时, 均方误差最小, 且断代分类性能达到最优。 因此, 在后续实验中, 取RBM隐藏层节点数设为100并保持不变。Fig.10 Mean square error and classification performance of Dropout deep belief network based on different hidden layer units

3.2.3 Dropout参数选择

图11为Dropout随机丢弃隐层节点的比例与分类性能之间的关系。 由图11可以看出, 深度信念网络中未引入Dropout策略, 即Dropout丢弃比例为0时, 耀州窑不同朝代的分类性能为90.5%, 引入Dropout策略后的分类性能明显提高。 在0.10.6的Dropout丢弃比例范围内, 古陶瓷断代分类性能基本保持稳定, 且当Dropout丢弃比例为0.45时, 分类性能最高, 为93.5%; 当Dropout丢弃比例达0.6后, 随着Dropout丢弃比例的增加, 分类性能却不断下降。 故选取Dropout丢弃比例为0.45。

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 Dropout深度信念网络基于不同Dropout随机丢弃隐层节点比例分类性能Fig.11 classification performance of Dropout deep belief network based on different ratios of Dropout

为进一步验证光谱数据采用Dropout深度信念网络进行分类识别时, 经过堆叠的RBM降维后得到的高层特征确实消除了冗余特征, 基于皮尔逊相关系数进行评价

R=|cov(X, Y)|var(Xi)var(Yi)(13)

其中, cov(X, Y)为特征子集X与Y的协方差, var(X_i)与var(Y_i)分别为特征X与Y的方差。 若R值越小, 则不同特征之间的相关性越低, 说明该特征集冗余程度越低。

光谱数据特征降维前, 维度为1 000, 得到的相关系数矩阵大小为1 000× 1 000, 降维后维度为100, 得到的相关系数矩阵大小为100× 100。 由于相关系数矩阵较大, 因此统计特征之间相关系数均值、 方差(如表1)进行比较和分析。

表1

Table 1

表1(Table 1)

表1 光谱数据降维前后特征相关性统计与分析 Table 1 Correlation analysis of spectral data before and after dimension reduction 特征维度 均值 方差 最大值 最小值 降维前 1 000 0.885 7 0.013 7 0.999 8 0.500 9 第一层RBM 100 0.544 6 0.093 5 0.765 2 0.082 2 第二层RBM 100 0.391 5 0.107 8 0.566 2 0.097 1

表1 光谱数据降维前后特征相关性统计与分析 Table 1 Correlation analysis of spectral data before and after dimension reduction

由表1可以看出, 降维前(1 000维)特征之间的相关性高达0.885 7, 而方差仅为0.013 7, 表明绝大多数特征间的相关系数位于0.885 7附近(接近于1); 分别经第一层和第二层RBM降维后, 相关系数分别为降至0.544 6和0.391 5, 表明特征间的相关性明显下降, 数据的冗余度相比降维之前得到了明显减少。

为了进一步评价本方法是否有效, 与其他机器学习方法进行了对比, 所得结果如表2所示。

表2

Table 2

表2(Table 2)

表2 不同分类方法实验对比 Table 2 Comparison of different classification methods 方法 分类识别率/% 模糊聚类[3] 83.43 广义回归神经网络[4] 88.91 BP神经网络[5] 87.52 SVM支持向量机[6] 90.52 本文方法 93.50

表2 不同分类方法实验对比 Table 2 Comparison of different classification methods

由表2的对比结果可知, 本方法的分类性能最佳。 主要原因在于: 提出的Dropout深度信念网络模型, 在预训练阶段, 通过RBM无监督学习, 为BP神经网络参数提供了合适的初始值, 而传统的BP神经网络^[5]随机初始化权值易导致陷入局部最优; SVM支持向量机^[6]因需求解极值, 同样易陷入局部最优; 且BP神经网络可能存在小样本过拟合情况, 而本文引入随机丢弃技术有效解决了这一问题。

统计耀州窑五个朝代各自的分类识别性能, 并采用混淆矩阵形式直观显示实验结果, 如图12所示。

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 基于可见-近红外光谱耀州窑不同朝代分类结果Fig.12 Chronological classification results of Yaozhou kiln based on visible-near infrared spectroscopy

由图12结果可发现, 本方法对耀州窑不同朝代古陶瓷分类的平均准确率为93.5%。 而耀州窑五代时期的分类识别率最高, 达到96.3%。