由于恒星光谱在计算机中以一维向量形式存储, 必须对网络进行必要的结构化平展, 使其拥有处理一维WDMS光谱的能力。 平展后用于WDMS光谱识别的一维卷积神经网络(1-D CNN)结构如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 1-D CNN的结构图Fig.1 Structure of 1-D CNN

1-D CNN是包含4个隐含层的深度网络, C1和C2层为两个卷积层, 通过生成可学习核的形式, 在WDMS光谱上进行卷积运算

C(k, n)=∑ds(n-d)w(k, d)(1)

其中w称为卷积核, 以线性赋权运算的形式提取光谱的卷积特征, 产生对应的特征谱(feature spectrum)。

P1和P2是对应的两个下采样层, 以池化(pooling)的形式降低特征谱的分辨率, 有效降低了噪声对光谱类型识别带来的负面影响。 本实验采取了平均池化策略, 即对上一个卷积层的特征谱f, 产生低分辨率谱f'

f'(n)=mean(f(n-1)d, …, fnd)(2)

其中d为池化窗口尺寸。 为保证上层光谱特征的完整传递, 池化窗口在实验中不宜选取过小。

FC为全联接层, P2层的多个低分辨率特征光谱在该层被平展为一维向量, 与200个非线性神经元全联接, 在输出层通过sigmoid函数计算被归类为WDMS光谱的概率。

在“ 学习” 过程中, 用于网络训练的光谱数据对模型性能的提升尤为重要。 实验发现, 由于WDMS光谱的数量相对稀少, 信噪比低, 并且负样例的抽样有偏, 使得模型在挖掘

任务中反映出泛化能力(generalization)低下的缺点。 为解决光谱的数据特殊性为模型带来的问题, 基于次序统计量^[8]提出“ 反贝叶斯学习策略(anti-bayesian learning paradigm, ALP)” 用于光谱卷积模型的学习。

ALP基于下述的重要假设:

假设: 对不同恒星的类别先验分布p(t|y), 假设其为等方差正态, 且均值为次序统计量一阶矩y± σ _D/ 2π而非y, 其中σ _D为光谱的样本方差。

通过最大化光谱的数据似然, 上述假设直接导出带偏倚修正项的网络代价函数

J(θ)=12∑n(yi-θxi)2∓γ∑n(yi-θxi)(3)

其中超参数γ =2σ _D/ 2π的值决定了假设的强度: 当σ _D→ 0时γ → 0, ALP假设消失。 通常γ 的取值在0.1~0.9之间, 控制着先验分布的偏倚程度。

获取SDSS光谱库中不同信噪比(SNR)的WDMS及其部分候选体的光谱共4 000条和经由人工筛选产生的负样例(NEG)光谱10 000条, 波长3 800~7 322 Å , 信噪比1~22。

由于光谱将经由神经网络的输入层进行卷积运算, 对每一条原始光谱s进行如下标准化, 产生实验光谱s'

s'i=si-mean(Si)σ(Si)(4)

其中S_i表示所有波长为i的光谱流量所形成的一维向量, mean(· )为均值算子, σ (· )为标准差算子。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 WDMS与非WDMS光谱的两层卷积图Fig.2 Two level convolutions of WDMS spec and NEG spec

建立如图1所示的1-D CNN, 各层的配置参数(神经元个数nl, 卷积核个数nk, 激活函数)如表1所示。 使用基于ALP假设的BP算法对14 000条混合光谱进行判别学习, 在C1层和C2层各生成稳定的6个卷积核, 其中C2层是C1层的高层非线性组合。

表1

Table 1

表1(Table 1)

表1 1-D CNN的配置参数 Table 1 Structural configuration for 1-D CNN 隐含层 nk nl 激活函数 C1 6 32 tanh C2 6 32 tanh FC / 200 tanh Out / 1 sigmoid

表1 1-D CNN的配置参数 Table 1 Structural configuration for 1-D CNN

选取SNR> 10的一条WDMS光谱和NEG光谱, 输入训练充分的网络模型(h), 可视化C1和C2层的前3个卷积核如图2所示。 训练后形成稳定分布的卷积核对光谱有显著的特征提取作用。

如图3所示, 第一层包含高斯滤波算子(gaussian filtering operator, GFO)、 低通算子(low-pass operator, LO)和互补高通算子(complementary high-pass operator, CHO)。 其中, GFO降低了光谱的分辨率^[9], LO使得卷积窗口内具有较低flux的波段在特征谱对应位置有更高的激活值, 而CHO则以完全互补的形式对窗口内的光谱产生高通效果, 最大化局部flux对光谱类型的影响。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 三个特征提取内核(a)和相应的直方图(b)Fig.3 Three functional feature extraction kernels (a) and corresponding histograms (b)

与模板匹配方法^[10]不同, 基于1-D CNN的卷积特征提取显著减少了对不同类型恒星光谱先验分布, 以及理论模板的计算需求。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 用1-D CNN识别WDMS光谱的交叉验证准确率Fig.4 Cross-validation classification accuracy of WDMS with 1-D CNN

在忽略光谱信噪比的情况下对WDMS进行识别实验后发现, 基于ALP的1-D CNN识别算法在标准WDMS光谱库中的识别准确率高达99.0%± 0.3%, 远高于在同等数据集中传统用于光谱识别的PCA+SVM, SSNN, RBF等算法, 克服了由于标准光谱抽样带偏引起泛化误差过大的问题。

将2.1小节中的14 000条实验光谱以3为步长划分为SNR≤ 3, 3< SNR≤ 6, 6< SNR≤ 9, 9< SNR≤ 12, 12< SNR≤ 15, SNR> 15六个区间, 初始化表1配置下的1-D CNN对六组光谱(包含WDMS和NEG)进行识别分类实验。

分别对六组光谱进行五折交叉验证, 计算在5次实验中的识别准确率均值作为衡量指标。

不同信噪比区间下的1-D CNN的识别准确率均值:

如图5所示, 当光谱SNR≤ 3时, WDMS信噪比对1-D CNN影响较大, 准确率均值为96.33%。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同信噪比区间的模型识别准确率Fig.5 Model validation accuracy in different SNR interval

当光谱3< SNR≤ 6时, 模型具有更高的稳定性, 准确性均值显著提高为98.7%。

当光谱6< SNR≤ 9, 9< SNR≤ 12, 12< SNR≤ 15, SNR> 15时, WDMS识别准确率提高, 且稳定在99%附近。

分析图5, 准确率在6< SNR≤ 9, 9< SNR≤ 12, 12< SNR≤ 15, SNR> 15四个区间趋于稳定, 故合并为一个区间SNR> 6, 并进一步在SNR≤ 3, 3< SNR≤ 6, SNR> 6三个区间分别进行10次五折交叉验证。

不同信噪比区间下的样本分布和1-D CNN的交叉熵误差(cross-entropy error):

进一步分析图6, 当光谱SNR≤ 3时, 1-D CNN在算法收敛前对WDMS信噪比具有较大的敏感性, 第一次迭代产生的交叉熵误差标准差高达0.5。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 实验光谱的信噪比分布和1-D CNN在不同信噪比区间的敏感度Fig.6 SNR distribution of experimental spectrum and the performance of 1-D CNN in different SNR interval

当光谱3< SNR≤ 6时, 模型具有更高的稳定性, 且误差均值远低于第一组实验。

当光谱SNR> 6时, 算法在误差均值和稳定性(标准差)方面都更加鲁棒(robust), 有效提高了WDMS识别准确率。