局部线性嵌入(locally linear embedding, LLE)是一种非线性降维的方法, 它运用局部线性关系的组合表示全局非线性结构, 从而达到对数据降维的目的^[7]。 该方法可以在低维空间内重构数据点并保持数据之间的邻近关系, 通过将高维冗余的非线性数据转化为保持原始结构的低维线性数据, 有效地解决了由于数据结构发生改变而导致的模型精度下降问题。

通常, LLE可以总结为三步^[8]:

首先, 为高维数据集X=[x₁, x₂, …, x_N]∈ R^{D× N}中的每个向量x_i根据两两之间欧氏距离找到k个近邻点;

然后, 利用每个数据点的近邻点计算其线性系数(即局部流形结构), 可表示为w_i=[ wi1, …, wij, …, wik]∈ R^{1× k}。 其映射函数为式(1)

wi=argminwi‖xi-∑j=1kwijxj‖2, s.t. ∑j=1kwij=1(1)

最后, 重建线性系数(w)以获得在低维空间的嵌入, 见式(2)。

minε(Y)=∑i=1N‖yi-∑j=1kwijyj‖2s.t. ∑i=1Nyj=0, 1N∑i=1NyiyTi=I(2)

最终得到低维数据集Y={y₁, y₂, …, y_n}, y_i∈ R^m。

LLE算法的参数优化处理分为两部分: 邻近点数k和嵌入维数d, 通常要求d小于k。 其中k是LLE算法中最重要的参数, k过小或者过大, 都将破坏输出向量的原始结构。

反向传播神经网络BPNN是一种受生物启发的计算方法, 用于对大规模非线性系统的建模^[9]。 该方法基于梯度下降(gradient descent)策略, 以目标的负梯度方向对参数进行调整^[10]。 BPNN具有自学习的特点, 于是该方法有较强的适应性和鲁棒性^[11], 被广泛使用在许多领域^{[12, 13]}, 如函数逼近、 模式识别、 图像处理、 预测及其他领域。 因实验用的光谱仪可以实现对水质的多参数测量, 因此选用了基于神经网络的多组分方法, 以验证在使用多组分方法时对单一成分浓度预测的精度。

通常模型可分为三层: 输入层、 隐藏层和输出层, 有一个隐藏层的BPNN是最常用的结构, 可以表示为图1。

隐藏层输出H

Hj=f(∑i=1nwijxj-aj) j=1, 2, …, l(3)

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 BPNN结构示意图Fig.1 Structure chart of BPNN

式(3)中f是隐藏层的激励函数。

整个网络的预测输出[见式(4)]

Ok=∑j=1lHjwjk-bk k=1, 2, …, m(4)

则网络的预测误差为式(5)

ek=Yk-Ok k=1, 2, …, m(5)

具体运算时, BPNN算法先将输入的训练样本提供给输入层神经元, 逐层将信号向前传递, 直至计算出输出层的结果; 然后计算输出层的误差, 将该误差反向传递给隐藏层的神经元; 最后由隐藏层神经元的误差再对权值和阈值进行相应调节。 循环该迭代过程, 直到达到终止条件为止。

选择决定系数(coefficient of determination, R²)和预测均方根误差(root mean square error of prediction, RMSEP)作为模型的评价指标, 二者呈正相关。 决定系数R²表现了模型的稳定性, 而RMSEP值可用来表征所建预测模型的预测性能, 其值越小表示该模型的预测精度越高, 其计算公式为式(6)。 其中 c̅i表示包括训练集和预测集所有样本c_i的均值, c_i是实际测量值, c˙i是通过模型预测的结果, m是用于检验模型的预测集样本数。

RMSEP=∑i=1m(c˙i-ci)2m(6)

首先配制不同浓度的溶液、 采集其光谱数据, 对数据进行简单的预处理, 包括去除暗背景、 扣除海水基底等, 以降低或者消除外界干扰对光谱产生的影响; 再采用LLE算法对光谱数据进行降维处理, 然后通过BPNN建立训练集样本浓度与光谱值关系的模型, 采用测试集样本进行浓度预测, 评价预测结果, 并与不降维而直接使用BPNN建模预测的结果进行比较。

实验中所使用的光谱仪为课题组自主研发的光谱分析仪样机, 采用了双光路主动校正和连续谱精细获取技术, 同时, 采用特征点邻域多波长位置实现大量程适应性调节, 避免了单波长无法实现多源误差综合校正补偿的缺陷, 并改善了传统单光路(无校准光路)在连续长时间业务应用时, 由光源的不稳定性引起的测量误差。 其探测器范围为: 180~1 100 nm, 光谱采样间隔约为0.45 nm, 因此测量将会产生2 048个波长点, 原理图如图2。 另外, 实验中采用了Ocean Optics公司生产的微型氘-钨卤UV-Vis-NIR光源 (型号: DT-MINI-2-GS)。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 双光路主动校正连续谱精细获取光谱仪原理图Fig.2 Schematic diagram of the dual optical path active correction continuous spectral fine acquisition spectrometer

采用硝酸钾(Sigma-Aldrich, Co.)、 过滤后的小麦岛附近较纯净的海水(即假设其不含硝酸盐)配制59个不同浓度的样本, 浓度范围为0.015 mg· L^-1。 在室温(23± 1) ℃条件下对配制水样进行透射光谱测量, 实验装置由光谱仪、 光源、 笔记本电脑组成, 采集时将配置好的溶液倒入比色皿中, 将比色皿放入两端分别连接光谱仪和光源的专用固定底座内。 对实验数据扣除暗背景影响并采用与过滤后的海水做基线校正, 将每个样本扫描10次, 取其平均值作为该浓度样本最终的测量值。 经处理后的光谱图如图3。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 59个样本的光谱图Fig.3 Spectra of 59 samples

从59个样本中等间隔选取10个作为测试集样本, 其余设置为训练集样本, 测试集的选取及编号如表1所示。

表1

Table 1

表1(Table 1)

表1 测试集样本浓度表 Table 1 Test set sample concentration table serial number Concentration /(mg· L-1) serial number Concentration /(mg· L-1) 1 0.03 6 2.4 2 0.09 7 3.0 3 0.6 8 3.6 4 1.2 9 4.2 5 1.8 10 4.8

表1 测试集样本浓度表 Table 1 Test set sample concentration table

由于仪器本身和环境的影响, 可能会使获得的光谱产生基线漂移, 合适的光谱预处理可以有效降低或者消除这些外界干扰对光谱产生的影响, 从而提高模型的预测精度和稳健性。 这里采用标准正态变换(standard normal variate, SNV)算法对光谱测量值进行处理, 其变换公式为式(7)

xij* =xij-x̅isi(7)

其中, i=1, 2, …, m, m为变量数(即波长点数); j=1, 2, …, n, n为样本数; x̅i为样本在第i个变量处光谱值的平均值, s_i表示样本在第i个变量处光谱值的标准差。

采用LLE的方法对预处理后的硝酸盐样本数据降维。 由于电脑内存限制, 在直接使用BP网络建模时, 选取了样本数据的前1 500个波长点(共2 048个), 其对应波长范围约为180870 nm。 为了与所提出的LLE-BPNN模型进行对比, 在使用LLE降维时将只选用这1500个波长点, 而后将LLE算法降维后的训练集数据作为BPNN的输入。 因此, 在进行LLE算法的参数优化时, 所选取的是59个样本数据的前1 500个波长点进行降维。

首先用网格搜索法结合十折交叉验证法优化LLE的两个参数k和d。 网格搜索法的优点是可以指定模型空间的范围, 并且平等的考虑所有可能的解决方案^[14]。 为了获得更精确的参数值, 参数优化的范围需要足够大同时步长需要足够小, 选定邻近点数k和嵌入维数d的搜索范围分别为[5, 20], [1, 20], 步长均为1。 将不同参数下LLE降维得到的59个样本数据当作BPNN的输入, 并进行十折交叉验证, 其预测结果的决定系数如图4。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 不同k值和d值时的LLE-BPNN预测的决定系数Fig.4 R2 of LLE-BPNN prediction with different k and d

其中, 当k=15, d=3时有最大的决定系数R²=0.996 7, 且满足k> d的条件。 故将这两个参数邻近点数k=15、 嵌入维数d=3代入LLE算法中, 对硝酸盐样本数据进行降维。

选取具有12个隐藏层节点的BP神经网络, 并设定最大训练次数1 000、 误差容限1× 10^-5。 最终得到直接使用BPNN对这10个样本的预测效果如图5(a), 相对误差(relative error, RE)如图5(b); 而通过LLE-BPNN计算的10个预测集样本的预测效果如图5(c), RE如图5(d)。 由图5可看出使用改进方法后, 对硝酸盐浓度的预测精度显著提高。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 (a) BPNN预测结果对比; (b)BPNN预测结果相对误差; (c) LLE-BPNN预测结果对比; (d) LLE-BPNN预测结果相对误差Fig.5 (a) BPNN prediction results comparison chart; (b) RE of BPNN prediction results; (c) LLE-BPNN prediction results comparison chart; (d) RE of LLE-BPNN prediction results

用这两种方法建模预测这十个测试样本后各评价指标如表2所示, 由表可以看出, 经LLE降维后的模型对10个测试样本预测效果较好。 在使用LLE降维后, R²增大且RMSEP减小, 说明建模的精度和稳定性相比仅使用BP网络建模得到了显著的提升。 比较两种方法计算的用时, 使用改进算法后用时仅为原来的1/650, 提高了算法的速度, 从而能更好地满足实时监测的业务需求。 以上分析表明采用LLE降维能够很好地保持数据的特征结构, 在去除大量冗余信息和噪声信息的同时, 优化了数据间的内在特征, 从而使得预测精度提高且预测时间减少。

表2

Table 2

表2(Table 2)

表2 两种方法预测硝酸盐浓度的评价 Table 2 Evaluation of nitrate concentration prediction by the two methods R2 RMSEP Elapsed time/s BP 0.926 3 0.442 5 327 LLE-BP 0.992 8 0.280 4 < 0.5

表2 两种方法预测硝酸盐浓度的评价 Table 2 Evaluation of nitrate concentration prediction by the two methods

实验验证了使用全部2 048个波长点进行LLE-BP建模并对比10个预测集样本预测的效果, 仍使用2.4中参数优化后的得到的最优参数, 即k=15, d=3, 其预测结果如图6(a), 相对误差如图6(b)。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 (a) LLE-BPNN预测结果对比(2 048个波段); (b) LLE-BPNN预测结果相对误差(2 048个波段)Fig.6 (a) LLE-BPNN prediction results comparison chart (2 048 bands); (b) relative error chart of LLE-BPNN prediction results (2 048 bands)

计算得到此时的R²=0.995 7, RMSEP=0.136 5, 相比仅使用其中1 500个波长点建模, 其预测精度又有所提升。 证明了本研究所提出的LLE-BPNN模型既能节约计算运行的时间, 同时使预测精度得到大幅度提升, 且对计算运行所需的内存要求较低, 适用于对硝酸盐浓度实时精确计算。