特征分层结合改进粒子群算法的近红外光谱特征选择方法研究

引用本文

徐宝鼎, 秦玉华, 杨宁, 高锐, 苑程程. 特征分层结合改进粒子群算法的近红外光谱特征选择方法研究[J]. 光谱学与光谱分析, 2019,39(3): 717-722.
XU Bao-ding, QIN Yu-hua, YANG Ning, GAO Rui, YUAN Cheng-cheng. Study on Feature Selection of Near Infrared Spectra Based on Feature Hierarchical Combining Improved Particle Swarm Optimization[J]. Spectroscopy and Spectral Analysis, 2019,39(3): 717-722.
Doi:10.3964/j.issn.1000-0593(2019)03-0717-06 复制到剪切板

Permissions

《光谱学与光谱分析》期刊社所有

特征分层结合改进粒子群算法的近红外光谱特征选择方法研究

徐宝鼎¹, 秦玉华², 杨宁¹, 高锐^3,^*, 苑程程¹

1. 中国海洋大学信息科学与工程学院, 山东青岛 266100

2. 青岛科技大学信息科学技术学院, 山东青岛 266061

3. 云南中烟工业有限责任公司技术中心, 云南昆明 650024

*通讯联系人 e-mail: gaorui177@163.com

作者简介: 徐宝鼎, 1990年生, 中国海洋大学信息科学与工程学院硕士研究生 e-mail: xbd991@163.com

收稿日期: 2018-01-18

基金: 国家重点研发计划项目(2016YFB1001103), 云南中烟工业有限责任公司项目(2017XX02, 2018JC01)资助

摘要

在近红外光谱数据定量建模中, 数据的高冗余和高噪严重影响了建模的稳健性和精确性, 因此提出了一种特征分层结合改进粒子群算法(PSO)的特征光谱选择方法。首先通过互信息度量特征的重要性得分, 并按特征的重要性降序排序, 有效避免了因采用降维方法得到主成分而引起的丢失重要信息的问题。其次, 引入了跳跃度概念, 并构造了一种特征分层的方法, 重要性程度相似的特征并入同一个特征子集, 将降序排列的特征集分割为不同的特征子集, 避免了筛选特征过程中因人为设定特征重要性得分阈值而导致的不确定性。最后, 采用收敛速度快、控制参数少的粒子群算法作为最优特征子集的优化方法, 同时对粒子群算法做了两方面改进: 引入混沌模型增加种群的多样性, 提高了PSO的全局搜索能力, 避免陷入局部最优; 将特征数目引入到适应度函数中, 在迭代前期通过惩罚因子调节特征数目对适应度函数的影响, 提高了算法的适应能力。将分层后的数据以特征子集为单位, 依次累加并作为改进粒子群算法的输入, 从而选择出高辨别力的特征子集。以烟碱指标为例进行了特征选择过程的描述, 实验采用尼高力公司的Antaris Ⅱ近红外光谱仪进行近红外光谱数据的采集, 光谱扫描范围为4 00010 000 cm^-1。首先, 利用互信息理论计算全光谱1 557个特征对待测指标定量建模的重要性得分, 得分取30次实验的均值。其次, 将所有特征按照重要性得分降序排序, 计算所有特征的跳跃度, 依据跳跃度寻找特征分层的临界点, 将特征划分到不同的特征层中, 构建了包含8个特征子集的特征集合 S={ S'₁, S'₂, S'₃, S'₄, S'₅, S'₆, S'₇, S'₈}。然后, 依次将特征子集 S'₁, { S'₁, S'₂}, { S'₁, S'₂, S'₃}, …, { S'₁, S'₂, S'₃, S'₄, S'₅, S'₆, S'₇, S'₈}作为初始粒子群的候选集, 以 R/(1+RMSEP)作为特征子集优劣的评价标准, 各自重复实验50次, 比值最大的特征子集即为最优特征子集。为验证该算法的有效性, 选取了具有代表性烟叶近红外光谱数据作为训练集和测试集, 建立了烟碱、总糖两个指标的PLS定量模型, 并分别与全光谱、分层后的特征光谱、粒子群算法选出的特征光谱进行了比较。仿真结果表明, 本算法所选特征烟碱、总糖的建模相关系数 r分别为0.988 5和0.982 2, 交互验证均方差RMSECV分别为0.098 4和0.889 3, 预测均方根误差RMSEP分别为0.100 7和0.901 6, 模型准确率均明显高于其他三种方法。从所选特征数来看, 该算法所选特征数最少, 有效剔除了原特征集中的弱相关和噪声、冗余信息, 所建模型的主因子数最少, 降低了模型的复杂性, 模型更加稳健, 适应性更广。

关键词: 特征选择; 特征分层; 跳跃度; 改进粒子群算法; 近红外光谱

中图分类号:O657.3 文献标志码:A

Study on Feature Selection of Near Infrared Spectra Based on Feature Hierarchical Combining Improved Particle Swarm Optimization

XU Bao-ding¹, QIN Yu-hua², YANG Ning¹, GAO Rui^3,^*, YUAN Cheng-cheng¹

1. College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China

2. College of Information Science and Technology, Qingdao University of Science and Technology, Qingdao 266061, China

3. China Tobacco Yunnan Industrial Co., Ltd., Technical Research Center, Kunming 650024, China

Abstract

In the quantitative modeling of near-infrared spectroscopy data, the high redundancy and high noise of the data severely affect the robustness and accuracy of the modeling. Therefore, this paper presents a feature-based spectroscopy combined with improved Particle Swarm Optimization (PSO) Method of choosing. First, we measure the importance score of each feature through mutual information, and then sort the features according to the importance of the features in descending order. This effectively avoids the problem of losing important information caused by using the principal component reduction method. Secondly, the concept of jump degree is introduced and a method of feature stratification is constructed. Similar features of similar importance are merged into the same feature subset, and the descending ordered feature set is segmented into different feature subsets, avoiding the screening uncertainty caused by artificially setting the score of feature importance score during feature process. Finally, the particle swarm optimization algorithm with fast convergence rate and few control parameters is used as the optimal feature subset optimization method. At the same time, particle swarm optimization is improved in two aspects: The chaotic model is introduced to increase the diversity of the population and improve the global searching ability of PSO, so as to avoid getting into local optimum. The number of features is introduced into the fitness function, and the influence of the number of features on the fitness function is adjusted by the penalty factor in the early iteration to improve the adaptability of the algorithm. The stratified data is collected as a feature subset and then added as a modified particle swarm optimization algorithm to select the high-resolution feature subset. In this paper, the nicotine index as an example of the feature selection process is described, using Nicolet company Antaris II near infrared spectrometer near infrared spectrum data acquisition, spectrum scanning range is 4 00010 000 cm^-1. First, we use the mutual information theory to calculate the importance score of 1 557 features of the whole spectrum on the quantitative modeling of the index to be measured, and take the average of 30 experiments. Secondly, all the features are sorted in descending order of importance scores to calculate the jumping degree of all the features. According to the jumping degree, the critical points of the feature stratification are searched, and the features are divided into different feature layers to construct a feature containing 8 feature subsets set S={ S'₁, S'₂, S'₃, S'₄, S'₅, S'₆, S'₇, S'₈}. Then, the feature subset is in turn { S'₁}, { S'₁, S'₂}, { S'₁, S'₂, S'₃}, …, { S'₁, S'₂, S'₃, S'₄, S'₅, S'₆, S'₇, S'₈} as a candidate for initial particle swarm. With R/(1+RMSEP) as the evaluation criteria of the pros and cons of feature subsets, each iterative experiment 50 times, the ratio of the largest feature subset is the optimal feature subset. In order to verify the effectiveness of this algorithm, we select representative tobacco near-infrared spectral data as a training set and a test set, establish a PLS quantitative model of nicotine and total sugar, and compare with the full-spectrum, stratified characteristic spectrum, particle swarm algorithm selected by the characteristic spectra. The simulation results show that the modeling correlation coefficients R of nicotine and total sugar selected by this algorithm are respectively 0.988 5 and 0.982 2, RMSECV of mutual verification are 0.098 4 and 0.889 3 respectively, RMSEP of prediction root mean square error are 0.901 6 and 0.100 7 respectively, Accuracy are significantly higher than the other three methods. From the selected number of features, the proposed algorithm has the least number of selected features, effectively eliminating the weak correlation and noise and redundant information in the original feature set, minimizing the number of main factors of the model and reducing the complexity of the model, and the model is steadier, more adaptable.

Keyword: Feature selection; Feature stratification; Jumping degree; Improved particle swarm optimization; Near infrared spectroscopy

文章图片

引言

近红外(NIR)光谱分析是化学计量学与光谱测量结合的绿色分析技术, 以其无损、高效、简便、高通量等特点越来越引人注目, 并在烟草、石油、食品等领域得到广泛应用^[1]。在烟草行业, 近红外技术主要用于定性识别不同类型、风格的烟叶和定量分析烟草中的常规化学成分^[2]。但在实际应用中, 近红外光谱具有高维、小样本特点, 样本数目一般为几十或上百, 而特征波长往往高达几千维, 其中含有大量与预测无关的冗余信息和噪声特征^[3]。冗余信息和噪声等因素不但影响建模的效率, 而且还会降低模型的稳健性和预测精度。因此, 如何从上千维特征中筛选与建模密切相关的特征就显得尤为关键。束茹欣等^[4]先用PCA对数据降维, 再用支持向量机(SVM)进行分类识别, 构建烟叶样品产地识别模型。但由于PCA是一种以最大方差理论为依据的降维方法, 方差小的主成分也可能含有对建模有用的信息, 因降维丢弃可能影响预测精度。陈孝敬等^[5]利用模拟退火(SA)算法进行特征筛选, 用最小二乘支持向量机(LS-SVM)作为识别器, 对三种品牌润滑油进行了识别。但模拟退火算法本身全局搜索能力不足, 易陷入局部最优。邹小波等^[6]将整个光谱等分为N个特征子区间, 对子区间利用遗传算法进行波长选择, 并构建了PLS定量模型, 取得了一定效果, 但特征子区间的选择导致部分相关性强的特征变量未被选择, 从而影响模型的适用性和准确性。

针对上述问题, 提出了特征分层结合改进粒子群算法^[7]的特征光谱选择方法。首先通过互信息^[8]度量特征的重要性得分, 有效避免了因采用降维方法得到主成分而引起的丢失重要信息的问题。其次, 为了避免在筛选特征过程中因人为设定特征重要性得分的阈值而导致的不确定性, 引入了跳跃度的概念并构造了一种特征分层的方法, 将重要性程度相似的特征并入同一个特征子集。最后, 采用收敛速度快、控制参数少的粒子群算法作为最优特征子集的优化方法, 同时为避免陷入局部最优, 提高算法的适应能力, 通过引入混沌模型和将特征数目引入到适应度函数中对粒子群算法进行了改进, 从而得出最优特征子集。

1 特征分层结合改进粒子群算法的近红外光谱特征选择算法

1.1 互信息

互信息(mutual information)用来衡量两个变量之间关系的强弱程度, 它表示一个随机变量中包含的关于另一个随机变量的信息量。给定两个随机变量X和Y, 它们之间的互信息I(X; Y)定义为

$I (X; Y) = \sum_{x \in X} \sum_{y \in Y} p (x, y) \log \frac{p (x, y)}{p (x) p (y)} (1)$

其中X和Y为设定的两个随机变量, p(x, y)为随机变量X和Y的联合概率分布。由定义知, 当变量X和Y相互独立或者完全无关时, X与Y的互信息最小为0, 这说明X和Y变量之间不存在相同的信息; 反之, 它们相互依赖程度越高, 互信息I(X; Y)的值就越大, 所包含相同的信息也越多。

由于实际应用中数据的真实概率分布通常未知, 所以计算互信息之前须先近似估计随机变量的概率密度分布。利用高斯核函数的性质近似估计变量的概率密度分布

$\dot{p} (x) = \frac{1}{n} \overset{n}{\sum_{i = 1}} G (x - x_{i}, Σ) (2)$

其中G(z, Σ )为高斯核函数, 即

$G (z, Σ) = \frac{1}{{(2 π h)}^{m / 2} |Σ |^{1 / 2}} \exp (- \frac{z^{T} Σ^{- 1} z}{2 h^{2}}) (3)$

变量X和Y的联合概率分布为

$\dot{p} (x, y) = {(\frac{1}{n})}^{2} \overset{n}{\sum_{i = 1}} \overset{n}{\sum_{j = 1}} G (xi - yj, Σ_{1} + Σ_{2}) (4)$

其中x_i为第i个样本数据, n为样本数, m为样本维度, Σ 为协方差矩阵。 Σ _i为第i个变量的协方差矩阵, 它们经常取相同值。

1.2 特征分层方法

因后续步骤要采用粒子群算法对重要性评分较高的特征子集进一步优化, 而重要性评分的高低是一个模糊的概念, 现有的方法需要相关工作人员根据经验人工设定特征重要性评分阈值, 以筛选掉大量的无关特征(重要性得分低的特征)。这种方法不仅要求工作人员具有相当丰富的经验, 而且效果很难达到最优。因此引入跳跃度的概念构造一种特征分层方法, 对特征集进行分层, 重要程度相似的特征并入同一层。

文献[9]给出跳跃度的概念: 设X₍₁₎, X₍₂₎, …, X₍_n_-1), X₍_n₎为来自总体分布F(x; θ )的样本容量为n的次序统计量, $\dot{u}$ k为仅依赖与X₍₁₎, …, X₍_k₎的期望u的点估计, 则称 $\frac{\dot{u} k + 1}{\dot{u} k}$ 为 $\dot{u}$ 在k点的跳跃度。

特征集S'按照重要性得分降序排列(v₁> v₂> v₃> …> v_n), 其中v_n(n∈ N)为对应特征的重要性得分值, 利用公式 $\dot{u} k = \frac{\overset{k}{\sum_{i - 1}} v_{i} + (n - k) v_{k}}{k}$ 计算 $t_{k} = \frac{{\dot{u}}_{k + 1}}{u_{k}}$ 。若t_k ((k≥ 2)小于前面((k-1)个特征点的跳跃度, 则v_k 为不同层之间的临界点, 将之前(k-1)个特征作为一个特征层U_1; 将去掉U_1后的剩余特征重复上述步骤, 计算出所有特征点的跳跃度, 直到所有特征分层为止。

1.3 改进粒子群算法

粒子群算法(particle swarm optimization, PSO)是Kennedy和Eberhart受人工生命研究结果的启发、通过模拟鸟群觅食过程中的迁徙和群聚行为而提出的一种基于群体智能的全局随机搜索算法^[10]。主要用来解决数据的组合优化问题。但是由于粒子群算法离散数据的优化处理不佳, 1997年Eberhart与Kennedy又提出了离散二进制粒子群算法(BPSO)用来解决离散数据的全局优化问题^[11], BPSO算法简单、高效, 但是存在易陷入局部最优等缺点。针对这些缺点作出了改进并进行了特征选择。

D维空间中, 有m个粒子, 其中第i个粒子表示为一个D维向量x_i=(x_i₁, x_i₂, …, x_iD)^T, i=1, 2, …, m, 即x_i为第i个粒子在D维空间中的位置(坐标), 每一个粒子的位置都可能是全局最优解。将x_i代入适应度函数计算出其适应度, 根据适应度的大小衡量x_i的优劣。第i个粒子的速度也是一个D维的向量, 记为v_i=(v_i₁, v_i₂, …, v_iD)^T。记第i个粒子迄今为止搜索到的最优位置为P_g=(p_g₁, p_g₂, …, p_gD)^T。那么根据式(5)和式(6)更新粒子的速度与位置

$\begin{array}{l} v_{id}^{n + 1} = ω v_{id}^{n} + c_{1} r_{1} (p_{id}^{n} - x_{id}^{n}) + c_{2} r_{2} (p_{gd}^{n} - x_{id}^{n}) (5) \\ x_{id}^{n + 1} = x_{id}^{n} + η v_{id}^{n + 1} (6) \end{array}$

其中ω 为惯性权重; c₁和c₂是学习因子或加速常数, 一般为正常数, 通常均设置为2; r₁和r₂是[0, 1]之间的随机数; η 为约束因子, 通常设置为1; n=1, 2, …为迭代次数。

上述算法只适用于连续问题的求解, 而对于离散问题则需要用离散二进制粒子群算法^{[12, 13]}来求解, 即BPSO算法: 粒子速度的更新方式不变, 将粒子位置的每一维分量仅用0或1表示(特征选择时, 0代表特征不选择, 1代表特征被选择)。根据速度的sigmoid函数控制粒子的位置更新

$\begin{array}{l} Sigmoid (t) = \frac{1}{1 + e^{- t}} \\ \{\begin{array}{l} x_{id} = 1, & rand < Sigmoid (v_{id}) \\ x_{id} = 0, & otherwise \end{array} (7) \end{array}$

对BPSO算法改进如下:

(1)引入混沌模型增加种群的多样性^[14]。传统粒子群算法随机初始化种群, 即x_id=rand> 0.5, 缺点是可能种群分布单一而导致粒子陷入局部最优。为了增加种群的多样性, 避免粒子群陷入局部最优, 本文在初始化种群的过程中引入了混沌模型, 初始化过程为

$\begin{array}{l} c_{r} = rand \\ x_{id} = \{\begin{array}{l} 4 c_{r} (1 - c_{r}) > 0.5 & otherwise \\ (c_{r} + 0.1 rand) > 0.5 & c_{r} = {0, 0.25, 0.5, 0.75} \\ (c_{r} - 0.1 rand) > 0.5 & c_{r} = 1 \end{array} (8) \end{array}$

(2)改进适应度函数。传统适应度函数设为

$F = R / (1 + RMSEP) (9)$

其中R为采用PLS算法建模交互验证的相关系数, RMSEP为预测均方根误差。

但是, 在解决实际问题中, 如果两个特征子集R/(1+RMSEP)相同, 则特征数目少的特征子集应该被选中。所以适应度函数要综合考虑R/(1+RMSEP)和特征维数(S), 在构造适应度函数时, 以特征维数的倒数为惩罚项, 引入α 作为R/(1+RMSEP)和特征维数之间的平衡因子。改进后的适应度函数如下

$F = (1 - α) \frac{R}{1 + RMSEP} + \frac{α}{S}$

其中

$α = \{\begin{array}{l} t / T, & t < T / 2 \\ 0.5, & t \geq T / 2 \end{array} (10)$

其中, t为当前迭代次数; T为迭代次数。

1.4 算法步骤

Step1: 基于互信息理论计算特征x(x∈ S_N)与预测结果y的重要性得分(特征与预测结果的相关性程度)v_n(n∈ N)并按得分降序排序, 得到排序后的特征集S'。其中N为特征总数, S_N为全体特征集合。

Step2: 将得到的排序后的特征集S'利用特征分层方法对特征进行分层。引入跳跃度作为临界点的评定指标, 将重要性程度相近的特征归为同一个特征子集, 避免在筛选特征过程中因人为设定特征重要性得分的阈值而导致的不确定性。得到分组后的特征集合可以表示为: S'={S'₁, S'₂, …, S'_k}。

Step3: 将Step2中得到的分组特征子集{S'₁, S'₂, …, S'_k}依次累加作为改进后的二进制粒子群算法(BPSO)的输入, 得到最优特征子集。具体先将特征重要性得分最高的特征子集S'1作为改进后二进制粒子群算法输入, 之后再依次累加一个重要性得分最高的特征子集, 直到特征集为S', 得到K个特征子集, 以此作为最优特征子集的候选集。

Step4: 用Step3中得到的K个最优特征子集的候选集分别建立待测指标的PLS定量模型, 以R/(1+RMSEP)作为特征子集优劣的评价标准, 选出比值最大的特征子集, 即为最优特征子集。

2 实验部分

2.1 数据来源

为保证实验的有效性, 采用某卷烟企业提供的具有代表性的268个烟叶样品, 随机选取其中的201个样品作为训练集, 剩余67个样品作为测试集。本实验烟叶的化学成分指标含量由权威机构根据常规化学分析方法测定。

2.2 近红外光谱数据采集和光谱预处理

外光谱数据采集选用尼高力公司的Antaris Ⅱ 近红外光谱仪, 光谱扫描范围为4 00010 000 cm^-1。将样品放置在60 ℃烘箱烘干4 h, 用旋风磨粉碎, 过40目筛, 样品常温下避光储存放在密封袋中。每个样品称重20 g, 将样品放置于干净的样品杯(小杯直径5 cm)中, 用压样器压实样品, 放入近红外光谱仪中扫描, 实验室温度在1825 ℃之间、湿度< 60%, 采用漫反射方式, 扫描样品杯底部7个不同位置光谱取平均值。为降低样品均匀性不一致等因素的影响, 每个样品均重复装样扫描三次, 计算三次扫描的平均值作为该样品光谱。

采用二阶导数加Norris(11)点平滑预处理方法, 以消除基线漂移、仪器随机误差和背景噪声等干扰对光谱数据的影响。

3 结果与讨论

为了验证本算法的有效性, 选取了烟碱、总糖两个指标分别进行实验。由于烟碱、总糖的特征选择过程相似, 以烟碱指标为例进行特征选择过程的描述。

3.1 特征重要性得分

选取4 00010 000 cm^-1作为建模谱段。首先, 利用互信息理论根据式(1)计算全光谱1 557个特征对待测指标定量建模的重要性得分。重复计算30次, 重要性得分取30次的均值, 所有特征重要性得分如图1所示。通常重要性得分越高的特征对定量模型的构建越重要。

	Figure Option View Download New Window
	图1 特征重要性得分图Fig.1 The importance score of the features

3.2 特征分层

将所有特征按照重要性得分降序排序, 计算所有特征的跳跃度, 依据跳跃度寻找特征分层的临界点, 将特征划分到不同的特征层中, 构建不同的特征子集。分层结果如图2所示, 图中黑圈代表了层与层之间的临界点。

	Figure Option View Download New Window
	图2 特征分层图Fig.2 Feature stratification diagram

由图2得知, 利用分层法把所有特征划分为8个特征子集, 特征重要性得分最高的子集记为S'₁, 次高的记为S'₂, 最低的记为S'₈。可得所有特征集合为S={S'₁, S'₂, S'₃, S'₄, S'₅, S'₆, S'₇, S'₈}。

3.3 最优特征子集

最后利用改进粒子群算法进行最优特征子集的选择, 具体步骤如下:

依次将特征子集S'₁, {S'₁, S'₂}, {S'₁, S'₂, S'₃}, …, {S'₁, S'₂, S'₃, S'₄, S'₅, S'₆, S'₇, S'₈}作为初始粒子群的候选集, 粒子群个数为8, 学习因子为c₁=c₂=2, ω 取值为0.1~0.6, 线性递减。适应度函数为式(10), 迭代次数K=100。本实验以F=R/(1+RMSEP)作为评价特征子集优劣的标准, F越大则所筛选出的特征子集越优。 8个粒子群各自重复实验50次, F值为50次的均值, 即 $F_{i} = \frac{1}{50} \overset{50}{\sum_{j = 1}} F_{ij}$ 。其中i为粒子群的标号, j为实验次数。

所有粒子群的F值如表1所示。

表1 特征子集与F关系表 Table 1 The relationship of feature subsets and F

由表1得知, 随着重要性得分较高的样品特征子集依次加入, F不断变大, 直到样品的特征子集为{S'₁, S'₂, S'₃, S'₄}时, F达到最大, 当特征子集继续增加时, F随着特征子集的增加而减小。由此可见, 随着重要性得分相对较低的特征子集加入, 光谱数据的噪声特征和冗余信息随之增加, 从而导致F减小。所以, 特征子集{S'₁, S'₂, S'₃, S'₄}经BPSO筛选后得到的143个特征波长即为最优特征子集。

3.4 性能对比

为验证本算法的有效性, 分别以全光谱、粒子群算法筛选出的特征集合、特征子集{S'₁, S'₂, S'₃, S'₄}(烟碱)、 {S'₁, S'₂, S'₃}(总糖)和本文算法筛选出的最优特征集合, 构建烟碱、总糖赘标的PLS定量模型。以相关系数(r)、交互验证均方差(RMSECV)和预测均方根差(RMSEP)作为模型的评价指标, 结果如表2和表3所示。

表2 不同特征子集烟碱模型性能对比 Table 2 Performance contrast of nicotine model with different feature subsets

表3 不同特征子集总糖模型性能对比 Table 3 Performance contrast of total sugar model with different feature subsets

由表2和表3可以看出, 本算法所选特征建模相关系数r最高, RMSECV和RMSEP最低, 模型准确性均较其他方法高。从所选特征数来看, 本算法所选特征数最少, 有效剔除了原特征集中的弱相关和噪声、冗余信息, 所建模型的主因子数最少, 降低了模型的复杂性, 模型更加稳健, 适应性更广。

4 结论

特征分层结合改进二进制粒子群算法的近红外光谱波长选择算法有效的提高了模型的稳健性和预测精度。该算法融合了互信息的高效与改进后粒子群算法全局搜索的优点, 有效选出了相关性高的建模特征。同时, 通过对特征集分层, 依次累加作为改进粒子群的输入, 避免了依靠经验设置重要性得分阈值, 为粒子群的初始化提供了质量保证。实验结果表明, 本文算法所建模型精确性高, 稳健性好, 因子数少, 模型更加简单。该方法可为烟草质量检测与质量分析领域提供科学依据, 同时对近红外定量分析模型的建立具有普遍的参考意义。

The authors have declared that no competing interests exist.

参考文献

文献列表

[1]	YUAN Tian-jun, WANG Jia-jun, ZHE Wei, et al(袁天军, 王家俊, 者为, 等). Chinese Agricultural Science Bulletin(中国农学通报), 2013, 29(20): 190. [本文引用:1]
[2]	QIU Jun, ZHANG Huan-bao, SONG Yan, et al(邱军, 张怀宝, 宋岩, 等). Chinese Tobacco Science(中国烟草科学), 2008, 29(1): 55. [本文引用:1]
[3]	QIN Yu-hua, DING Xiang-qian, GONG Hui-li(秦玉华, 丁香乾, 宫会丽). Infrared and Laser Engineering(红外与激光工程), 2013, 42(5): 1355. [本文引用:1]
[4]	SHU Ru-xin, SUN Ping, YANG Kai, et al(束茹欣, 孙平, 杨凯, 等). Tobacco Science and Technology(烟草科技), 2011, (11): 50. [本文引用:1]
[5]	CHEN Xiao-jing, WU Di, YU Jia-jia, et al(陈孝敬, 吴迪, 虞佳佳, 等). Acta Optica Sinica(光学学报), 2008, 28(11): 2154. [本文引用:1]
[6]	ZOU Xiao-bo, ZHAO Jie-wen (邹小波, 赵杰文). Acta Optica Sinica(光学学报), 2007, 27(7): 1316. [本文引用:1]
[7]	LIU Xin, YU Sui-huai, CHU Jian-jie, et al(刘昕, 余隋怀, 初建杰, 等). Computer Engineering and Applications(计算机工程与应用), 2015, 51(7): 1. [本文引用:1]
[8]	TANG Shi-wei, LIU Xian-mei(唐世伟, 刘贤梅). Information Theory(信息论). Harbin: Harbin Engineering University Press(哈尔滨: 哈尔滨工业大学出版社), 2009. [本文引用:1]
[9]	ZHANG De-ran(张德然). Statisitical Research(统计研究), 2003, (5): 53. [本文引用:1]
[10]	Kennedy J, Eberhart R C. International Conference On Neural Networks, 1995. 1942. [本文引用:1]
[11]	Kennedy J, Eberhart R C. International Conference On Systems, Man, And Cybernetics, 1997. 4104. [本文引用:1]
[12]	YANG Rui-qing, LIU Guang-yuan(杨瑞请, 刘光远). Computer Science(计算机科学), 2008, 35(3): 137. [本文引用:1]
[13]	Mahdiyeh Eslami, Hussain Shareef, Azah Mohamed. Journal of Central South University of Technology, 2011, 18: 1579. [本文引用:1]
[14]	LI Ce, WANG Bao-yun, GAO Hao(李策, 王保云, 高浩). Computer Technology and Development(计算机技术与发展), 2017, 27(4): 89. [本文引用:1]

2013

0.0

... 引言近红外(NIR)光谱分析是化学计量学与光谱测量结合的绿色分析技术, 以其无损、高效、简便、高通量等特点越来越引人注目, 并在烟草、石油、食品等领域得到广泛应用^[1] ...

2008

0.0

... 在烟草行业, 近红外技术主要用于定性识别不同类型、风格的烟叶和定量分析烟草中的常规化学成分^[2] ...

2013

0.0

QIN

Yu-hua

, DING

Xiang-qian

, GONG

Hui-li

(秦玉华, 丁香乾, 宫会丽). Infrared and Laser Engineering(红外与激光工程), 2013, 42(5): 1355.

With regard to the large number of irrelevant and redundant features exist in the near infrared spectra, a novel feature selection method based on random forest and principal component analysis (RF-PCA) was proposed in this paper. By using the RF-PCA, a classification model of cigarettes qualitative evaluation was developed and also compared with other methods. The result shows that RF-PCA effectively classifies the samples of high dimensional data and can be used to evaluate quality and authenticity of the cigarettes. RF feature selection removes irrelevant features of the classification, while PCA further eliminates the influence of redundant features and also reduces the feature dimensionalities. The experiments show that RF-PCA effectively removes noise and redundant features in the NIR spectra and the classification accuracy is improved as well.

1. College of Information Science and Engineering, China Ocean University, Qingdao 266100, China; 2. College of Information Science and Technology, Qingdao University of Science and Technology, Qingdao 266061, China

针对卷烟近红外光谱高噪和高冗余特点，提出了一种基于随机森林（RF）和主成分分析（PCA）的特征优选方法RF-PCA，建立了5种不同质量级别卷烟的分类模型，并和其他方法进行了比较。该方法能够有效地对高维数据样本进行分类，用于甄别卷烟品质真伪。特征选择可以过滤与分类不相关的特征，而通过PCA方法可以消除冗余特征的不良影响，并可进一步降低特征维数。实验表明：RF-PCA方法能有效地剔除近红外光谱数据中的噪声特征和冗余特征，提高了分类效率。

... 但在实际应用中, 近红外光谱具有高维、小样本特点, 样本数目一般为几十或上百, 而特征波长往往高达几千维, 其中含有大量与预测无关的冗余信息和噪声特征^[3] ...

2011

0.0

... 束茹欣等^[4]先用PCA对数据降维, 再用支持向量机(SVM)进行分类识别, 构建烟叶样品产地识别模型 ...

2008

0.0

... 陈孝敬等^[5]利用模拟退火(SA)算法进行特征筛选, 用最小二乘支持向量机(LS-SVM)作为识别器, 对三种品牌润滑油进行了识别 ...

2007

0.0

... 邹小波等^[6]将整个光谱等分为N个特征子区间, 对子区间利用遗传算法进行波长选择, 并构建了PLS定量模型, 取得了一定效果, 但特征子区间的选择导致部分相关性强的特征变量未被选择, 从而影响模型的适用性和准确性 ...

2015

0.0

LIU

Xin

, YU

Sui-huai

, CHU

Jian-jie

, et al(刘昕, 余隋怀, 初建杰, 等). Computer Engineering and Applications(计算机工程与应用), 2015, 51(7): 1.

The process of the airplane cockpit ergonomic layout optimization has particularity and complexity, it is necessary to propose a proper method to optimize and to improve efficiency. Based on the principle of grouping and ranking as well as the multi-objective optimization method, to find the optimal values of highly nonlinear functions and to avoid obtaining partial optimal solutions only, the particle swarm optimization and the improved are adapted at the first time to develop the new method of the ergonomic layout optimization in three-dimension which is suitable for our country pilots. Firstly, since the number of facilities to be arranged is large, based on Kendall’s W, the groups and sequences of them are determined approximately. Secondly, the optimal values are found by sequence to set up the most optimal scheme by compromise. The improved particle swarm optimization is compared with some typical optimization methods, such as the basic one. Lastly, the computer simulation is used, and the optimized solution is analyzed and compared to the original one by JACK. The results indicate that the airplane cockpit ergonomic layout optimization method is feasible and effective.

The Key Laboratory of Contemporary Design and Integrated Manufacturing Technology of Ministry of Education, Northwestern Polytechnical University, Xi’an 710072, China

飞机驾驶舱在人机布局优化过程中具有显著的特殊性和较高的复杂性，因而有必要采取合适的优化程序和优化方法以提高优化效率。利用组合排序方法，结合多目标优化问题的求解思路，建立了高度非线性的目标函数，为避免陷入局部最优，将粒子群算法首次引入飞机驾驶舱的三维布局分析中，并引用改进粒子群算法，提出了适合我国飞行员标准的人机布局优化新方法。由于待布物数量较多，基于Kendall’s W确定了待布物的大致组合排序；利用改进粒子群算法依次求得待布物的最优解，彼此协调后，获得了优化布局新方案，并与基本粒子群算法等现有典型优化算法的优化效果进行了对比；对布局方案进行了计算机仿真，利用JACK对优化方案和原方案进行了对比分析，验证了该优化方法在解决飞机驾驶舱人机布局优化问题的可行性和有效性。

... 针对上述问题, 提出了特征分层结合改进粒子群算法^[7]的特征光谱选择方法 ...

2009

0.0

... 首先通过互信息^[8]度量特征的重要性得分, 有效避免了因采用降维方法得到主成分而引起的丢失重要信息的问题 ...

2003

0.0

ZHANG

De-ran

(张德然). Statisitical Research(统计研究), 2003, (5): 53.

... 文献[9]给出跳跃度的概念: 设X₍₁₎, X₍₂₎, …, X₍_n_-1), X₍_n₎为来自总体分布F(x ...

1995

0.0

... 3 改进粒子群算法粒子群算法(particle swarm optimization, PSO)是Kennedy和Eberhart受人工生命研究结果的启发、通过模拟鸟群觅食过程中的迁徙和群聚行为而提出的一种基于群体智能的全局随机搜索算法^[10] ...

1997

0.0

... 但是由于粒子群算法离散数据的优化处理不佳, 1997年Eberhart与Kennedy又提出了离散二进制粒子群算法(BPSO)用来解决离散数据的全局优化问题^[11], BPSO算法简单、高效, 但是存在易陷入局部最优等缺点 ...

2008

0.0

... 上述算法只适用于连续问题的求解, 而对于离散问题则需要用离散二进制粒子群算法^[12,13]来求解, 即BPSO算法: 粒子速度的更新方式不变, 将粒子位置的每一维分量仅用0或1表示(特征选择时, 0代表特征不选择, 1代表特征被选择) ...

2011

0.0

2017

0.0

... (1)引入混沌模型增加种群的多样性^[14] ...