XGBoost启发的双向特征选择算法

针对特征选择过程中特征评价指标单一性的问题, 基于集成学习中的极端梯度提升算法, 提出一种新的特征选择算法. 该算法首先应用极端梯度提升算法中构建集成树模型的指标作为特征选择的特征重要性度量指标, 然后利用一种新的双向搜索策略, 权衡了多种特征重要性对结果的影响, 并优化了评价过程的效率. 通过11个不同维度的标准数据集进行测试, 实验结果表明, 该算法能增加特征子集的多样性, 加快特征选择的速度, 并在中维和低维数据集上均具有较高的计算效率, 且能处理高维数据集.     

基于LightGBM的特征选择算法

为解决过滤式和基于演化学习的包裹式两类特征选择算法的缺陷,提出一种新型包裹式特征选择算法LGBFS(LightGBM feature selection).首先引入LightGBM对原始特征构建迭代提升树模型并对特征重要度进行度量;随后结合提出的LR序列前向搜索策略LRSFFS对特征进行选择;最后将所提出算法与9种对比算法在21个标准数据集上进行对比,结果显示LGBFS在21个标准数据集中的16个取得最优分类精度、18个取得最优维度缩减率和最优CPU运行时间.还进行了时间复杂度分析与显著性检验,检验表明LGBFS相较6种对比算法具有显著性差异,也说明LGBFS能够同时兼顾特征子集的计算效率和分类精度.     

量子化信息素蚁群优化特征选择算法

蚁群优化算法凭借其正反馈机制和强大的搜索能力被广泛地应用于各类优化问题求解上.本文试图将蚁群优化算法应用于特征选择领域并提出了新的量子化信息素蚁群优化(quantized pheromone ant colony optimization, QPACO)特征选择算法.相比于其他基于蚁群优化算法的特征选择算法,QPACO算法中采用了量子化信息素的启发式策略,改变了传统的信息素更新策略,因此避免了在搜索特征时的局部最优问题.实验采用了KNN分类器来指导学习过程,利用源于UCI数据库的多组数据集进行了相关的测试,实验结果表明,QPACO算法在分类精度、精确率、召回率和维度缩减率等方面均具有良好的性能.