决策表最优特征子集的选择--基于粗集理论的启发式算法

特征子集选择问题是机器学习的重要问题。而最优特征子集的选择是NP困难问题,因此需要启发式搜索指导求解。基于粗集理论,本文提出了一种新的决策表最优特征子集选择的启发式算法。和以往的方法相比,这种算法简单实用,在一定条件下能够以较高的效率得到最优特征子集。     

基于新冗余度的特征选择方法

现有过滤式特征选择模型采用贪心策略结合互信息评价特征子集,容易陷入局部最优陷阱.考虑标签信息对冗余度的影响,利用一种改进的MIFS-U方法在给定标签的条件下衡量冗余度,采用基于分解的多目标优化框架结合引入多项式突变的差分进化算子进行全局搜索,避免搜索陷入局部最优.引入l₁正则化项来保证特征子集的稀疏性,并提出了新的特征选择算法MOEA/D-DEFS.实验阶段使用knn-5分类器来验证学习效果,并在多组来自不同领域的数据集上进行测试.结果表明,将特征选择视为多目标问题采用全局搜索策略搜索可以在特征子集维度和分类准确性方面提供更好的性能.     

生物信息学中的特征选择

回顾了特征选择的主要原理及其在生物信息学中的最新应用。我们将特征选择看作组合优化或搜索问题,将特征选择法分为穷举搜索法、启发式搜索法以及混合法,其中启发式搜索法可以被进一步分为是否结合数据特征重要程度的排序,这样比常规对特征选择方法以滤波、封装和嵌入式的分类更为合理。     

粗集中属性约简的一种启发式遗传算法

为了获得决策系统中属性最小相对约简，将信息论角度定义的属性重要性度量作为启发式信息引入遗传算法，提出了一种启发式遗传算法。通过构造一个新的算子来引入启发式信息，使得选择的属性子集的分类能力不变。该算子体现了一种利用启发式信息的局部搜索技术，使得算法既保持整体优化特性，又具有较快的收敛速度。从理论上对算法作了分析，对新算子所能选择属性子集的分类能力不变作了证明。最后的实例表明，该算法能有效地对决策系统进行最大程度的约简。     

基于免疫克隆选择算法的特征选择

提出了一种基于免疫克隆选择算法的特征选择方法．特征选择可以被看成是一个组合优化问题,利用免疫克隆选择算法快速收敛于全局最优的特性,加快搜索到最优特征子集的速度,为后续模式分类提供良好的判别依据．实验结果表明算法在保持甚至提高分类精度的同时,有效地降低了特征维数．与基于遗传算法特征选择的结果相比较,在有限代数内,该算法能收敛到更优的特征子集,从而验证了算法的有效性及其应用潜力．     

评估子集类区分能力的特征选择方法

为了克服Relief选择前k个特征作为约简子集所存在的原始特征空间中的近邻在约简后的特征子空间中不一定还是近邻的问题,提出了一种在特征子空间中评价候选特征子集类别区分能力的方法,并结合最好优先特征搜索策略提出了一种新的特征子集选取方法.在12个UCI(加州大学欧文分校)数据集和1个老年痴呆实测数据集上,就约减能力对所提方法与其他3种经典特征选择方法进行了比较,并用决策树、逻辑回归模型详细比较了分类效果.实验结果表明:所提方法不仅能够选出特征数目较少的特征子集,而且特征子集的分类效果良好.     

基于样本划分的启发式遗传BP算法

遗传算法作为一种模拟生物遗传进化过程的随机搜索算法,具有并行和全局搜索能力、不要求函数可导等特点,在神经网络学习中得到广泛应用.合理选择初始群体和控制搜索的盲目性,有利于提高算法的效率.为此,提出了一种新的神经网络学习算法--基于样本划分的启发式遗传BP算法.该方法对神经网络学习样本进行划分,形成样本子集.初始群体通过在样本集类上训练神经网络而获得.这些初始网络中包含了关于样本子集的有用信息,根据模式定理,能通过遗传算法保留和加强.此外,提出并证明了关于样本集类及其BP训练的几个代数性质,结合子空间划分进行启发式搜索,以克服搜索的盲目性.对上述方法进行仿真实验,迭代次数和误差较小,表明本学习算法是切实可行的.     

基于邻域熵与蚁群优化的基因选择算法

针对基因表达数据集的基因选择问题,采用邻域熵度量与蚁群优化原理,提出一种基因选择方法.首先,引入邻域粗糙集模型对基因数据进行邻域粒化,定义邻域熵度量用于剔除冗余基因构成预选择基因子集;然后,采用邻域熵构造基因重要度作为启发式信息,发挥蚁群优化算法的分布式、正反馈及全局寻优的优势,运用蚁群优化算法从预选择基因子集中搜索出最小基因子集;最后,在选取的最小基因子集上进行分类测试.实验表明:建立在该最小基因子集上的分类器具有良好的分类性能.     

基于集成特征选择策略的基因共表达模式识别

为有效识别内含子 miRNA 及其宿主基因共表达模式, 提出了一种基于集成特征选择的识别方法。 首先 使用基于支持度的集成特征选择算法, 获取相关性和稳定性较高的特征子集, 再使用封装式特征选择方法结合 FCBF(Fast Correlation-Based Filter)搜索策略进一步去除冗余特征和弱相关的特征, 获得最优的特征子集。 实验 结果表明, 该方法融合了多个特征选择方法的优点, 能提高学习模型的泛化能力并能有效识别内含子 miRNA 及其宿主基因的共表达模式。     

一种新的基于决策熵的决策表约简方法

分析了在知识约简过程中经典粗糙集理论决策表知识约简方法的不足。以知识粗糙熵为基础,将一致和不一致对象分开,提出决策熵的概念及其属性重要性,在此基础上给出约简的判定定理;然后以条件属性子集的决策熵来度量其对决策分类的重要性,提出一种新的知识约简启发式方法。理论分析和实验结果表明,基于决策熵的属性重要性是一种更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优约简。