基于自适应流形正则化自表示的无监督特征选择算法

针对基于流形正则化自表示(MRSR)的无监督特征选择算法直接从原始的样本空间构造相似矩阵可能会 导致重构空间中样本的相似性描述得不够准确的问题,提出了基于自适应流形正则化自表示的无监督特征选择 (AMRSR)算法。 基于自适应流形正则化自表示的无监督特征选择算法在 MRSR 算法的基础上通过对相似矩阵施 加概率最近邻约束将相似矩阵的学习嵌入到优化过程中,在重构空间中自适应地学习样本的相似性,使得在每一 次迭代中获取更加精确的样本局部几何流形结构,从而选择具有代表性且保持局部几何流形结构的特征。 最后, 在四个公开数据集上进行了大量的对比实验,通过将算法的特征选择结果用于 K-means 聚类并采取两种常见的聚 类评价指标:聚类精确度和归一化互信息评价聚类效果。 实验结果表明,AMRSR 算法与现有的一些算法相比有更 高的聚类精确度和归一化互信息,进一步表明该算法特征选择效果更好。     

采用邻域决策分辨率的特征选择算法

针对目前基于粗糙集模型的特征选择算法无法直接应用于数值型数据、必须经过离散化过程而造成决策信息丢失的问题,提出了一种基于邻域决策分辨率的特征选择算法。该算法根据邻域信息粒中决策分布与其分类能力间的关系,提出了邻域决策确定性(Nc)来衡量单个信息粒的决策分辨能力;并根据特征向量空间上所有信息粒所具有的Nc累加值,定义了邻域决策分辨率作为特征子集上决策可分辨性的量度,从而将名义型和数值型数据统一在同一特征选择算法框架下。仿真实验和实际应用的结果表明,该算法性能优于目前主流基于邻域粗糙集的特征选择方法。     

一种基于信息增益的新垃圾邮件特征选择算法

基于传统信息增益特征选择算法,通过提出类内分散度与类间集中度的概念,结合传统信息增益算法,解决了信息增益算法因忽略特征项的分布而导致的性能下降问题,提高了信息增益算法的效率.使用改进的特征选择算法进行垃圾邮件过滤实验,在不同的分类器下,与传统的特征选择算法进行对比,实验结果表明,改进的特征选择算法性能较优.     

基于样本差异性的多标记特征选择算法

在多标记学习中,特征空间的高维性是多标记学习研究的主要问题。文章通过聚类构建由代表性样本组成新多标记数据,定义了多标记决策系统中样本的分类间隔及样本的差异性概念,在此基础上定义了特征权重,提出一种基于样本差异性的多标记特征选择算法,并用4个指标对4个多标记数据集进行实验评价,对比一些当前流行的特征选择算法,验证了本文所提算法的有效性。     

基于层次粒化的特征选择算法

许多实际应用问题中,特征空间存在着层次粒化结构.首先,提出基于核方法度量的层次聚类来对特征空间进行层次粒化.其次,在层次粒化后的各个子空间上,基于邻域互信息考量特征和标记间最大相关以及特征与特征间最小冗余性,在某一指定的层次上对特征进行排序.在此基础上,选择各个子空间具有代表性的部分特征,组成最终的特征子集.最后,在6个UCI数据集和2个不同基分类器上的实验表明所提算法的有效性.     

基于密度聚类和样本加权信息熵的特征选择算法

特征选择是机器学习和模式识别领域中的一个重要问题.本文提出一种非监督的特征选择算法,称为基于密度聚类和样本加权信息熵的特征选择算法(DCWIE).不同于传统的基于信息熵的特征选择算法,DCWIE使用一种加权的信息熵计算方法,增加对分类贡献大的样本的权值,并通过与聚类结合,实现无监督学习.实验结果表明了本文算法的有效性.     

面向非平衡数据的大间隔近邻Relief算法

Relief算法对于数据重叠区域的样本分类较为困难,通过人为剔除分类边界的样本来缓解干扰数据对于分类性能的影响。在非平衡数据中,重叠区域包含着为数不多的少数类样本,简单地剔除干扰数据可能会造成信息的丢失。针对这一问题,文章提出了一种面向非平衡数据的大间隔近邻Relief算法,该算法首先结合K-means,提供了两种多数类样本的欠采样方案,以获得较为平衡的新采样数据集。然后利用SVM计算新数据集中最具判别性的方向,并依此设计了一种基于大间隔的近邻计算方式,从而尽可能避开干扰数据。在6个非平衡数据集上的实验表明,在现有代表性算法的基础上,文章提出的算法仅利用31%～57%数量的特征即可达到相当或更高的分类性能。     

基于粒度和信息熵的并行支持向量机算法

针对大数据环境下并行支持向量机(support vector machine,SVM)算法存在噪声数据较敏感、训练样本数据冗余等问题,提出基于粒度和信息熵的GIESVM-MR(the SVM algorithm by using granularity and information entropy based on MapReduce)算法.该算法首先提出噪声清除策略(noise cleaning,NC)对每个特征属性的重要程度进行评价,获得样本与类别之间的相关度,以达到识别和删除噪声数据的目的;其次提出基于粒度的数据压缩策略(data compression based on granulation,GDC),通过筛选信息粒的方式保留类边界样本删除非支持向量,得到规模较小的数据集,从而解决了大数据环境下训练样本数据冗余问题;最后结合Bagging的思想和MapReduce计算模型并行化训练SVM,生成最终的分类模型.实验表明,GIESVM-MR算法的分类效果更佳,且在大规模的数据集下算法的执行效率更高.     

基于信息损失量的特征选择方法研究及应用

通过研究特征变量与类变量的信息测度和特征子集与类变量之间信息测度计算方法,实现快速的特征选择。将基于扩展熵的信息损失量测度用于度量类变量之间的相关性。为避免计算联合互信息的复杂计算,提出了基于信息损失量的变量相关度增加量计算方法,在保证新增特征可提供更多信息量前提下,同时提高特征选择的速度。最后对UCI的3种分类数据集进行实例分析,利用支持向量机对选择的特征子集进行分类验证,并将分类结果与其它常用特征选择方法进行了比较。结果表明所提出的特征选择方法比现有的特征选择方法更有效。     

基于粒计算的商业数据流概念漂移特征选择

商业数据流具有动态性、漂移性等特性,概念漂移特征选择是数据流挖掘的重要工作之一.本文从数据流的特点和概念漂移特性出发,提出了数据流的概念形式化分析流程和基于粒计算构建数据流的概念形式化描述模型;商业数据流的概念漂移实际上取决于其概念外延的变化,文中使用包括外延偶合度和内涵偶合度在内的概念偶合度来描述概念间的相似性;经过粒化的数据流由概念格来表示,进而通过概念格对的松弛偶合度来分析数据流特征;结合概念偶合分析和数据流变化特征,阐述了一种基于数据流概念格对的松弛匹配偶合度算法,并据此分析概念格对来选择数据流的漂移特征.通过实例验证、评价了特征选择,证明其有效性.     

基于特征空间变换与LSTM的中短期电煤价格预测

针对电煤价格影响因素多且非线性多时间滞后难以建模的问题,提出一种基于特征变换与LSTM的数据驱动的中短期电煤价格预测方法.为了充分挖掘海量数中蕴含的电煤价格规律,提出不同时间尺度颗粒度信息的特征变换方法;为解决多变量少样本造成过拟合,基于卡方分析和相关系数筛选中短期煤价的主要影响因素;以LSTM神经网络为基础,采用特征平移相关性分析方法确定不同影响特征序列的滞后性,通过主层次分析法优化模型中的信息冗余,在此基础上形成基于特征趋势的深度学习模型;利用多年历史数据及与多种模型的对比分析可知本文模型的有效性与准确性.     

基于矩阵策略的不完备混合型数据增量式特征选择算法

特征选择是粗糙集理论在数据挖掘等领域中一种重要的应用,如何对动态变化的信息系统进行增量式特征选择是目前粗糙集理论研究的重点。在不完备混合型信息系统中,属性集的不断增加是信息系统动态变化的一种重要形式。首先在不完备混合型信息系统中引入邻域条件熵的概念,并且利用矩阵的方法去表示邻域条件熵;然后针对属性集动态增加的情形,提出矩阵形式的邻域条件熵增量式更新,并且基于这种增量式更新机制给出了相应的增量式特征选择算法;最后,UCI数据集的实验结果表明,所提出的增量式特征选择算法比非增量式特征选择算法具有更高的特征选择性能。     

基于多粒度认知的命名实体识别方法

在数据匮乏的领域,命名实体识别效果受限于欠拟合的字词特征表达,引入常规的多任务学习方法可以有所改善,但需要额外的标注成本.针对这一问题,提出了一种基于多粒度认知的命名实体识别方法,在不产生额外标注成本的前提下,增强字特征信息,提高命名实体识别效果.该方法从多粒度认知理论出发,以BiLSTM和CRF为基础模型,将字粒度下的命名实体识别任务与句子全局粒度下的实体数量预测任务相联合,共同优化字嵌入表达.三个不同类型的数据集上的多组实验表明,引入多粒度认知的方法有效地提升了命名实体识别效果.     

结合邻域信息和标记相关性的在线多标记流特征选择算法

现有大多数多标记流特征选择算法在进行特征选择时,往往忽略标记间的相关性,易导致算法预测精度的下降。为解决这一问题,提出一种结合邻域信息和标记相关性的在线多标记流特征选择算法;定义自适应邻域关系解决邻域粗糙集的粒度选择问题,将其推广到多标记学习中;利用互信息计算标记间的相关性得到标记权重;通过邻域粗糙集和标记权重评估特征和标记间的相关性,并设计特征在线重要度分析、在线相关性分析和在线冗余度分析3种指标,以实现在线评价动态候选特征。在7组多标记数据集以及5个评价指标上的实验结果表明,所提算法综合性能较优。     

基于最大间隔的支持向量机特征选取算法研究

支持向量机(Support Vector Machine,简称SVM)是一种有效分类方法.不同特征选取算法对分类器影响不同,结合支持向量机特点,提出了一种基于最大间隔的支持向量机特征选取算法.利用该算法,对Iris测试数据集进行了特征选取并仿真,实验结果表明,该算法不但能够有效去除噪音数据,而且提高了分类器推广与泛化能力.     

基于双粒度模型的中文情感特征词提取研究

为了能够快速准确地提取出海量文本信息中的情感特征词,提出从情感词语集中通过人工筛选得到种子词并对其情感强度赋值,同时,以这些种子词为基准计算出情感词语集中其他词语的情感强度值,从而得到各特征词在词语级及句子级的倾向性贡献度值。然后,将特征词在词语级、句子级这2种不同粒度情况下计算出的情感倾向性贡献度值有机结合起来,构造出基于双粒度模型的中文情感特征词提取模型。该提取方法考虑了特征词在词语级和句子级2个方面的情感倾向,使最终提取出的情感词的准确率得到了提高。实验表明,只要有一个全面的情感词典系统和一组准确恰当的种子词,提出的方法可以获得良好的准确率和召回率。     

基于乌鸦搜索算法的新型特征选择算法

基于元启发式算法--乌鸦搜索算法（CrSA）, 提出一种改进的基于乌鸦搜索算法的特征选择算法（IFSCrSA）, 以解决目前特征选择问题中存在的不足. 通过与传统的机器学习特征选择算法和基于进化计算的特征选择算法进行比较, 结果表明, IFSCrSA能在数据集中选择辨识度较强的特征, 不仅大幅度降低了特征子集的规模, 而且提高了分类准确率.     

基于乌鸦搜索算法的新型特征选择算法

基于元启发式算法--乌鸦搜索算法（CrSA）, 提出一种改进的基于乌鸦搜索算法的特征选择算法（IFSCrSA）, 以解决目前特征选择问题中存在的不足. 通过与传统的机器学习特征选择算法和基于进化计算的特征选择算法进行比较, 结果表明, IFSCrSA能在数据集中选择辨识度较强的特征, 不仅大幅度降低了特征子集的规模, 而且提高了分类准确率.     

基于邻域粗糙集和蚁群优化的属性约简算法

在分析单一、给定的邻域大小设定方法弊端的基础上,提出了基于属性数据标准差的阁值设定方法,并将蚁群优化算法引入到属性约简中,以属性重要度为启发信息,构造了基于邻域粗糙集和蚁群优化的属性约简算法,使用了4个UCI数据集进行约简.实验结果表明,提出的算法在约简的分类精度和约简中属性个数方面具有更好的性能.