结合邻域信息和标记相关性的在线多标记流特征选择算法

现有大多数多标记流特征选择算法在进行特征选择时,往往忽略标记间的相关性,易导致算法预测精度的下降。为解决这一问题,提出一种结合邻域信息和标记相关性的在线多标记流特征选择算法;定义自适应邻域关系解决邻域粗糙集的粒度选择问题,将其推广到多标记学习中;利用互信息计算标记间的相关性得到标记权重;通过邻域粗糙集和标记权重评估特征和标记间的相关性,并设计特征在线重要度分析、在线相关性分析和在线冗余度分析3种指标,以实现在线评价动态候选特征。在7组多标记数据集以及5个评价指标上的实验结果表明,所提算法综合性能较优。     

基于邻域粗糙集的多标记属性约简算法

在多标记学习中,属性约简是解决多标记数据维数灾难的一个关键技术.针对邻域粗糙集属性约简在计算正域代价较大和多标记数据中标记具有不同的强弱性问题,提出了基于邻域粗糙集的多标记属性约简算法.该算法首先利用样本在整个属性空间下到其异类样本的平均距离与到其同类样本的平均距离的差值对标记进行加权;其次,利用取整函数对样本空间进行划分,提出了一种新的多标记邻域粗糙集快速计算正域的方法;最后,根据前向贪心搜索算法进行属性约简,以获得一组新的属性排序.实验给出了5个多标记数据集在4个评价准则上的对比结果,实验结果分析表明了所提算法的有效性.     

基于多粒度一致性邻域的多标记特征选择

多标记学习广泛应用于图像分类、疾病诊断等领域,然而特征的高维性给多标记分类算法带来时间负担、过拟合和性能低等问题.基于多粒度邻域一致性设计相应的多标记特征选择算法:首先利用标记空间和特征空间邻域一致性来粒化所有样本,并基于多粒度邻域一致性观点定义新的多标记邻域信息熵和多标记邻域互信息;其次,基于邻域互信息构建一个评价候...     

变精度覆盖粗糙集模型的推广

基于多数包含关系及误差参数β(0≤β<0.5),提出了基于对象邻域的变精度覆盖粗糙集模型,并讨论了由覆盖所得到的邻域及近似算子的性质.     

邻域系统粗糙集模型

该文从多视角考虑粗糙近似逼近问题,讨论了邻域系统粗糙集模型的性质.将邻域系统粗糙集模型与两种重要的广义粗糙集模型,即可变精度粗糙集和多粒度粗糙集进行了对比分析,分别根据分类错误率和多粒度构建了不同的领域系统.该文研究结果证明了可变精度粗糙集模型和多粒度粗糙集模型是邻域系统粗糙集模型的特例,邻域系统粗糙集模型是一种更为广义的粗糙集表现形式.     

基于PCA和多邻域粗糙集的肿瘤特征基因选择算法

针对邻域粗糙集采用全局邻域求解近似,存在计算时间复杂度高且无法对基因表达谱精确描述的问题,构造了基于主成分分析(PCA)和改进邻域粗糙集(NRS)算法的PNRS模型.首先采用PCA算法获得低维的特征基因空间;然后利用改进的多邻域粗糙集算法进行特征基因选择,即采用欧氏距离计算每列属性邻域值,选取所有属性邻域集合计算邻域决策系统的近似;最后采用启发式搜索算法选择特征基因子集.实验结果表明,PNRS模型能够在选择出较小的基因子集的情况下获得较高的分类精度,从而验证了该方法的有效性.     

基于属性质量度的变精度邻域粗糙集属性约简

变精度邻域粗糙集相比于邻域粗糙集具有抗噪容错的能力,但由于重新定义了下近似,正域的划分不再严格,使得属性重要度的可信度降低,在精度改变的情况下无法优先选取最优的属性.针对这一问题,分析变精度邻域粗糙集的下近似,引入邻域内的正确分类率,定义属性质量度,提出一种基于正域的增量和平均正确分类率的增率相结合的属性度量方法.通过和现有的基于属性重要度的属性约简算法做比较,实验结果表明,改进后的属性度量方法对变精度有更好的适应性,在不同变精度阈值下能得到更优的约简结果.     

基于层次类别邻域粗糙集的在线流特征选择算法

在开放动态环境中，在线流特征选择是降低特征空间维度的有效方法 .现有的在线流特征选择算法能够有效地选择一个较优的特征子集，然而，这些算法忽略了类别中可能存在的层次结构.基于此，提出基于层次类别邻域粗糙集的在线流特征选择算法：首先，在邻域粗糙集中引入层次最近异类的邻域关系，避免邻域粒度的选择，借助层次结构计算特征对标记的层次依赖度，推广邻域粗糙集模型以适应层次类别数据；其次，基于层次依赖度提出三个在线特征评价函数，设计了在线相关选择、在线重要度计算和在线冗余更新的层次特征选择框架；最后，在六个层次类别数据集和八个扁平单标记数据集上的实验表明，提出的算法优于现有最先进的在线流特征选择算法.     

基于加权投票集成的极化SAR图像分类方法

提出了一种新的基于加权投票准则集成的极化合成孔径雷达系统(PolSAR)图像分类方法.该方法采用加权投票集成的方法根据不同个体的学习结果进行合,并从而提高极化SAR图像的分类精度.首先,输入极化图像数据并获得所需要的特征作为特征集.再从图像的每一类中选取多组像素点组成多个训练样本子集;然后,基于不同的样本子集训练学习得到不同的分类器,并对像素点进行分类得到预测标记,再由这些预测标记计算得出相应的加权系数;最后,通过加权系数将预测标记合并起来得到最终的极化SAR分类结果.实验结果证明,所提出的算法在AIRSAR和Radarsat-2数据上取得了很好的分类结果.     

标记倾向性的粗糙互信息k特征核选择

针对多标记学习算法中特征描述粒度导致的标记倾向性问题,大多数研究者从特征与所有标记之间的关联性入手,通过求解得出若干重要特征,并由此构造相应的特征子空间.这种做法会导致有些特征与某个标记有很强的相关性,但与整个标记空间的相关性却并不大,这样的特征丢失易造成分类器精度下降.如果将整个标记空间换成部分标记空间甚至单个标记空间来计算与特征之间的关联性,并把关联性很强的标记分开进行特征选择,就会降低算法的时间开销,提高算法的效率.同时,基于互信息的多标记学习算法多数采用传统熵的方法进行特征选择,由于传统熵不具有补的性质,计算方法较为复杂.引入粗糙熵的度量方法,提出基于粗糙互信息的多标记倾向性k特征核选择算法,实验和统计假设检验都证明该算法是有效的.     

采用邻域决策分辨率的特征选择算法

针对目前基于粗糙集模型的特征选择算法无法直接应用于数值型数据、必须经过离散化过程而造成决策信息丢失的问题,提出了一种基于邻域决策分辨率的特征选择算法。该算法根据邻域信息粒中决策分布与其分类能力间的关系,提出了邻域决策确定性(Nc)来衡量单个信息粒的决策分辨能力;并根据特征向量空间上所有信息粒所具有的Nc累加值,定义了邻域决策分辨率作为特征子集上决策可分辨性的量度,从而将名义型和数值型数据统一在同一特征选择算法框架下。仿真实验和实际应用的结果表明,该算法性能优于目前主流基于邻域粗糙集的特征选择方法。     

基于邻域交互增益信息的多标记流特征选择算法

现有的多标记特征选择一般假设特征空间是固定已知的,然而实际应用中很多特征是需要在提取过程中实时地进行筛选.为此,提出基于邻域交互增益信息的多标记在线流特征选择算法.首先,基于多标记邻域互信息和邻域交互增益信息提出在线相关性分析与在线冗余性分析两种策略来评价特征;其次,基于邻域交互增益信息构建了在线流多标记特征选择的目标优化函数;最后,在六个多标记数据集和四个评价指标上,实验结果证明了该算法的有效性和稳定性.     

基于模糊粗糙集的半监督影像分类算法

针对影像分类中少量标记样本问题,提出了基于模糊粗糙集的影像半监督分类算法.首先,通过模糊粗糙集对数据的粗糙性与模糊性进行建模,采用归一化的模糊互信息来度量特征与类别信息的相关性,并利用模糊上下近似度量样本的类别隶属度;然后,结合归一化的模糊互信息改进正则化框架下的特征评价方法,在谱图分析的半监督特征选择框架下实现特征优选;其次,结合近邻约束提高模糊上下近似预测样本类别的准确性,设计基于模糊粗糙集的约束自学习,选择信息量大的未标记样本更新训练样本集;最后,利用新的样本集训练分类器,完成影像分类任务.多组实验表明所提算法能够在少量标记样本的条件下有效提高影像的分类精度.     

一种基于邻域关系和模糊决策的特征选择方法

数据特征空间的高维性使得学习过程耗费了相对较多的时间,而且可能影响分类性能.邻域粗糙集模型可以用来解决特征选择问题,但该模型未能描述现实存在的样本的模糊性,可能导致信息的丢失.因此,建立了一种新的单标记特征选择模型,采用两种不同的隶属度计算方法获得样本对等价类的模糊隶属度,将每个等价类中最小隶属度值作为隶属度阈值.然后利用邻域样本隶属度与阈值的关系重新定义邻域粗糙上、下近似,进而通过衡量决策属性对特征子集依赖度的大小进行特征选择.在七个公开的UCI数据集上进行了实验,实验结果表明,与已有的几种特征选择方法相对比,分类准确度得到了进一步提高,选择的特征数目明显减少.     

基于邻域粗糙集的极速学习机算法

将基于单隐层前馈神经网络(SLFN)提出的极速学习机(ELM)算法和邻域粗糙集理论进行结合,提出基于邻域粗糙集的极速学习机算法,采用邻域粗糙集对样本集进行属性约简,去掉冗余属性,利用ELM对约简后的数据集进行学习,并对数据样本进行预测。实验表明ELM算法相比具有更高的训练精度和测试精度。     

粗糙互信息的不平衡多标记特征选择算法

特征选择作为处理多标记学习中数据高维性的一种有效方法,得到了众多学者的研究与关注.由于部分特征仅仅与某些标记有着强相关性而与整个标记空间的相关性不强,不能简单通过与标记空间整体的相关性判断取舍.此外,多标记的分布是不平衡的.因此,根据标记密度对标记空间进行划分,并分别进行相关性的判断,同时在不同标记空间进行不同比例的采样.引入具有补的性质的粗糙熵代替传统熵的度量方式,提出了基于粗糙互信息的不平衡多标记特征选择算法,在5个公开数据集上的实验结果表明了算法的有效性.     

面向高维小样本数据的层次子空间ReliefF特征选择算法

高维小样本数据的特征维数远远高于样本数,因为其通常包含大量的冗余特征,ReliefF算法在处理这类数据时存在以下挑战：传统ReliefF算法无法剔除冗余特征,而现有的改进ReliefF算法大多通过启发式地计算特征与特征之间的互信息来剔除冗余特征,不适用于高维数据;通过截取与标记相关性最大的若干特征来进行分类,可能不是最优选择,因其没有考虑不同特征组合对分类性能的影响.为了解决以上问题,提出一种基于层次子空间的ReliefF特征选择算法,将原始特征集划分为具有层次结构的子空间,并利用邻域粗糙集理论来计算低层子空间的局部依赖度,能在高维小样本数据上高效率地批量剔除冗余特征.此外,为了考量不同特征组合对结果的影响,引入“局部领导力”的概念,保留部分子空间中“带队”能力较强的特征,从局部和全局的角度共同给予特征更加客观的评价.在六个微阵列基因数据集上的实验表明,与现有方法相比,提出的方法更高效,而且能保持良好的分类性能.     

基于Relief属性重要度的快速约简算法

邻域粗糙集是经典Pawlak粗糙集的扩展,能够有效的处理数值型数据。因为引入了邻域粒化的概念,使用邻域粗糙集模型计算样本邻域度量属性重要度时,需要不断反复的对负域中的样本进行邻域划分操作,算法计算量很大。为此提出了一种基于Relief算法属性重要度的快速属性约简算法,降低计算邻域的算法时间复杂性。通过和现有算法运用多组UCI标准数据集进行比较,实验结果表明,在不降低分类精度的前提下,该算法能更快速地得到属性约简。     

基于邻域维护准则的特征选择算法优化研究

应用特征选择处理多标签数据分类时"维度灾难"问题已成为重要研究方向,因此提出一种基于邻域维护准则的特征选择算法(NPFS,feature selection algorithm based on neighborhood preservation criterion)。通过近似基于特征子空间和基于标签空间的2个相似度矩阵来构建相似性维护表达式,再通过线性近似扩展相似性维护公式得到邻域关系维护公式,并计算出邻域关系维护得分(NRPS,neighborhood relationship preserving score)来评估特征子集的重要性,结合贪婪方法设计具有NRPS的多标签特征选择算法(NPFS)。仿真结果表明,对比MMIFS算法和MDMR算法,所提出的算法在平均准确率、覆盖率、汉明损失、1-错误率、排名损失5个性能指标上均有改善。     

基于下近似分布的变精度邻域粗糙集属性约简算法

利用邻域粗糙集处理数值型数据,可以解决经典粗糙集不能直接处理数值型数据的问题,改进后的变精度邻域粗糙集可以增强抗噪声的能力。但变精度邻域粗糙集的属性约简有不同于邻域粗糙集的特性,需要考虑每个决策类的下近似分布。文中提出可以遵循平均错误率来约简属性,减少计算规模。实验证明,使用UCI数据集与其它算法进行了比较,该算法可以获得理想的结果。