QENNI:一种缺失值填充的新方法

针对k最近邻填充算法(kNNI)在缺失数据的k个最近邻的选择上可能存在偏好,提出一种新的缺失填充算法:象限近邻填充算法QENNI(quadrant-encapsidated-nearest-neighbor-based imputation),它仅仅使用缺失数据象限方向的最近邻数据填充该缺失值,避免了kNNI中选取的k个最近邻点有偏好这一情况。另外,此算法对于低维数据集可以是无参的,即消除了对参数的依赖。实验结果表明,QENNI算法的填充准确性要优于kNNI算法。     

一种基于动态填充的不完备数据聚类算法

不完备数据聚类是聚类分析中的一个重要问题.现有的不完备数据聚类算法对缺失值仅填充一次进行聚类,没有充分利用数据的已知信息,致使填充效果不佳,影响了聚类的有效性.文章提出了一种基于动态填充的不完备数据聚类算法.首先利用均值填充法对缺失数据进行初始完备化,然后利用K-means算法对填充后的数据集进行聚类,同时用含缺失值对象所在类的类中心的相应属性值对其再次填充,直到聚类结果不再变化时停止.该算法在多个UCI数据集上进行了实验验证,结果表明算法是有效的.     

基于相似度的多类别不完整云计算网络的聚类填充算法设计

传统基于概率分布的不完整数据聚类填充算法,未综合分析数据对象的类别属性,数据填充效率和精度较低。因此,本文提出一种新的聚类填充算法,利用近邻传播(AP)算法聚类不完整数据,采用元祖相似度算法对不同类别的不完整数据实施填充。通过数据挖掘方法获取多类别不完整云计算网络系统中的加权关联规则,实施常规缺失数据的填充,采用数据推荐筛选方案实施元组相似度运算,完成异常缺失数据的填充,最终获取完整的云计算网络数据集,提高云计算网络数据的有效利用率。实验表明,本文设计的聚类填充算法具有较高的填充效率和精度。     

基于矩阵填充的肿瘤基因表达谱数据缺失点估计

为解决肿瘤基因表达谱数据后续研究需要完整数据矩阵的问题,针对包含缺失点的数据集。提出基于矩阵填充(matrix completion)与模糊C均值(fuzzy c-means algorithm,FCM)相结合的缺失点估计方法(FCM_MC)。该方法充分利用肿瘤基因表达谱数据的冗余信息,通过模糊C均值聚类得到具有良好的低秩特性的基因语义片段,再利用矩阵填充方法分别对每个语义片段进行缺失点的重建。在不同数据集上进行实验,与传统缺失点估计算法比较。实验表明FCM_MC算法在缺失数据估计准确度和类结构保持度上效果得到有效提升,同时运行效率较高。     

一种杂合的缺失值填充方法

在数据挖掘和机器学习领域,缺失数据经常出现。本文杂合了kNN算法和基于核函数的非参填充方法,实验显示,在处理离散型缺失数据时,我们的这种杂合方法在分类准确率的实验中好于kNN算法以及常用的一些方法(例如C5.0填充方法,最大类方法和不填充的方法),在处理连续型的缺失属性时,我们的方法在预测准确率的实验结果中也好于kNN算法和基于核函数的非参填充方法,以及一些常见方法,(例如均值填充方法)。     

大脑胶质瘤诊断中不均衡问题的特征选择

在大脑胶质瘤诊断数据集中.病例样本数通常比正常样本数要少,由此引发了数据不均衡问题下病例诊断的问题.此外,在大脑胶质瘤数据集中有一些冗余甚至是不相关的特征,这些特征降低了学习器的泛化能力.为解决这类问题,提出一种基于互信息特征选择的EasyEnsemble算法来解决大脑胶质瘤诊断中的数据不均衡问题.在UCI数据集和大脑胶质瘤数据集上的实验结果表明新算法提高了分类器在不均衡数据集上的分类性能和预报能力.     

领域实例迁移的交互文本非平衡情感分类方法

针对交互文本句子短、成分缺失、多领域下类分布不均衡导致的高维、特征值稀疏、正样本稀少的难点,提出面向目标数据集实例迁移的数据层面采样方法。该方法提出目标数据集和源数据集共性特征的Top-N信息增益和值占比函数,选择评价两个数据集实例相似度的特征;提出目标数据集和源数据集特征空间一致性处理方法,克服两者特征空间不一致的问题;提出分领域的实例选取与迁移方法,克服多领域下的类分布不均衡问题。实验结果表明:该方法有效缓解了交互文本的非平衡问题,使支持向量机、随机森林、朴素贝叶斯、随机委员会4个经典分类算法的加权平均的接收者运行特征曲线(receiver operating characteristic,ROC)指标提升了11.3%。     

基于LPP和l_(2,1)的KNN填充算法

传统的KNN缺失值填充算法存在没有利用样本间属性的相关性,也没有考虑到保持样本数据本身的结构和去除噪声样本的问题。本文提出利用训练样本重构测试样本从而进行最近邻缺失值填充的方法,该方法重构过程充分利用样本间的相关性,也用到LPP(保局投影)保持数据结构在重构过程中不变,同时引入l2,1范式用于去除噪声样本。在UCI数据集上的仿真实验结果表明,该方法比传统的KNN填充算法以及基于属性信息熵的Entropy-KNN算法有更高的预测准确度。     

基于嵌套滑动窗口的数据流缺失数据填充算法

提出了一种基于嵌套滑动窗口的缺失数据填充算法.考虑到传感器数据流的时效特性,采用嵌套滑动窗口选取空间相关度高且距离最近的数据作为样本数据,之后分两种情况对缺失数据进行填充.算法首先通过皮尔逊相关计算对数据的空间性进行分析,应用嵌套滑动窗口对缺失数据相关的数据进行采样,得到强相关数据,之后采用MKNN算法进行精确填充.通过皮尔逊相关分析和嵌套窗口采样,极大地降低了数据样本大小,提高了缺失数据处理实时性;对于不具有强的空间相关的缺失数据,考虑到短时间内采集数据间强的时间相关性,采用线性相关法对数据进行填充,降低算法复杂度.实验表明,该算法能够实时、精确地对数据流缺失数据进行填充.     

一种处理不均衡多分类问题的特征选择集成方法

为解决不均衡多分类问题，提出一种特征选择和AdaBoost的集成方法。首先，数据进行预处理。利用WSPSO算法进行特征选择，根据特征重要性选取初始粒子构建初始种群，使得算法初期就可以沿着正确的搜索方向开展，减少不相关特征的影响。其次，利用AdaBoost算法对于样本权重较敏感的特点，增强对小类样本的关注度。并且利用AUCarea作为评价标准，相对于其他评价标准，AUCarea具有可视化的优点且对较差AUC更加敏感。最后，与其他几种不均衡分类算法在不平衡数据集上进行对比，结果证明该算法可有效处理不均衡多分类问题。     

基于模糊C-均值聚类的缺失数据填充方法

针对缺失数据的有效填充问题,提出利用模糊C-均值聚类（FCM）算法的隶属度矩阵作为待填数据的加权权重.首先使用同一属性均值对缺失数据作预填充,再进行FCM以得到每个类别的隶属度矩阵,最后用该矩阵作为权重去乘以每个类别的属性均值,得到最终的填充数据.在UCI数据实验中,将FCM填充算法与k近邻（KNN）填充算法作对比分析,结果表明,FCM填充得到的均方根误差总体小于KNN填充.     

牦牛测序数据缺失值填充的方法比较

快速准确的基因组分型技术已经在动植物遗传分析、人类遗传疾病治疗预测中被广泛使用,然而高通量深度测序数据的成本高,且多种测序数据进行联合分析时往往共有的基因位点会非常少,基因组测序数据的基因型填充技术可以用来解决这两种问题.牦牛是青藏高原特有大型家畜,其独特的遗传结构、群体构成以及基因组复杂度使牦牛测序数据更不容易被准确的填充.为了解决牦牛测序数据含有较多缺失值的问题,用编写的StochasticImpute函数、R语言中的impute.knn算法和BEAGLE软件三种方法,探讨不同的缺失率条件下的填充匹配率、相关性和填充耗时.结果表明,在测序数据较少的情况下,BEAGLE软件是三种填充方法中填充准确率最高的,然而StochasticImpute函数和impute.knn算法填充耗时较短.这些结果表明,利用基因型填充的方法可以填充数据较少并且含有较多缺失值的牦牛测序数据.     

基于模糊C-均值聚类的缺失数据填充方法

针对缺失数据的有效填充问题，提出利用模糊C-均值聚类（FCM）算法的隶属度矩阵作为待填数据的加权权重.首先使用同一属性均值对缺失数据作预填充，再进行FCM以得到每个类别的隶属度矩阵，最后用该矩阵作为权重去乘以每个类别的属性均值，得到最终的填充数据.在UCI数据实验中，将FCM填充算法与k近邻（KNN）填充算法作对比分析，结果表明，FCM填充得到的均方根误差总体小于KNN填充.     

基于关系马尔可夫模型的枚举型缺失值估计

针对数据质量中数据缺失问题,提出了基于关系马尔可夫模型(RMM)的枚举型缺失值估计方法.该方法充分考虑属性间的关联性,将动态属性选择(DAS)方法与RMM结合,最大限度地利用完整数据的信息,提高了该方法的估计能力;利用RMM计算源状态到目的状态的转移概率,采用MaxPost和ProProp 2种缺失值填充方法,对缺失值进行填充.采用公认数据集,进行了对比实验,验证了该方法的有效性和优越性.     

不同类别非完整大数据中缺失数据填充算法

针对目前缺失数据填充算法精度低、运行效率低、内存占用率大的特点,提出一种新的不同类别非完整大数据中缺失数据填充算法。通过2个定理阐述了缺失数据填充算法的原理,给出信息熵的计算过程。输入根据数据集构建的决策表和不同类别非完整大数据中缺失数据的最大值、最小值、填充步长。求出其他类指标和某类指标的相关性,得到数据集,求出权重系数;计算初始数据库的信息熵,通过相关理论或经验对缺失数据区间下限进行设定;用一个很小的区间数据取代缺失数据,根据给出的步长不断扩大区间范围,绘制出每一步信息熵状况,将其与初始数据库信息熵相比,实现缺失数据填充。实验结果表明,所提算法精度高、运行效率高、内存占用率低。     

一种效能评估中缺失数据的填充方法

针对评估数据缺失的问题,提出了一种新的缺失数据填充方法.从信息熵的角度对评估系统进行描述,并提出一种建立在区间值信息系统上的加权广义信息熵,对这种信息熵的非负性、单调性和极值性进行证明.在此基础上,通过研究评估系统数据缺失前后信息熵的变化情况,建立一种基于加权广义信息熵的缺失数据填充方法,并从知识粒度的角度论述加权广义信息熵的机制.通过实例分析与现有的部分算法进行比较,进一步证明文中算法对评估系统缺失数据填充的有效性.     

不同类别非完整大数据中缺失数据填充算法研究

针对目前缺失数据填充算法精度低、运行效率低、内存占用率大的特点,提出一种新的不同类别非完整大数据中缺失数据填充算法。通过2个定理阐述了缺失数据填充算法的原理,给出信息熵的计算过程。输入根据数据集构建的决策表和不同类别非完整大数据中缺失数据的最大值、最小值、填充步长。求出其他类指标和某类指标的相关性,得到数据集,求出权重系数;计算初始数据库的信息熵,通过相关理论或经验对缺失数据区间下限进行设定;用一个很小的区间数据取代缺失数据,根据给出的步长不断扩大区间范围,绘制出每一步信息熵状况,将其与初始数据库信息熵相比,实现缺失数据填充。实验结果表明,所提算法精度高、运行效率高、内存占用率低。     

基于磷虾-黑洞算法的医学数据特征选择研究

从高维的生物医学数据中探索发现与疾病相关的基因是目前的热点研究问题,但是大部分生物医学数据具有许多与寻找疾病基因不相关或冗余特征,很难直接投入使用.针对这个问题,提出了一种自适应双种群混合磷虾黑洞算法(modified binary krill herd and black hole algorithm, MBKHA).该算法将改进的二进制磷虾算法与二进制黑洞算法相结合,磷虾算法负责寻找更优的解集,黑洞算法负责加快算法收敛,通过使用自适应划分规则动态调控种群中磷虾个体和恒星个体的数量,从而实现两个算法优势互补.基于5个公开医学微阵列数据集,从多个指标比较了提出的方法和其他特征选择算法的性能,实验结果表明该方法在特征选择上具有更好的性能.     

基于弱监督对比学习的弱多标记特征选择

多标记特征选择已被广泛应用于医疗诊断、模式识别等领域，然而现实中的数据往往存在维数灾难以及标记大量缺失等问题，现有的弱多标记特征选择算法又普遍易受缺失标记和噪声的干扰，使算法模型难以准确地选择重要特征．针对上述问题，提出一种用于弱多标记数据集特征选择的弱监督对比学习方法，旨在缺失和含噪声标记数据集中选择优质特征，同时挖掘少量人工标注数据中潜在的类间对比模式．该方法包括三个步骤：首先，设计一种弱监督预训练策略，通过利用实例相似性以及稀疏学习方法获取每个类标记类属属性，用于恢复缺失标记；其次，引入对比学习策略来捕获少量有标记数据的对比模式来削弱噪声数据的影响；最后，选取10组多标记数据集以及四个评价指标进行实验.实验结果证明，与多个先进多标记特征选择算法相比，提出的方法分类性能更优．     

一种有效缓解协同过滤推荐评价数据稀疏问题的算法

在采用协同过滤算法构建个性化推荐的系统中,经常面临用户评价数据稀疏问题,这将严重降低个性化推荐的准确度.针对此问题,提出了一种混合加权预测填充算法,从用户访问的资源特征以及该资源在整个用户群体中被访问的热度出发,对用户访过的但未给出评价的数据进行预测并填充,从而降低了由于用户评价数据缺失所造成的评价矩阵稀疏程度,提高推荐准确度.在MoiveLense数据集上的试验结果表明,该算法能够明显地提高推荐准确度.