基于流形学习的离群点检测方法

为了提高高维数据集合离群数据挖掘效率，提出了一种基于流形学习的离群点检测算法。局部线 性嵌入（ locally linear embedding， LLE）算法是流形学习中有效的非线性降维方法，它的优势在于只定义唯一的 参数，即邻域数。根据LLE算法的思想寻找样本数据的内在嵌入分布，并通过邻域数选取和降维后数据点之 间的距离调整，提高了数据集中离群点发现效率，同时利用离群点权值判别式进行权值数据判定，根据权值 的大小标识出数据集中的离群点，仿真实验的结果表明了该方法能够有效地发现高维数据集中的离群点。 与此同时，该算法具有参数估计简单、参数影响不大等优点，该算法为离群点检测问题的机器学习提供了一 条新的途径。     

基于网格单元和P权值的离群数据挖掘方法

基于单元的离群数据挖掘是一类典型的离群数据挖掘方法,尽管具有可以快速识别离群数据和修剪非离群数据等优点,但由于只从单元的角度修剪非离群数据,可能使一些单元无法准确的确定离群数据。给出了一种基于网格单元和P权值的离群数据挖掘算法。该算法首先将数据集的每维均分,划分网格单元,并在网格单元中,筛选出离群数据和正常数据网格单元;对既含有离群数据又有正常数据的网格单元,采用P权值的方法,来度量和确定离群数据,从而进一步提高了离群挖掘精度;最后,采用UCI数据集,实验验证了该算法的有效性和可行性。     

一种基于基尼指标的高维数据离群挖掘算法

针对高维数据集中的离群点挖掘任务,给出了一种基于基尼指标和属性相关性分析的高维数据离群点挖掘算法.该算法首先采用属性相关性分析方法,删除高维数据集中的冗余属性,缩减了数据集的大小;其次采用基尼指标作为离群度量因子,从缩减后的数据集中,挖掘出不同离群程度的数据点;最后,实验采用天体光谱数据作为实验数据集,经实验验证,该算法对高维数据集中离群点的挖掘算法是有效的和可行的,其效率得到了明显的提高.     

基于离群点检测的K-means算法

K-means算法以其简单、快速的特点在现实生活中得到广泛应用。然而传统K-means算法容易受到噪声的影响,导致聚类结果不稳定,聚类精度不高。针对这个问题,提出一种基于离群点检测的K-means算法,首先检测出数据集中的离群点,在选择初始种子的时候,避免选择离群点作为初始种子。然后在对非离群点进行聚类完成后,根据离群点到各个聚类的距离,将离群点划分到相应的聚类中。算法有效降低离群点对K-means算法的影响,提高聚类结果的准确率。实验表明,在聚类类别数给定的前提下,在标准数据集UCI上该算法有效降低离群点对K-means算法的影响,提高了聚类的精确率和稳定性。     

基于离群点检测的K-means算法

K-means算法以其简单、快速的特点在现实生活中得到广泛应用.然而传统Kmeans算法容易受到噪声的影响,导致聚类结果不稳定,聚类精度不高.针对这个问题,提出一种基于离群点检测的K-means算法,首先检测出数据集中的离群点,在选择初始种子的时候,避免选择离群点作为初始种子.然后在对非离群点进行聚类完成后,根据离群点到各个聚类的距离,将离群点划分到相应的聚类中.算法有效降低离群点对K-means算法的影响,提高聚类结果的准确率.实验表明,在聚类类别数给定的前提下,在标准数据集UCI上该算法有效降低离群点对K-means算法的影响,提高了聚类的精确率和稳定性.     

基于属性相关分析的离群数据并行挖掘算法

针对高维海量数据集中的局部离群数据,利用并行计算和属性相关性分析思想,给出了一种离群数据并行挖掘算法。该算法首先由主节点分配属性相关分析任务,各个子节点并行查找数据集中的冗余属性,将其冗余属性传回主节点,并由主节点删除;其次,主节点分配搜索任务,各子节点采用微粒群算法,并行搜索局部离群子空间;再次,由主节点对局部离群子空间合并计算后,确定全局离群数据;最后,在MPICH2-1.0.3的并行计算环境下,采用恒星光谱数据作为数据集,实验结果验证了算法的正确性和有效性。     

GDLOF:基于网格和稠密单元的快速局部离群点探测算法

为了适应高维大规模数据集的稀疏性,解决现有离群点探测算法在运用于高维大规模数据集时计算量以及时间效率均无法令人满意的现状,区别于以往文献中以点的数量作为判断稠密的阈值,在基于密度的局部异常检测算法LOF的基础上,以通过数据集中每一点周围的邻近点的状况作为判别依据,提出了稠密单元和稠密区域的概念以及基于网格和稠密单元的快速局部离群点探测算法.通过证明稠密单元和稠密区域中的点不可能成为离群点,使得算法减少了LOF值的计算量并显著提高效率.实验表明,该算法对于高维大规模数据集具有良好的适用性和有效性.     

基于非线性数据变换的离群点检测算法

为了提高高维数据集合离群数据挖掘效率,在分析了传统的离群数据挖掘算法优点和缺点的基础上,提出了一种离群点检测算法,首先将非线性问题转化为高维特征空间中的线性问题,然后利用非线性数据变换进行维数约减,对所得数据对象每个投影分量逐个判断数据点是否是离群点,通过实验证明该算法不仅可用于线性可分数据集的离群点检测,而且可用于线性不可分数据集的离群点检测,表明了算法的优越性。     

异构分布式环境中的并行离群点检测算法

离群点检测是数据挖掘领域研究的热点之一，主要目的是识别出数据集中异常但有价值的数据点. 随着数据规模不断扩大，使得处理海量数据的效率降低，随即引入分布式算法. 目前现有的分布式算法大都用于解决同构分布式的处理环境，但在实际应用中，由于参与分布式计算的处理机配置的差异，现有的分布式离群点检测算法不能很好地适用于异构分布式环境. 针对上述问题，本文提出一种面向异构分布式环境的离群点检测算法. 首先提出基于网格的动态数据划分方法（Gird-based Dynamic Data Partitioning，GDDP），充分利用各处理机的计算资源，同时根据数据点的空间位置信息进行数据划分，可有效减少网络通信. 其次基于GDDP算法，提出了异构分布式环境中并行的离群点检测算法（GDDP-based Outlier Detection Algorithm，GODA）. 该算法包括2个阶段：在每个处理机本地，按照索引中数据点的顺序进行过滤，通过2次扫描得到离群点候选集；判断候选离群点需要进行网络通信的处理机，使用较低网络开销得出全局离群点. 最后，通过大量实验验证了本文提出的GDDP和GODA算法的有效性.     

基于nested-loop的大数据集快速离群点检测算法

针对已有的多数离群点检测算法存在扩展性差,不能有效应用于大数据集的问题,在已有的基于距离的离群点检测算法的基础上,设计模信息表存储结构,利用向量内积不等式关系以及合理的存储分配和调度策略,提出一种高效离群点检测算法DBoda.该算法通过在预处理中存储每个点的模信息,减少点间距离的计算量,并对嵌套循环方法进行优化,进一步减少I/O的开销.理论分析和试验结果表明,所提算法具有时间消耗小和适用于处理大数据集的特点,可以有效地解决离群点检测中的算法时间复杂性和算法扩展性问题.     

一种改进的离群点检测方法

现有的离群点检测算法运用于规模较大的数据集时,其时间效率和检测效果通常不够理想.通过对离群点分布特征的分析,在计算每个数据点到其kth最近邻对象距离的同时,结合其k最近邻的分布情况,给出一种改进的离群点度量方法.基于上述思想构造的离群点检测算法DokOF能够处理混合属性数据.实验表明,该算法具有良好的适用性和有效性.     

基于改进距离孤立点检测预处理的LTSA算法

局部切空间排列算法(LTSA)是一种有效的流形学习方法,但该算法对孤立点的存在非常敏感.本文提出了一种快速有效的数据预处理方法-基于改进距离的孤立点检测方法来降低孤立点对LTSA算法的影响.该方法通过改进距离来度量样本点之间的距离,降低了样本点分布不均给孤立点检测算法带来的影响.实验表明,该数据预处理方法能有效地提高LTSA算法的鲁棒性,可以更好的挖掘数据集的本征特性,具有更好的数据可视化效果.     

剔除支持向量回归中异常数据算法

定义了回归问题中异常数据及其不满足回归映射关系差异程度的度量,分析了回归问题中理论映射模式与回归估计模式关系,提出并证明了回归问题中逐个剔除异常数据,建立回归估计模式逐步逼近理论模式的逐步逼近定理,并构建了以逐步逼近定理为理论依据的剔除支持向量回归中异常数据算法,理论分析了算法的收敛性和有效性。然后,引入逐步搜索算法改进剔除异常数据算法以解决大规模样本的支持向量回归中异常数据剔除问题,理论分析显示改进算法也是收敛的和有效的。最后,应用给定已知函数生成样本和UCI机器学习数据库样本数据仿真实验,结果显示算法是有效的和鲁棒的。     

基于局部密度离群点检测k-means算法

针对数据集的聚类过程容易受到离群值的影响这一问题,提出了局部密度离群值检测k-means算法,即先对数据集使用局部密度离群值检测方法检测离群值,先把离群值去除,再进行k-means聚类,算法的有效性通过Davies-Bouldin指标(DB)、Dunn指标和Silhouette指标进行评价,在人工生成的数据集与UCI数据集上验证,去除离群值,再使用k-means算法得到的聚类结果相比原始数据集进行k-means算法聚类结果较好,并且用在疫情数据分析上,对安徽省、北京市、福建省、广东省等24个省、市、自治区2020年2月18日新型冠状病毒肺炎确诊人数进行聚类分析,得到的去除离群值在使用k-means算法相比原始数据集进行k-means算法聚类结果较好,该结果能帮助更好地在实际中怎么去做决策以及更好地降低经济损失。     

基于抗差EKF的机载单站无源定位算法

机载单站无源测向定位中,若观测值中存在异常误差,采用EKF算法会导致定位结果有偏。为增强算法抗差性,将抗差EKF算法引入到机载单站无源测向定位中。首先,建立了机载单站无源测向定位模型,依据标准化观测残差构建了抗差等价权矩阵,对异常观测进行降权处理。其次,针对抗差EKF算法效率低的特点,构建了卡方统计量,提出了基于卡方检验的抗差EKF定位算法,即先利用卡方检验判别出含异常误差的观测值,再调用抗差EKF算法进行定位解算。最后,通过在观测值中加入单个异常误差和连续异常误差,测试了算法对不同异常误差的抵抗能力。仿真表明,抗差EKF算法能较好地削弱异常误差对位置估值的影响,并且基于卡方检验的抗差EKF定位算法能提高定位的效率。     

Outlier Detection Algorithm Based on Iterative Clustering

A novel approach for outlier detection with iterative clustering( ICOD) in diverse subspaces is proposed. The proposed methodology comprises two phases,iterative clustering and outlier factor computation. During the clustering phase, multiple clusterings are detected alternatively based on an optimization procedure that incorporates terms for cluster quality and novelty relative to existing solution. Once new clusters are detected,outlier factors can be estimated from a new definition for outliers( cluster based outlier), which provides importance to the local data behavior. Experiment shows that the proposed algorithm can detect outliers which exist in different clusterings effectively even in high dimensional data sets.     

一种基于多属性的空间例外挖掘改进算法

空间例外是指与其邻域内其它数据表现不一致或者是偏离观测值以至使人们认为是由不同体制产生的观测点.传统的例外挖掘是根据一个非空间属性值进行例外判断,这种方法容易引起判断失误.在对多个属性进行考虑的基础上,提出了一种基于多属性的空间例外挖掘算法,并与属性加权算法在正确性和有效性方面进行了比较分析.实验证明算法可以有效地发现例外数据.