基于流形学习的离群点检测方法

为了提高高维数据集合离群数据挖掘效率,提出了一种基于流形学习的离群点检测算法。局部线 性嵌入（ locally linear embedding, LLE）算法是流形学习中有效的非线性降维方法,它的优势在于只定义唯一的 参数,即邻域数。根据LLE算法的思想寻找样本数据的内在嵌入分布,并通过邻域数选取和降维后数据点之 间的距离调整,提高了数据集中离群点发现效率,同时利用离群点权值判别式进行权值数据判定,根据权值 的大小标识出数据集中的离群点,仿真实验的结果表明了该方法能够有效地发现高维数据集中的离群点。 与此同时,该算法具有参数估计简单、参数影响不大等优点,该算法为离群点检测问题的机器学习提供了一 条新的途径。     

离群数据检测研究

通过充分调研,对现有离群数据检测算法作了分析比较,总结出各算法的特点,并且探讨和展望了离群数据检测的几个热点问题,为离群数据检测算法的进一步研究打下基础。     

基于高斯核函数的局部离群点检测算法

随着信息技术的快速发展,数据资源的结构越来越复杂,离群点挖掘受到越来越多人关注.基于高斯核函数,考虑数据对象的k个最近邻居,反向k近邻居和共享最近邻居三种邻居关系,估计数据对象的密度,提出了一种基于高斯核函数的局部离群点检测算法.该算法通过KNN图存储每个数据对象的最近邻,包括k最近邻,反向k近邻和共享最近邻,构成数据对象的邻居集合S;通过核密度估计KDE方法估计数据对象的密度;通过相对密度离群因子RDOF来估计数据对象偏离邻域的程度,进而判定数据对象是否为离群点,并在真实和合成的数据集上证明了该算法的有效性.     

基于离群点检测的K-means算法

K-means算法以其简单、快速的特点在现实生活中得到广泛应用.然而传统Kmeans算法容易受到噪声的影响,导致聚类结果不稳定,聚类精度不高.针对这个问题,提出一种基于离群点检测的K-means算法,首先检测出数据集中的离群点,在选择初始种子的时候,避免选择离群点作为初始种子.然后在对非离群点进行聚类完成后,根据离群点到各个聚类的距离,将离群点划分到相应的聚类中.算法有效降低离群点对K-means算法的影响,提高聚类结果的准确率.实验表明,在聚类类别数给定的前提下,在标准数据集UCI上该算法有效降低离群点对K-means算法的影响,提高了聚类的精确率和稳定性.     

基于残差融合的时序数据离群点检测算法

物联网的快速发展产生了海量的高维时序数据,然而时间序列易受到外界变化的环境因素影响而产生离群点。针对现有的离群点挖掘算法不能兼顾时序数据的趋势性、季节性、循环性、不规则性的特点,从而导致检测效果不理想的问题,提出一种基于残差融合的时序数据离群挖掘(residual integration outlier,RIO)算法。首先利用线性自回归移动平均模型(autoregressive integrated moving average model,ARIMA)拟合数据,得到在相同时间粒度下的残差序列,并将该序列作为非线性模型长短期记忆网络(long short-term memory,LSTM)模型的输入,输出残差序列预测值,而后将经由ARIMA模型与LSTM模型处理的序列在相同时间粒度下融合,得到一条经由混合模型两次处理的残差序列。最后,利用基于直方图的离群点模型(histogram-based outlier score,HBOS)检测出该二次残差序列的离群点。实验表明,RIO算法的准确度得到了较为明显的提高,具备良好的实用价值。     

基于离群点检测的K-means算法

K-means算法以其简单、快速的特点在现实生活中得到广泛应用。然而传统K-means算法容易受到噪声的影响,导致聚类结果不稳定,聚类精度不高。针对这个问题,提出一种基于离群点检测的K-means算法,首先检测出数据集中的离群点,在选择初始种子的时候,避免选择离群点作为初始种子。然后在对非离群点进行聚类完成后,根据离群点到各个聚类的距离,将离群点划分到相应的聚类中。算法有效降低离群点对K-means算法的影响,提高聚类结果的准确率。实验表明,在聚类类别数给定的前提下,在标准数据集UCI上该算法有效降低离群点对K-means算法的影响,提高了聚类的精确率和稳定性。     

基于nested-loop的大数据集快速离群点检测算法

针对已有的多数离群点检测算法存在扩展性差,不能有效应用于大数据集的问题,在已有的基于距离的离群点检测算法的基础上,设计模信息表存储结构,利用向量内积不等式关系以及合理的存储分配和调度策略,提出一种高效离群点检测算法DBoda.该算法通过在预处理中存储每个点的模信息,减少点间距离的计算量,并对嵌套循环方法进行优化,进一步减少I/O的开销.理论分析和试验结果表明,所提算法具有时间消耗小和适用于处理大数据集的特点,可以有效地解决离群点检测中的算法时间复杂性和算法扩展性问题.     

基于数据模式聚类算法的离群点检测

针对传统模式挖掘算法在事务包含模式定义上未考虑模式间的包含关系而使聚类结果不够优良的问题, 提出一种新的基于模式聚类的离群点检测算法PCOT, 该算法适合于高维数据空间, 采用一种新的事务包含模式, 通过将模式表示成超图, 用超图分割方法对模式进行聚类. 实验与分析结果表明, 该算法能有效地在高维稀疏空间中发现离群点.     

空间离群点检测算法对比与分析

对两种常用的空间离群点检测算法进行简单的介绍,并通过实验对算法进行比较,分析了这两种空间离群点检测算法的优缺点,以及导致它们差异的具体原因。这对寻找更好的空间离群点检测算法具有实用意义。     

基于模糊点数据的核主成分分析

在核主成分分析中,给每个训练数据赋予一个置信权重,将训练数据视为样本空间的模糊点,研究了基于模糊点数据的核主成分分析.数值模拟表明,该方法能够有效控制异常点对主成分的影响.同时,该方法也为数据先验信息的利用提供了一个可行的途径.     

Study on circle detection algorithm based on data dispersion

To reduce time-consuming, a new algorithm is proposed for circle detection based on the theory of data dispersion.The center coordinates and radius can be detected with the following steps in this algorithm precisely and quickly.Firstly, image processing is needed to extract the boundary of the primary image, which is almost like a circle in shape, and after that, the original circle is reduced to a single-pixel width circle by image processing.Secondly, the center coordinates are calculated by three selected points on the circle.There might be a deviation between the calculated center and real center.Thirdly, a square area is determined for the center coordinates computing with an exper-imental range and each pixel inside the square is a potential center.Fourthly, the center is compu-ted with distance criterion and the center coordinate is determined when the variance reaches the minimum.Lastly, the radius is equal to the means of the distance vector with minimum variance. Experiments are conducted and the results show that the proposed algorithm gets the same accuracy and better real-time performance in comparison with traditional Hough transform.     

基于等距变换的三维点云相似性检测算法

本文研究目的是运用基于等距变换的三维点云相似性检测算法来为三维点云识别和分类问题提供新的方法.该研究方法利用投票空间的思想,认为相似的点对具有相同的等距变换.首先,通过B样条参数曲面拟合表达物体形状.其次,定义了一种主曲率和法向量组成的局部几何特征来匹配特征点对.计算点对特征之间的等距变换,将等距变换进行分类,比较同类等距下点对间特征的等距距离.最后,在每类等距变换下,对具有相同近似等距的点对进行基于PCA的聚类算法,从而得到相似点对之间构成的相似区域.实验研究结果显示在通过普林斯顿和TOSCA点云数据集下测试,对原始点云进行等距变换、噪声、降采样的处理后,能够检测到物体形状上的相似区域.研究结论:通过实验,验证了算法的可行性和鲁棒性,该方法简化了数据的预处理的过程,能够高效检测物体模型的相似性,对三维点云的分类和识别问题有着很好的应用前景.     

非线性数据拟合模型结合交叉参考迭代的医学椭圆形状检测

为提高噪声环境下椭圆类物体形状检测算法的稳定性与准确性，本文提出非线性数据拟合模型结合交叉参考迭代的新思路。首先提取噪声环境下椭圆类物体的边缘并进行初始形状拟合，然后参考拟合误差的大小舍弃边缘噪声与毛刺，再进行新的迭代拟合，直到拟合平均误差收敛到设定门限以下，从而得到自然椭圆物体形状参数。仿真实验结果表明本文提出的算法针对噪声环境下椭圆类物体的形状检测具有较高的稳定性和准确性，在实际医学应用中具有重要的参考价值。     

基于空间数据结构的快速碰撞检测算法

在已有的预留碰撞算法基础上,提出了一种以空间数据结构管理为核心,用简化的几何模型表示(OBB层次树)结合起来实现复杂物体间的实时碰撞检测算法,主要采用包围盒的方法对检测物体进行包围,然后对包围盒所形成的体进行结构索引,遍历体索引输出检测结果,这样在少量增加存储空间的前提下,可以提高碰撞检测的速度。     

基于改进K-means的电力数据异常检测算法

异常检测方法在电力领域有着广泛的应用,如设备故障检测和异常用电检测等.改进了传统Kmeans聚类随机选择初始聚类中心的策略;结合数据对象的密集度与最大近邻半径,选择更加接近实际簇中心的数据点作为初始聚类中心,并在此基础上提出了一种基于改进K-means算法的电力数据异常检测新方法.实验表明,上述算法具有更优的聚类效果和异常检测性能,并且在应用于电力领域时,算法可以有效地检测出异常电力数据.     

一种基于Memetic算法的非线性方程组求解算法

提出了Memetic算法求解非线性方程组的策略,在Memetic算法流程中,采用自适应多点交叉和随机点变异策略,在交叉和变异后均通过拟牛顿局部搜索策略对染色体种群进行优化,以提高算法的求解性能.仿真结果表明,所提算法在求解非线性方程组时是有效的.     

基于非线性变换的图表示优化

优化是模式识别系统中必不可少的组成部分,优化的效果在一定程度上决定最终的识别结果.本文针对图表示的模式识别系统,提出了基于非线性函数的优化方法,使图表示模式识别更符合可视化与交互式原则.     

一种基于非线性对等变换的分组密码模型

为了使密码算法兼具Feistel型和SP型密码算法的优点,提出了一种构造交换环上m维线性空间的对等非线性变换的方法,并依此设计了基于对等变换的类Feistel密码模型和一种新的分组加密模型。新的加密模型既有Feistel模型的对称性,又有SP网络模型扩散速度快的优点。同时,该模型具有相当大的灵活度,通过选取不同的环,参数a、b以及非线性函数f(x)可以演变出多种分组密码算法。因此,该模型具有较广的应用前景。     

基于Arnold变换和DCT变换的数字水印算法研究

提出了一种基于Arnold变换和DCT算法的数字水印算法.利用Arnold变换将水印图像变成无意义的图像,再对载体图像做DCT变换,将变换后的水印图像隐藏在DCT系数上,最后进行DCT反变换完成水印的嵌入.实验结果表明,该算法对于一般的图像攻击如滤波、噪声、剪裁有较好的鲁棒性.