基于WDNS-SWNPE算法的间歇过程故障检测

针对间歇过程数据的多模态与动态特性共存带来的故障检测问题,提出一种基于加权双近邻标准化(WDNS)的稀疏加权邻域保持嵌入(SWNPE)算法.首先,在寻找样本双层近邻的基础上加权得到加权双近邻集,用加权双近邻集信息标准化样本,将多模态数据处理为单一模态分布,消除多模态中心点差异,解决多模态特性;然后,考虑到NPE算法不能...     

基于改进K-means的电力数据异常检测算法

异常检测方法在电力领域有着广泛的应用,如设备故障检测和异常用电检测等.改进了传统Kmeans聚类随机选择初始聚类中心的策略;结合数据对象的密集度与最大近邻半径,选择更加接近实际簇中心的数据点作为初始聚类中心,并在此基础上提出了一种基于改进K-means算法的电力数据异常检测新方法.实验表明,上述算法具有更优的聚类效果和异常检测性能,并且在应用于电力领域时,算法可以有效地检测出异常电力数据.     

基于反向k近邻过滤异常的群数据异常检测

针对无数据标签的群数据异常检测问题,提出在无监督模式下利用k最近邻(kNN)算法检测群数据异常.为减少由于异常值与正常值之间相互干扰而产生的漏报和误报,提出用反向 k近邻(RkNN)算法对异常群数据进行反向过滤.反向k近邻算法首先将统计距离作为不同群数据间的相似性度量,再用kNN算法求得每个集群的异常得分,并获得初始异...     

利用SSO加速最佳路径森林聚类的网络入侵检测

针对网络入侵检测系统中的一般聚类算法速度较慢和精度较低的问题,提出了一种基于简化群优化的最优路径森林聚类算法(SSO-OFC).首先,将数据集解析为图,将其节点作为样本;然后,将每个样本连接到其给定特征空间中的k-近邻,图的节点由它们的概率密度函数(pdf)值加权得到;最后,通过样本及k-近邻之间的距离计算得到pdf值.提出的算法主要贡献是快速估计最佳k值,并将最优路径森林聚类应用于网络入侵检测.在5个公开的数据集上进行实验.结果表明,SSO-OFC的精度非常稳定,除了KddCup数据集,其他数据集上的精度都在95%以上,相比基于数据聚类的SSO和自组织映射更加稳定有效.     

复杂高维数据中异常点挖掘算法研究

为了分析当前高维数据中各类异常点检测算法的性能,采用8个典型数据集,对10种代表性算法在这些数据集上进行了详细的实验分析,给出了不同算法在算法精度、ROC曲线面积及运行时间上的分析比较.实验结果表明:受到数据集分布及属性相关性的影响,同一算法在不同数据集上的效果有很大差异性,基于近邻排序的算法在各个数据集中的结果相对稳定,但其结果受k值的影响较大;和其他算法相比,基于集成的算法效果较好,但用于集成的有效算法选择较为困难.     

散乱数据点云边界特征自动提取算法

提出一种散乱数据点云边界特征自动提取算法,该算法采用R* -tree动态空间索引结构组织散乱数据点云的拓扑关系,基于该结构获取采样点的k近邻点作为局部型面参考数据,以最小二乘法拟合该数据的微切平面,并将其向微切平面投影,根据采样点与其k近邻所对应投影点连线的最大夹角识别散乱点云边界特征.实例验证该算法可快速、准确地提取散乱数据点云的边界特征.     

融合相对密度与近邻关系的密度峰值聚类算法

密度峰值聚类算法(density peaks cluster,DPC)是一种基于密度的聚类算法,该算法可以聚类任意形状的类簇.在类簇间有密度差距的数据集上,DPC不能准确地选择聚类中心.DPC的非中心点分配策略会引起连续错误,影响算法的聚类效果.模糊k近邻密度峰值算法(fuzzy k-nearest neighbor DPC,FKNN-DPC)是一种改进的DPC算法,该算法采用边界点检测并结合2步分配策略来避免连续错误.当类簇间有密度差距时,FKNN-DPC的边界点检测效果不理想,此外,其非中心点分配策略缺乏对样本近邻信息的考虑.定义相对密度(relative density)并结合近邻关系(nearest neighbor relationship)提出RN-DPC算法解决上述问题.针对DPC因为类簇间的密度差距而不能准确选择聚类中心的问题,定义相对密度用于消除类簇间的密度差距.基于反向k近邻关系检测边界点并且引入共享最近邻关系来对FKNN-DPC的分配策略进行改进.RN-DPC算法在人工数据集和真实数据集上分别与不同的聚类算法进行了对比,实验结果验证了RN-DPC算法的有效性和合理性.     

基于密度峰值聚类的电力大数据异常值检测算法

为了解决传统算法检测准确性低,复杂性高不适于电力大数据异常值检测的问题,通过密度峰值聚类算法研究了电力大数据异常值检测问题。分析了密度峰值聚类算法的聚类过程。按照聚类中心选择原则,通过相邻距离和密度的归一化乘积对聚类点的差异度进行衡量,按照差异度的统计特性与改变趋势选择最大的一组点当成聚类中心。按照z空间填充曲线与高维数据点z携带位置信息特性提出基于z的分布式密度峰值聚类算法,降低异常检测复杂性,以达到电力大数据异常值检测要求。采用优化后的密度峰值聚类算法对电力大数据异常值进行检测,在局部密度超过阈值,同时距离超过阈值的情况下,认为相应电力数据点为异常值。将基于距离的检测算法和基于密度的检测算法作为对比进行测试,结果表明:所提算法得到的异常电力数据点,和实际情况相符,和其他两种算法相比没有出现错检测和漏检测的情况。可见所提算法适于电力大数据异常值检测,且检测结果准确性高。     

高光谱图像半监督局部稀疏嵌入降维算法

针对目前高光谱图像半监督降维算法中基于流形学习的开放性选择近邻参数问题,以及利用传统算法不能有效地获取标签数据的局部信息,提出了一种无需考虑近邻参数的半监督局部稀疏嵌入（SELSE）算法.该算法基于稀疏表示理论,通过求解范数优化问题构建稀疏系数图,并且利用有限的标签数据最大化类间信息,提取高光谱图像的特征.在AVIRIS高光谱遥感图像的Indian Pine数据集上进行仿真实验,结果表明所提出算法在分类精度和计算效率上都有所提高.     

基于空-时近邻与似然比检验的传感器网络异常点检测

针对传感器网络中由于传感器故障造成的异常点检测问题,该文提出一种基于传感器与其空-时近邻点在测量数据之间的差异,采用似然比检验来判断传感器是否故障的异常点检测方法。在空间维,该方法基于最大后验概率选取待检测传感器当前时刻的空间近邻点;在时间维,该方法选取待检测传感器在之前若干个时刻的测量值作为其时间近邻点。然后根据待检传感器与其空-时近邻点测量数据之间的差异对其异常程度进行量化,并采用似然比检验判断待检测传感器是否故障。结果表明:该方法与已有的异常点检测方法相比,在相同的虚警率下取得了更高的检测率。例如在虚警率为10%时,该方法将检测率提升了10%~30%。     

二次近邻稀疏重构法及人脸识别

基于整个数据集的稀疏表示(sparse representation classification,SRC)用于人脸识别在很大程度上影响了运行效率.如何利用较少样本稀疏表示在保证计算效率的同时,识别率也有一定提升,尤其是面对光照、角度、姿态等非受控环境,目前仍是一个问题.考虑到协同表示(collaborative representation classification,CRC)基于l2范数稀疏求解的优势,为进一步提升CRC的整体分类性能,引入类内近邻,提出一种二次近邻稀疏重构表示法.该方法首先在原始训练集上选择各类训练样本中与待测样本距离相近的若干样本组成近邻样本集,并协同表示,接着分别用各类近邻样本重构待测样本,再次选择与待测样本相近的若干重构样本协同表示,最终实现模式分类.在ORL和FERET数据库上的仿真实验表明,相比现有的一些CRC算法,该方法在一定程度上缩短了运行时间,并使识别更精确.     

基于受限玻尔兹曼机的Web服务质量预测方法

针对协同过滤算法无法有效处理数据稀疏的问题,提出1种基于受限玻尔兹曼机的Web服务质量(QoS)预测方法;第1阶段使用受限玻尔兹曼机模型对所有缺失的QoS值进行预测,并对原始的QoS矩阵进行填充;在第2阶段基于该QoS矩阵进行全局邻居筛选,同时将受限玻尔兹曼机引入到用户近邻的协同过滤模型中,以预测目标QoS值。研究结果表明:该方法能提高QoS预测精确度,在一定程度上降低数据稀疏对预测的影响。     

一种改进的毫米波雷达聚类算法

针对毫米波雷达数据均匀性差,数据量小,噪点多等问题,提出一种基于DBSCAN (density-based spatial clustering of applications with noise)的雷达自适应聚类算法.改进算法能够根据K近邻距离和目标反射截面自适应调整聚类半径.首先给出一种聚类半径根据K近邻距离动态调整的机制:目标第K个近邻的距离与阈值相比较,以确定阈值半径取值.再提取雷达提供的目标反射截面,基于该值计算目标假象半径作为聚类半径的补充量.实现根据目标反射截面与数据稀疏程度自适应聚类的效果.将改进算法与不同参数的DBSCAN聚类算法在真实雷达点云数据进行实验对比.相较于选取合适参数的DBSCAN算法,改进算法能够更好适应毫米波雷达点云特征,对行人目标识别准确率提高4.18％,对车辆目标识别准确率提高5.63％.     

一种基于t-分布随机近邻嵌入的文本聚类方法

文本数据具有高维、稀疏、海量的特性,给传统的聚类算法带来了极大挑战.提出一种基于t-分布随机近邻嵌入(t-Distributed Stochastic Neighbor Embedding,t-SNE)的文本聚类方法.首先通过t-SNE将高维文本数据嵌入到低维空间,使得高维空间相似度较低的文本对应的映射点距离较远,而相似度较高的文本对应的映射点距离较近;然后根据低维空间映射点坐标,再采用传统的聚类分析算法进行聚类,得到最终的聚类结果.在多个基准文本数据集上进行了实验测试,验证了该方法的有效性.     

基于AP-LOF离群组检测的配电网连接验证

现有配电网连接验证工作将可疑异常值视为具有二元属性的独立个体,因此难以有效识别和验证具有高度内在相关性的局部离群组.针对这一问题,提出了基于AP-LOF离群组检测的配电网连接验证方法.通过引入近邻传播(affinity propagation,AP)聚类方法,将待校验台区用户聚类为多簇,并基于局部离群因子(local outlier factor,LOF)算法对所有簇心进行离群点检测,从而准确识别出台区内的离群组用户.以某电力公司实际用户电压数据进行算例分析,结果证明了AP-LOF算法在配电网连接验证中的适用性和有效性.     

基于不同数据集的协作过滤算法评测

针对协作过滤算法评测中普遍采用单一数据集,该文将传统的User-based(近邻数为20)、Item-based、Itemaverage、Item user average和Slope One 5种算法应用于MovieLens和Book-Crossing两种数据分布特征不同的数据集。结果显示,在Movielens这种评分值相对比较稠密的数据集上,Slope One算法的预测精度最好;而在评分值相对比较稀疏的Book-Crossing数据集上,Item-based算法的预测精度最好,Slope One的预测精度最差。选择算法应根据用户和资源分布具体情况确定。     

基于信息熵属性赋权的谱聚类算法研究

针对谱聚类算法在处理较大规模的样本时,在存储空间和计算时间上都存在瓶颈问题,文章分析了目前常见的两种解决方式,即基于稀疏化t近邻的谱聚类和基于Nystr9m矩阵低秩逼近的谱聚类方法.为了进一步提高这两种谱聚类算法的准确度,提出了采取基于信息熵属性赋权的欧式距离来计算样本间的相似度的方法.首先,计算样本各属性的权重;然后,计算样本间的相似度矩阵并应用到稀疏化t近邻的谱聚类和Nystr9m矩阵低秩逼近的谱聚类方法中;最后,在多个数据集上进行了验证.实验结果表明该方法在一些数据集上的聚类精确度要比原来谱聚类算法高,尤其在Pendigits数据集上,基于信息熵赋权的稀疏化t近邻谱聚类比稀疏化t近邻谱聚类方法精确度提高15.11%.     

基于DS的孤立点检测在瓦斯浓度判定中的应用

对几种孤立点检测算法进行介绍,总结它们的特点.针对孤立点检测算法的一些弊端和瓦斯浓度的实际情况,选择一个基于DS(距离和)的孤立点检测算法实现对瓦斯浓度的异常数据进行分析处理,找到真正的异常数据,保证煤矿安全预警的准确性.     

基于近邻模型与概率矩阵分解的高校选课推荐算法

为研究高校教务信息管理系统中学生自主在线选课的个性化推荐问题,采用基于近邻模型与概率矩阵分解相融合的改进算法.通过衡量学生(选课)之间的相似关系寻找相似学生(选课),再将与学生(选课)相似性最大的邻居集合应用到基于概率矩阵分解的协同过滤推荐算法中,最终依据预测评分值和限制条件给出Top-K推荐结果排序.原型系统测试实验结果表明:改进算法更适用于高校选课推荐应用,并能够有效地解决数据稀疏问题.     

基于PCA的无监督异常检测方法研究

针对现有的无监督异常检测技术的不足之处,提出了一种基于样本分布异常数据实例度量方法;将主成分分析方法应用到异常检测中解决数据集高维数据的降维问题.提出一种新的无监督异常检测算法μ-UAD,并对该算法进了性能评估.实验表明,该算法具有较好的检测性能.