航迹点特征的时间窗分割算法的航迹聚类

现有航迹聚类算法未考虑到航空器航向变化和高度下降等因素对聚类结果的影响,同时聚类过程中缺乏时间信息,另外实测二次雷达数据中存在离群点异常数据,离群点的存在会影响最终的聚类效果,使得聚类结果不准确。提出基于航迹点特征的时间窗分割算法,将航空器进场的航向变化值以及高度下降值作为确定聚类簇大小的影响因素,对进场航空器航迹点数量进行时间窗分割。对真实的进场二次雷达数据仿真分析,从仿真结果中可以看出当影响因子a为0.4时,航迹的曲率最小,聚类效果最好,进而采用层次聚类算法对不同LOF值所对应的航迹点进行聚类,得到最后的聚类结果可以为管制员现场指挥提供技术指导。     

数据挖掘技术的深入研究

讨论了数据挖掘技术的研究进展 ,并对四种方法进行了深入的研究 :关联规则、离群数据、基于案例的推理、支持向量机 ,最后提出一个基于数据挖掘技术的智能决策支持系统的框架和模型     

数据密集型计算环境下离群点挖掘算法设计与实现

在数据密集型计算环境中,数据具有海量、高速变化、分布存储和异构等特征,对数据挖掘算法的设计与实现提出了新的挑战.基于MapReduce模型,提出了一种网格技术与基于LOF方法相结合的离群点挖掘算法MR_LOF.Map阶段采用网格进行数据约简,将代表点信息发送给主节点;Reduce阶段使用基于密度的离群点挖掘算法,借助网格期望值E筛选出稠密区域.该算法只需计算稀疏区域对象的LOF值,降低了算法的时间复杂度.实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘.     

Outlier Detection in Regression Models with ARIMA Errors using Robust Estimates

A diagnostic procedure for detecting additive and innovation outliers as well as level shifts in a regression model with ARIMA errors is introduced. The procedure is based on a robust estimate of the model parameters and on innovation residuals computed by means of robust filtering. A Monte Carlo study shows that, when there is a large proportion of outliers, this procedure is more powerful than the classical methods based on maximum likelihood type estimates and Kalman filtering. Copyright © 2001 John Wiley & Sons, Ltd.     

基于AP-LOF离群组检测的配电网连接验证

现有配电网连接验证工作将可疑异常值视为具有二元属性的独立个体,因此难以有效识别和验证具有高度内在相关性的局部离群组.针对这一问题,提出了基于AP-LOF离群组检测的配电网连接验证方法.通过引入近邻传播(affinity propagation,AP)聚类方法,将待校验台区用户聚类为多簇,并基于局部离群因子(local outlier factor,LOF)算法对所有簇心进行离群点检测,从而准确识别出台区内的离群组用户.以某电力公司实际用户电压数据进行算例分析,结果证明了AP-LOF算法在配电网连接验证中的适用性和有效性.     

基于新息特性抗野值Kalman预测算法

针对Kalman最优预测方法应用过程中,量测值中的野值对状态预测的不利影响,提出了一种基于新息正交特性实时估计量测方差的新算法.该算法使得修正的量测方差能够保持修正前的新息正交性,从而改变Kalman最优增益,修正状态预测值,使得预测误差的方差为最小.仿真结果表明,该算法能够克服野值对状态最优预测值的不利影响,提高了跟踪精度.     

基于改进RBF网络的过程工业时间序列预测方法

基于残差思想的异常数据检测方法的关键之处在于对数据的准确预测.针对这一问题,提出基于改进径向基网络(radial basis function network,RBFN)的过程工业时间序列预测方法,该方法通过改变RBF网络的输入形式,使改进后的RBF网络能够更方便地引入遗忘因子以及惩罚因子,以适应于基于残差思想的异常数据检测方法要求的动态性能和鲁棒性.通过理论证明改进的RBF网络与传统RBF网络的等效性,并通过实验比较证明改进后的RBF网络较传统的网络结构更简单,参数意义更明确.     

教育大数据下基于离群检测的教学预警模型

针对在线教学过程中教学方案缺乏针对性、教学效果评估和反馈缺乏时效性的问题,在量化数据与相似度排序的基础上提出基于学习过程和学习成绩的分析算法,通过规则检测与离群检测建立了交互式教学系统中的预警模型,实现了基于学习行为分析的自动干预和主动干预。预警信息可视化结果表明,参与交互的各方均能够直观、高效地获取预警信息,对学习效果和学习成功率的提升起到了促进作用。     

基于离群点检测的K-means算法

K-means算法以其简单、快速的特点在现实生活中得到广泛应用。然而传统K-means算法容易受到噪声的影响,导致聚类结果不稳定,聚类精度不高。针对这个问题,提出一种基于离群点检测的K-means算法,首先检测出数据集中的离群点,在选择初始种子的时候,避免选择离群点作为初始种子。然后在对非离群点进行聚类完成后,根据离群点到各个聚类的距离,将离群点划分到相应的聚类中。算法有效降低离群点对K-means算法的影响,提高聚类结果的准确率。实验表明,在聚类类别数给定的前提下,在标准数据集UCI上该算法有效降低离群点对K-means算法的影响,提高了聚类的精确率和稳定性。     

河段汇流参数抗差估计研究

当河段实测出流流量值被不服从正态分布的异常值污染时,最小二乘法不能获得参数最优估计.为此,采用崩溃率为20%、附有条件的抗差最小二乘法估计马斯京根汇流参数最优值.通过对闽江永安河段理想模型参数的计算,比较了参数抗差最小二乘法与最小二乘法抵抗2类误差的效果.结果表明,抗差最小二乘法能排除异常值对参数估计的影响而获得稳健性的参数.