高维离群检测算法及其应用

离群检测的目的在于找出隐含在海量数据中相对稀疏而孤立的异常数据模式.由于高维数据的特殊性,传统的离群挖掘算法往往不适合发掘高维空间中的离群点.本文将蚁群算法用于改进超图模型,提出了一种新的离群检测算法--AHHDOD算法,在检测出离群数据模式的同时给出离群点的归属.经检验,该算法能有效收敛于最优解,且其时间复杂度更低.最后,将该方法应用于矿难预警检测中,能对可能出现的危机状况给出预警提示.实验证明,该方法取得的预警结果是可信的和可接受的.     

基于免疫聚类算法的离群数据挖掘

离群数据挖掘是数据挖掘研究的重要内容,在实际生活中获得广泛应用.论文结合了免疫算法全局搜索的优点和K-均值方法局部收敛速度快的特点,提出了一种基于免疫聚类算法的离群数据挖掘方法,有效地克服了传统聚类方法对初始化敏感、容易陷入局部最优等缺点,使聚类结果能够快速收敛到全局最优,有效地检测离群数据.实验结果表明,该方法实用有效的.     

基于改进尺度的CDC／MVT离群点去除算法

针对基于多向主元分析(MPCA)(包括PCA)的统计监控模型易受建模数据中离群点影响的不足,提出了一种基于改进尺度的CDC/MVT建模数据离群点去除算法。该算法将改进尺度的CDC与MVT相结合,首先利用改进尺度得到离线建模正常数据的均值和标准差,并对数据进行中心化和标准化处理;然后利用CDC算法找出建模历史数据中最一致的一半正常点;最后用这最一致的一半正常点初始化MVT的马氏距离的均值和协方差,并通过迭代计算得到其它的正常点。将该算法应用于β-甘露聚糖酶发酵批过程离群点的去除,与其它鲁棒离群点检测算法相比,应用结果表明该算法能有效地去除建模数据中的离群点。     

基于小波分析和非线性映照的多维异常样本检测方法

数据预处理对于数据挖掘及其它基于数据样本的系统建模极为重要。数据预处理的一项重要任务是从大量数据样本中剔除异常样本,但在数据集中各数据项间关系未知的情况下,检测异常样本比较困难,为此,提出了一种基于小波分析和非线性映照的异常数据样本检测方法。该方法通过非线性映照对多维数据进行降维处理后,利用小波分析的局部分析优势检测异常样本。仿真结果表明,该方法切实可行,效果良好,有较强的实用性。     

一种基于混合分类器的异常检测模型

针对网络的异常检测方法对未知攻击难以提供更多有用信息的缺点,提出一种基于分类器的异常检测模型。模型首先采用支持向量机对网络连接进行异常检测,然后将检测获得的异常作为输入进入聚类模块以得到其更多信息,其中聚类模块由自组织映射算法与信息获取算法共同完成。通过对检测到的异常进行信息获取的方法可以获得未知入侵的更多有价值的信息。最后应用kddcup99数据集进行仿真实验,实验结果表明,该检测模型具有较好的检测率和较低的误报率,并且该模型对于获得未知入侵的更多信息是有效的。     

基于引力的入侵检测方法

将万有引力的思想引入聚类分析，提出一种基于引力的聚类方法和度量聚类异常程度的引力因子概念，同时给出了一种计算聚类闽值的简单而有效的方法，在此基础上提出一种新的入侵检测方法GBID，GBID关于数据库的大小、属性个数具有近似线性时间复杂度，这使得GBID具有好的扩展性。在KDDCUP99数据集上的测试结果表明，GBID在准确性方面优于文献中已有无指导入侵检测方法，且对新的入侵有一定的检测能力。     

一种基于查询密度聚类的异常检测算法

现有入侵检测研究多集中在网络和操作系统,而数据库系统具有自己的结构和语义,针对数据库特点的入侵检测是现有数据库安全机制的重要补充。提出一种数据库异常检测算法,该算法对数据库查询进行密度聚类,并通过聚类的核心对象来建立正常轮廓。说明了该算法的训练、检测、增量更新方法和查询执行前检测算法,并通过实验和实例对算法的性能和应用做了分析。     

基于ADASYN与改进残差网络的入侵流量检测识别

针对现有入侵流量检测模型分类准确率低、小样本特征提取不足等问题, 提出了一种基于自适应合成采样和Inception-Resnet模块的改进残差网络算法。该算法能够对不平衡数据集进行采样优化, 有效提升模型的小样本特征提取能力。首先, 通过对不平衡的数据训练集进行过采样改善数据分布, 然后对非数据部分进行独热编码处理并与数据部分整合, 降低预处理复杂度, 最后利用改进残差网络模型进行数据训练, 并进行性能评估和算法效能对比。实验结果表明, 改进残差网络模型对入侵流量的检测准确率在多分类和二分类情况下分别达到89.40%和91.88%。相比于经典深度学习算法, 改进残差网络模型的准确率更高, 误报率更低, 具备较高的可靠性和工程应用价值。     

基于加权双质心支持向量聚类的机群编队分组

针对机群编队分组问题,提出了一种加权双质心支持向量聚类算法。所提算法在支持向量训练时引入最大熵原理,快速求解Lagrange乘子;针对样本特征对聚类结果的贡献不同,在聚类标识过程中,引入加权密度质心,提出了加权双质心聚类标识,并在典型数据集上验证了所提算法的有效性。通过对机群编队分组模型的描述,建立了机群聚类时一个目标点需要的特征集,完成了编队分组的仿真实验。仿真结果表明了所提算法能够针对应用的具体样本集实行快速聚类分析,并保证聚类结果的有效性。     

基于模糊聚类分析的入侵检测方法

提出了一种新的基于模糊聚类分析的入侵检测数据处理方法,该方法能够较为准确地区分正常和入侵进程,具有计算速度快、耗用资源少等特点。通过使用模糊聚类,还可以提炼出精简准确的分类规则。由于对数据中的孤立点采用了特殊的处理方法,因此对产生聚类规则的训练数据库进行添加和更新,该检测方法具有较强的可扩展性。通过仿真实验证明了该算法的有效性。     

基于抗差最小二乘配置的海底地形生成研究

最小二乘配置算法能同时顾及测深数据的系统性和随机性影响,提高海底地形的生成精度。根据该算法建立了海洋测深多波束数据的函数模型和随机模型,并构建海底地形。为避免测深数据的异常值影响,进一步推导了基于抗差估计的协方差函数求解公式,提出抗差最小二乘配置算法生成海底地形。利用多波束数据生成海底,结果显示抗差最小二乘配置算法能在构建海底地形的同时准确剔除测深异常。将构建的地形与双线性多项式内插生成的海底进行比较,进一步说明了该算法具有较高的海底地形生成精度。

Abstract：

Seabed terrain generating precision can be improved by least-squares collocation algorithm which takes the systematic and stochastic effects in the bathymetry data. The functional model and stochastic model of the algorithm were created by multibeam bathymetry data,and the method of creating seabed terrain by Least-squares Collocation was researched. To avoid the effect of outliers in bathymetry data,covariance function was calculated by robust estimation,and the Robust Least-squares Collocation algorithm for terrain generation was proposed. It was applied to the real bathymetry data set,and the results indicate that the outliers are detected by the algorithm while the seabed terrain is generated. In the remainder,the terrain grids was compared with which created by bilinear polynomial interpolation algorithm,and it is proved that the Robust Least-squares Collocation algorithm can get higher precision of seabed terrain generation while detecting outliers.     

一种基于混合策略的孤立点检测方法

孤立点检测面临数据不平衡和代价敏感两个问题。利用改进的一类支持向量机对数据集进行重构,并结合代价敏感支持向量机提出了一种混合策略检测方法。首先在传统的一类支持向量机优化过程中设定不同权重,通过刻画超平面消除部分正常样本进而平衡数据集;重构过程保留了孤立点信息,同时能克服数据混叠现象。通过代价敏感支持向量机对样本进行训练,利用受试者工作特征分析作为评判依据搜索最优参数,进而调节阈值获得孤立点检测模型。仿真实验结果表明,本文方法能提高检测精度,同时有效降低总的误分类代价。     

鲁棒原子范数降噪及其在线谱估计中的应用

针对测量数据中含有异常值的线谱估计问题,提出了一种对异常值鲁棒的原子范数降噪方法来提高线谱估计的性能。该方法构建了一个可以联合估计出异常值及原始信号的优化问题,并在代价函数中加入l₁范数和原子范数惩罚项来分别对异常值的稀疏性和信号本身的特性进行约束。一旦获得了该优化问题的解,那么就可利用现有的算法对降噪后的信号进行线谱估计。仿真结果表明,在数据中存在异常值的情况下,所提的算法能够更准确地恢复原始信号,从而使降噪后的谱估计的精度和分辨率明显提高。     

Forecasting Container Throughput of Qingdao Port with a Hybrid Model

This paper proposes a hybrid forecasting method to forecast container throughput of Qingdao Port.To eliminate the influence of outliers,local outlier factor(lof) is extended to detect outliers in time series,and then different dummy variables are constructed to capture the effect of outliers based on domain knowledge.Next,a hybrid forecasting model combining projection pursuit regression(PPR) and genetic programming(GP) algorithm is proposed.Finally,the hybrid model is applied to forecasting container throughput of Qingdao Port and the results show that the proposed method significantly outperforms ANN,SARIMA,and PPR models.     

基于模糊预测系统的观测数据野值剔除方法

针对观测数据序列中影响数据处理和分析的野值,提出了一种在线辨识和剔除野值的方法。该方法利用梯度下降法构造最小均方准则下最优的观测序列模糊预测系统,从而获得预测值与观测值的残差序列,然后基于狄克松准则快速辨识并剔除观测数据中的异常值。对实测数据的仿真实验表明:该方法能够准确跟踪观测信号的变化,适合于各种观测信号单个性野值的辨识和剔除。     

抗“飞点”的UKF GMPCPHD滤波算法

为实现被动测角目标状态和数目的实时估计,在高斯混合粒子（Gaussian mixture particle, GMP）的势化概率假设密度(cardinalized probability hypothesis density, CPHD) 滤波框架下,提出了基于抗“飞点”无迹卡尔曼滤波器（unscented Kalman filter, UKF）的GMPCPHD滤波算法,即抗“飞点”的UKF GMPCPHD滤波算法。在该算法中,粒子滤波的重要性采样函数由抗“飞点”UKF产生,粒子的预测与更新采用拟蒙特卡罗(quasi Monte Carlo, QMC)方式,目标状态的概率假设密度（probability hypothesis density, PHD）和势分布用一组高斯粒子滤波器（Gaussian particle filtering, GPF）近似。通过该算法与GMPCPHD、UKF-GMPPHD滤波算法的对比仿真,验证了该算法良好的跟踪性能。     

一类快速模糊支持向量机

由H.P.Huang、C.F.Lin等人和T.Inoue,S.Abe等人提出的两类模糊支持向量机是两种类型的改进支持向量机,分别克服了过学习问题和减少了多类问题分类时存在的不可分区域。如何处理异常数据和加速训练大规模数据集是支持向量机中的急需解决的两个问题。针对这两个问题,提出了一类将两类模糊支持向量机集成的快速模糊支持向量机。训练时,根据每类数据与其类中心的距离,定义隶属函数,以加大对容易被错分样本的惩罚,利用合适的参数λ选取了每类数据中隶属度值较大的边缘数据构造模糊支持向量机,测试时,利用1-a-1和模糊支持向量机的决策函数判定未知样本的类别。含有异常数据的两类问题和机器学习数据集中手写数字识别的多类问题的实验结果,验证了提出的快速模糊支持向量机减少了训练时间同时提高了学习机的推广能力。     

基于稳健回归的TTE时钟补偿算法

时间触发以太网(time-triggered ethernet, TTE)通过精确的时间调度,保证了通信数据的实时性传输,满足了航空电子、运输及工业自动化等众多领域中关键安全系统的传输要求。然而,现有的TTE标准虽然规定了时间触发以太网的时钟同步流程,但未对时钟补偿问题给予具体解决方法。针对TTE的时钟同步特点,提出了一种基于稳健回归的时钟同步补偿方法。通过稳健回归算法对时钟误差进行估计,再根据估计误差对各节点的本地时钟进行补偿,所提出的算法成功解决了传统时钟补偿方法导致的时钟跳变和野值影响的问题。仿真结果也证实了,在野值比例不大于50%的情况下,所提算法在时钟同步精度方面明显优于传统的直接补偿算法和无稳健性的最小二乘补偿算法。     

采用属性相关分析的异常数据检测方法

为了发现数据库中的异常数据,提出了两个数据项集之间相关可信度的新概念,并研究了基于该度量的异常数据检测规则的计算算法,产生的规则适合于离散型属性孤立点的检测。在计算检测规则中,最小相关可信度阈值不需由用户指定,而是根据1〖CD*2〗数据项集的频率确定;利用相关可信度的性质,可以减小检测规则计算算法的时间复杂度。实验结果表明,采用该方法计算获得的相关规则进行异常数据检测,不仅效率较高,而且检测的准确率、查全率也较高。