基于改进孤立森林算法的风电机组异常数据清洗

风电机组的风速、功率数据是衡量风电机组正常运行的关键参数,然而其中包含大量的异常数据,需要进行清洗。该文提出一种改进的孤立森林算法,先使用四分位法确定孤立森林正常数据评分与异常数据评分的分界线,再划分风速区间改变边缘数据的异常性,最后使用最小二乘法曲线拟合去误差去除小概率离散型和小概率堆积型异常数据的改进方法来对风速、功率的异常数据进行清洗。结果表明：与传统的孤立森林算法相比,改进的孤立森林算法能够正确界定正常数据评分与异常数据评分的分界线,可以去除堆积型异常数据,且对于数据主带边缘的离散型异常数据具有更好的清洗效果。     

基于孤立森林算法的电能量异常数据检测

随着电力系统信息化建设的深入,用户对于电能量数据的质量要求逐渐提高,因此保证海量电能量数据的准确性、可靠性以及完整性具有重要意义.本文采用一种基于孤立森林的异常检测算法,实现大规模电能量数据的异常检测.孤立森林算法通过划分大规模电能量数据集,生成随机二叉树和孤立森林构建模型,通过计算测试电能量数据样本到每棵树的根结点的距离检测异常数据点.该算法不仅能够快速处理海量数据,而且结果准确、可靠性高.本文在大规模电能量数据的正向有功总电量PAP和反向有功总电量RAP字段上进行检测,实验结果表明,该算法检测效率较高,并具有较高的检测正确率.     

一种基于BIRCH的异常检测技术

文章针对KNN存在的复杂度过高的问题,提出应用把BIRCH算法的层次聚类思想近似地计算weight的Bireh Out算法,以降低其复杂度,同时利用孤立点挖掘的思想做异常检测．通过在KDD99数据集上的实验,我们验证了算法的有效性．     

富属性异质信息网络的可约束异常检测

针对仅考虑网络结构来对异质信息网络进行异常点发现可能带来的结果失真、难以理解等问题,提出一种富属性异质信息网络的可约束异常检测算法.通过将信息丰富的交互数据建模成富属性异质信息网络,以带属性元路径来指定用户感兴趣的属性和子空间,综合网络结构和属性内容两方面来评估节点的异常度,给出了可约束的异常检测算法框架.在Arxiv真实数据集上进行了实验,以带属性元路径来指定对作者、论文及论文的标题和摘要等方面的约束,对多个查询输出了异常度从高到低的节点列表及约束域异常点集合.结果表明:相比仅考虑网络结构或仅考虑属性内容的基准算法,平均准确率提高12.95%以上.     

基于稀疏表征的异常点检测方法

为了提高异常检测算法在高维数据上的性能,提出了一种基于稀疏表征的孤立点检测(ODSR)方法.将实例表征为其他实例的稀疏线性组合,得到所有实例的近邻关系矩阵,并使用基于图谱理论的谱聚类方法识别异常点.该方法具有自动选择近邻的优势,能有效地得到近邻关系,并解决传统近邻算法中的k值选择困难问题.将ODSR与6种流行的异常检测算法在11个真实数据集上进行了综合实验比较,结果表明ODSR的复杂度及曲线下面积(AUC)值及稳定性更高.     

异常数据挖掘在Web服务器日志文件中的应用

讨论了基于距离的异常点检测算法,分析了使用该算法进行异常点检测时效率较低、需要设置参数、算法实现困难等缺点;利用基于距离和的异常点定义方法及基于抽样的近似检测算法实现Web服务器日志文件的异常数据检测.实验结果表明了算法的有效性.     

基于密度子空间孤立森林的异常用电检测

针对传统异常用电检测在面临高维数据中的维数诅咒,以及不相关特征对异常检测的影响,造成检测精度低等问题。提出了一种基于无监督密度子空间选择的孤立森林检测算法。首先,提出了一种有效的基于密度的紧凑数据表示方法,提高了子空间选择策略的效率。然后,应用最小冗余-最大相关-密度准则(min-Redundancy-Maximum-Relevance-to-Density , mRMRD),用于选择基于互信息的相关子空间。最后,在相关子空间中构建隔离树并集成孤立森林,实现对异常用电数据的检测。通过实验分析,与传统检测算法相比,所提方法在准确率、ROC曲线下面积（Area Under Curve,AUC）、F1-Score指标上均有提升,提高了异常用电检测的效果。同时,灵敏性分析也验证了无监督密度子空间孤立森林检测算法的有效性。     

基于邻域和密度的异常点检测算法

为了减少基于密度的异常点检测算法邻域查询操作的次数,同时避免ODBSN(Outlier Detection Based onSquare Neighborhood)中有意义异常点的丢失和稀疏聚类中的对象靠近稠密聚类时导致错误的异常点判断,提出了一种基于邻域和密度的异常点检测算法NDOD(Neighborhood and Density based Outlier Detection)。NDOD吸收基于网格方法的思想,以广度优先扩张方形邻域,成倍地减少了邻域查询的次数,从而快速排除聚类点并克服基于网格方法中的"维灾"。新引入的基于邻域的局部异常因子代表候选异常点的异常程度,用于对候选异常点的精选,可避免ODBSN的缺陷,发现更多有意义的异常点。大规模和任意形状的二维空间数据的测试结果表明,该算法是可行有效的。     

基于角度分布的高维数据流异常点检测算法

为了有效检测高维数据流中的异常点,提出一种基于角度分布的高维数据流异常点检测(DSOD)算法.运用基于角度分布的方法准确识别高维数据集中的正常点、边界点以及异常点;构造了基于正常集、边界集的小规模数据流型计算集,以降低算法在空间以及时间上的开销;建立了正常集、边界集的更新机制,以解决大数据流的概念转移问题.在真实数据集上的实验结果表明,所提出的DSOD算法的效率高于Simple VOA算法与ABOD算法,并且适用于大数据流上的异常点检测.     

基于瀑布型混合技术的异常检测算法

针对隔离森林(iForest: isolation Forest)算法对局部异常点检测能力较低, LOF(Local Outlier Factor)算法 检测时间较长的问题, 提出了基于瀑布型混合技术的隔离森林算法 iForest-WHT(isolation Forest based on Waterfall Hybrid Technology)。 该算法借鉴瀑布型混合技术思想, 将隔离森林算法作为过滤器, 以分割路径为阈 值判断依据, 将路径小于阈值的数据放入候选异常子集, 继而使用考虑极值影响的改进的 LOF 算法对候选异 常子集进一步精化, 得到更加精确的异常点。 实验结果证明, 该算法能以较高的效率识别局部异常点, 提高了 算法的 F 1 值, 并且降低原 LOF 算法的误检率。     

基于卷积神经网络的重力异常反演

重力异常反演是地球勘探中常用的方法,它是通过地表观测重力异常推断地下介质的密度分布。针对传统反演方法存在的多解性、初始模型依赖和计算时间较长等问题,本文提出一种基于卷积神经网络(CNN)的重力异常反演方法,该方法首先通过大量正演计算获得训练数据集;然后采用该数据集训练CNN网络,使其建立从地表观测重力异常到地下密度模型之间的映射关系;最后将重力异常数据输入到训练好的卷积神经网络,得到对应的地下密度模型。实验结果表明,该方法能快速、准确的反演出地下重力异常体的密度、位置和形状,具有较强的泛化能力,能有效解决重力异常反演问题。     

基于Petri网的TCP协议异常检测模型

从面向连接的角度出发，以Petri网为工具，建立了TCP协议异常检测模型．该模型以TCP协议的状态变迁图为基础，并根据协议规范可对传输报文的标志位进行系统的分析，从而识别出标志位非法组合构成的畸形报文（FIN—RST报文）．模型中规定了各种状态下可接收的标志位集合，同时还细化了各状态下的超时异常，据此可准确地检测出各种异常，以抵御已知和未知的非法行为．利用该模型不仅可发现已知异常事件，还可对未知漏洞进行防范．通过实验发现，网络中的错误标志位报文、端口扫描以及DOS攻击产生的异常流量将占到总流量的10%以上．     

基于模型共享的分布式无监督异常检测

提出一种具有通用性的分布式异常检测框架.首先,利用本地的无监督异常检测算法,建立多个本地检测模型;然后,将各个本地无监督检测模型转换成统一的共享模型;最后,采用集成学习的方法,综合考虑各模型差异性和准确性,实现全局异常检测.实验结果表明,基于模型共享的分布式异常检测不仅能有效地保护数据隐私,减少通信开销,同时能获得和集中式检测相当甚至在某些情况下更好的效果.     

堤坝隐患检测试验研究

根据对堤坝隐患检测的实践和效果，从堤坝外在条件和内部结构特点，联系隐患自身性质，探讨了利用地质雷达（GPR）和瑞利波探测隐患的原理、方法和效果。试验表明，这两种方法相结合，可互补各自测试方法的不足，较有效、快速地检测堤坝中的裂缝、孔穴、软弱夹层等隐患。     

伊拉克A油田地震异常体识别与成因分析

A油田地震资料上广泛存在地震反射异常，其表现为地震同相轴局部的下凹、错断，目前对地震异常体识别及成因机制未开展深入研究，没有取得明确的认识，影响了研究区油气勘探进程。利用相干、方差、似然等多种地震属性进行了地震异常体识别。结果表明，地震异常体横向延伸距离很短，纵向延伸距离变化较大，从几十米到上千米不等，其在平面上为近似圆形，多数没有明显的分布规律，少数为线状或雁列状分布。根据目的层构造演化过程、地应力及岩芯资料对地震异常体成因进行了综合分析。结果表明，地震反射异常体是溶蚀作用和挤压作用的综合结果。早期目的层发生了溶蚀作用，但溶蚀作用强度在平面上和垂向上分布不均匀，由于后期挤压作用较弱，只在局部脆弱的地方发生了断裂。部分异常体是目的层主要纵向油气运移通道，破坏了下部层系圈闭的完整性。     

一种用于异常检测的网络流量抽样方法

为了减小抽样数据对网络异常检测的影响,提出了一种新的可变抽样率的网络流量抽样方法.通过利用哈希模式匹配算法,将到达的数据报文按流标识分类并记录下该报文在流中的位置,然后根据报文所属流的位置顺序减函数来设置不同的报文抽样概率.实验结果表明,所提方法增加了短流报文的抽样概率,解决了由于随机报文抽样方法偏向于长流抽样而导致的网络异常丢弃的问题,从而提高了异常检测的正确性.     

钦杭成矿带南段文地幅水系沉积物 地球化学异常识别

 基于野外地质调查工作基础上,应用统计方法和分形方法对文地幅1∶5万水系沉积物地球化学数据进行异常下限的确定,并基于不同异常下限结果绘出异常图,与矿点进行叠合。结果表明,通过常规统计法确定的Au、Ag、Cu、Pb、Zn异常下限分别为1.62 ng/g、0.12 ng/g、22.59 μg/g、104.00 μg/g、77.73 μg/g,分形方法确定的异常下限分别为8 ng/g、0.325 ng/g、220 μg/g、460 μg/g、2240 μg/g。在空间上,应用分形方法圈定的异常与矿点叠合的更好,可以更加有效的降低非矿引起的异常范围,减少徒劳的异常查证,提高了找矿效率。     

基于出租车轨迹数据的交通异常识别算法研究

为了实现基于出租车轨迹数据的交通异常识别,本文首先以城市栅格地图模型为框架,提出了一种针对城市路网的多光谱分隔算法,并根据城市路网分别从区域增长与区域融合两种角度实现了多光谱地图的分割。其次在分割的城市路网基础上,设计了交通异常的识别算法。算法依据单元区域内道路网络拓扑结构构建交通异常图,然后根据出租车路径选择模式的历史规律计算每个单元区域内不同路径上的出租车轨迹流量的变化,最后根据三倍均方差指标识别单元区域内的交通异常。文章最后以哈尔滨为例进行了算例分析,算例结果表明,本文提出的异常识别算法取得了良好的效果,验证了算法的有效性及准确性。     

基于图像纹理分析的海域磁异常分区

将图像纹理分析技术应用于海洋磁异常资料的分区,采用Gabor滤波器和灰度共生矩阵相结合的图像纹理分析方法,提取海洋磁异常的纹理特征信息,通过OKMS聚类算法实现不同纹理特征区域磁异常场的分区.模型试验结果表明,利用Gabor滤波器和灰度共生矩阵相结合的图像纹理分析方法可有效提取磁异常的纹理特征信息,对磁异常纹理特征信息的聚类分区取得较好效果.实际应用于加罗林海域磁异常的分区结果显示,加罗林海域可分为11个磁异常区块,分区结果与条带磁异常区和岩浆活动区对应较好,该方法为海洋磁异常的分区解释提供了参考依据.     

基于异常检测的入侵检测技术

对目前的异常检测技术进行了全面概述, 按照采用的不同技术将异常检测分为基于统计、 基于机器学习和基于数据挖掘3种, 阐述了各种异常检测技术的特征, 并描述了目前基于异常入侵检测系统用到的各种算法及其实现方法. 通过实验结果, 比较了各种算法的检测效果.