一种基于差异度聚类的异常入侵检测算法

基于差异度聚类分析,提出了一种新的异常入侵检测算法DCAIDA,详细介绍了基于差异度聚类分析的用户行为模型建立算法和异常入侵检测算法.通过对原始用户行为数据进行差异度聚类分析,建立用户行为模型,并依据聚类模型对实时的用户行为进行分类,以此判断是否发生入侵.在KDD CUP 1999上的仿真实验结果表明:该算法检测率高、误报率低,且对新攻击类型有一定的检测能力,可实现预期效果.     

基于正常行为聚类的卫星通信网异常检测方法

针对卫星通信网中可能出现的因地球站被捕获、盗用、伪造和非法用户入侵等严重威胁卫星通信网自身安全的问题,提出通过对地球站正常行为聚类的方法实现卫星通信网的异常检测.提出了一种改进的KFCM(komel fuzzy C-means)聚类算法,对KFCM算法初始聚类中的确定做了优化,对聚类个数的确定做了改进.同时,在数据的预处理方面提出了一种主要属性的选择方法.通过几个经典数据集和卫星地球站真实数据的实验证明,该方法具有较好的检测效果,对于卫星通信网异常检测具有较高的实用性.     

基于模糊聚类的多类簇归属电力实体行为异常检测算法

针对数字化主动电网中电力实体行为复杂化、攻击手段隐蔽化等问题,提出了一种基于模糊聚类的多类别归属异常检测算法。首先,对电力实体行为相似性的度量方式进行优化,并基于优化后的度量方法构建模糊聚类算法,通过多次迭代得到实体行为对应各类别的隶属度矩阵;其次,根据类别软划分隶属度矩阵,分别计算实体在各个类别内的近邻距离、近邻密度与近邻相对异常因子等参数;最后,分析实体在各类簇内的相对异常情况,判断该电力实体行为是否属于异常行为。结果表明,与LOF,K-Means和Random Forest算法相比,新方法具有更高的异常行为检出数量和更优的异常检测评价指标,解决了传统异常检测算法样本评价角度单一的问题,进一步提高了数字化主动电网抵御未知威胁的能力。     

ID-DC:基于分布式聚类的入侵检测方法

提出了基于分布式聚类的异常入侵检测方法ID-DC,通过对训练集进行分布式聚类产生聚簇模型,采用基于双参考点的标识算法Double-Reference标记异常簇,不需要具有类别标签的训练集且可自动确定聚簇模型的个数.实验中采用了网络入侵检测数据集KDD-CUP-99来训练模型.实验结果表明:通过采用分布式聚类算法建立的分布式入侵检测模型可有效地检测攻击,检测率高,误警率低.     

基于AP-LOF离群组检测的配电网连接验证

现有配电网连接验证工作将可疑异常值视为具有二元属性的独立个体,因此难以有效识别和验证具有高度内在相关性的局部离群组.针对这一问题,提出了基于AP-LOF离群组检测的配电网连接验证方法.通过引入近邻传播(affinity propagation,AP)聚类方法,将待校验台区用户聚类为多簇,并基于局部离群因子(local outlier factor,LOF)算法对所有簇心进行离群点检测,从而准确识别出台区内的离群组用户.以某电力公司实际用户电压数据进行算例分析,结果证明了AP-LOF算法在配电网连接验证中的适用性和有效性.     

基于网络日志的用户行为刻画与预测研究

采用基于相似度的特征聚类算法以及粗糙集模糊分析法,提出了基于网络日志的用户性格特征分析及行为预测方法.首先,构建标准性格特征向量库;然后,采用基于余弦相似度的特征聚类算法进行性格分析,该算法解决了适量样本情况下的机器学习中聚类的问题,使训练模板数据即使在数据不是足够大的情况下仍能提取特征;最后,采用基于粗糙集理论的模糊分析算法进行行为预测,该分析算法简化了分析过程,减少了建模中需考虑的因素,又能得出精确的结果.对比实验表明,该方法能较准确地分析不同用户性格特征和对其未来行为进行预判,并分析出可能对安全领域造成威胁的人群.     

基于改进密度聚类的异常检测算法

提出一种基于改进密度聚类的异常检测算法(ADIDC), 通过在各特征列上分别进行密度聚类, 并根据各特征对正常轮廓的支持度进行特征加权, 解决了聚类分析方法在异常检测应用中误报率较高的问题. 通过大量基于异常检测数据集 KDD Cup 1999的实验表明, 其相对于传统异常检测方法在保证较高检测率的前提下, 有效地降低了误报率, 对某些与正常行为相近的特殊攻击检测率明显提高. 同时利用特征权值进行特征筛选提高了其检测性能和效率, 更适应实时检测要求.     

网络入侵的聚类算法研究与实现

入侵检测中对知入侵的检测主要由异常检测完成,传统的异常检测方法需要构造一个正常行为特征轮廓的参考模型,但建立该特征轮廓和确定异常性报警的门限值都比较困难,而且建立该特征轮廓使系统开销大.据此本文提出一种针对入侵检测的聚类算法和一种数据处理方法.该算法通过动态更新聚类中心和类内最大距离实现,收敛速度快,再结合对数据的预处理使聚类效果更好.实验结果表明,此算法用于以未知入侵检测为代表的特殊模式检测方面是可行和有效的.     

基于密度和最优聚类数的入侵检测方法

针对聚类算法在入侵检测应用中存在的参数预设、聚类有效性评价、未知攻击类型检测等问题,提出了一种基于密度和最优聚类数的改进算法,根据样本的分布情况启发式地确定初始聚类中心,从样本的几何结构角度提出一种新的内部评价指标,给出了最优聚类数确定方法,在此基础上,设计了一个增量式的入侵检测模型,实现了聚类中心和聚类数目的动态调整.实验结果表明,与K-means及其他两种改进聚类算法相比,新算法收敛速度更快、聚类准确率更高,能够对未知网络行为进行有效聚类,具有较好的入侵检测效果.     

一种时间相关性的异常流量检测模型

针对服务器行为具有时间动态相关性的特性,提出了基于分布率、聚类偏差和密集度相结合的聚类方法,构建了一种时间相关性的服务器异常流量检测模型。通过对校园网服务器流量长期观测和研究发现,服务器流量特征与时间具有动态相关性,基于此抽取了服务器当前时刻的流量特征,并结合了与当前时刻动态相关的时间特征,提出了基于分布率、聚类偏差和密集度相结合的聚类算法构建异常检测模型以发现服务器异常流量。实验表明,该模型能根据文中抽取的网络流量统计特征有效地发现服务器异常流量,且对于真实环境的应用同样能有效地检查异常,同时模型应用时间越长,算法的自适应越强。     

基于改进K-means的电力数据异常检测算法

异常检测方法在电力领域有着广泛的应用,如设备故障检测和异常用电检测等.改进了传统Kmeans聚类随机选择初始聚类中心的策略;结合数据对象的密集度与最大近邻半径,选择更加接近实际簇中心的数据点作为初始聚类中心,并在此基础上提出了一种基于改进K-means算法的电力数据异常检测新方法.实验表明,上述算法具有更优的聚类效果和异常检测性能,并且在应用于电力领域时,算法可以有效地检测出异常电力数据.     

基于自适应模型的数据库入侵检测方法

提出了一种基于自适应模型数据库入侵检测方法(ASIDS).该方法基于矩阵和最小支持度函数的AprioriZ关联算法,依据在训练和自适应入侵检测阶段产生数据库的操作特征,用户根据实际需求动态调整最小支持度函数的值,更高效挖掘操作特征.结合层次聚类算法产生动态规则库,通过计算待检测数据操作特征与规则库中聚类的距离是否超过聚类间最大距离来判断异常,以避免已有检测系统中判断"边界尖锐"问题,并实时把正常操作特征归入动态规则库,通过对报警信息的关联分析降低误警率.实验结果表明,ASIDS能够实时地进行入侵检测,具有很高的检测率和较低的误警率.     

基于谱聚类算法的信息资产行为异常检测方法

在信息安全领域中,对信息资产的异常行为检测是相对困难的问题,特别是在无标记的数据集中定位某些未知的异常行为,这要求能充分找出历史数据中可以作为信息资产行为基线之内容,从而形成可靠的参照基准,并基于此对数据进行归纳和比对,分析可能存在的未知威胁.该文利用机器学习中的谱聚类算法分析相关信息资产的历史网络通信数据,基于相似性...     

一种基于URL路径的页面用户聚类方法

结合Web用户浏览行为的特点,提出了一种基于路径的Web页面相似度聚类算法,使用用户的浏览行为描述和用户对页面的访问次数建立Web站点的访问矩阵,并在此基础上对站点进行URL用户聚类。最后,使用标准数据集进行了试验,证明基于此种相似度计算方法的URL聚类算法对Web用户聚类是有效的。     

基于密度峰值聚类的电力大数据异常值检测算法

为了解决传统算法检测准确性低,复杂性高不适于电力大数据异常值检测的问题,通过密度峰值聚类算法研究了电力大数据异常值检测问题。分析了密度峰值聚类算法的聚类过程。按照聚类中心选择原则,通过相邻距离和密度的归一化乘积对聚类点的差异度进行衡量,按照差异度的统计特性与改变趋势选择最大的一组点当成聚类中心。按照z空间填充曲线与高维数据点z携带位置信息特性提出基于z的分布式密度峰值聚类算法,降低异常检测复杂性,以达到电力大数据异常值检测要求。采用优化后的密度峰值聚类算法对电力大数据异常值进行检测,在局部密度超过阈值,同时距离超过阈值的情况下,认为相应电力数据点为异常值。将基于距离的检测算法和基于密度的检测算法作为对比进行测试,结果表明:所提算法得到的异常电力数据点,和实际情况相符,和其他两种算法相比没有出现错检测和漏检测的情况。可见所提算法适于电力大数据异常值检测,且检测结果准确性高。     

ID—DC：基于分布式聚类的人侵检测方法

提出了基于分布式聚类的异常入侵检测方法ID—DC，通过对训练集进行分布式聚类产生聚簇模型，采用基于双参考点的标识算法Double—Reference标记异常簇，不需要具有类别标签的训练集且可自动确定聚簇模型的个数．实验中采用了网络入侵检测数据集KDD—CUP-99来训练模型．实验结果表明：通过采用分布式聚类算法建立的分布式入侵检测模型可有效地检测攻击，检测率高，误警率低．     

城市供水管网片区用水异常模式识别

对区域用水的异常模式识别可以为自来水公司实施科学化运行管理提供重要的依据.基于密度的聚类算法与k均值算法相结合,对城市供水管网片区用水进行异常模式识别.首先提取时间和瞬时用水量2个特征,通过k均值算法将所有数据样本分离为不同模式,然后分别对不同模式构建基于密度的聚类算法进行异常点识别.对某地两分区的监测数据进行实验,得到用水异常模式的识别结果与分析.与现有异常检测方案相比较,提出的融合算法所得到的检测结果更具有完整性和准确性.     

面向移动通信网络的局部扩张群组构造方法

移动运营商为了拓展新业务,需要增强对用户资源的了解,因此通过大数据分析技术深入分析移动通信系统中的用户行为数据.基于移动通信网络中的用户通话记录提出了一种基于复杂网络聚类算法的用户社交群组构造算法.该算法通过分析用户的通话记录,建立用户间联系紧密度模型.基于局部扩张原理和派系过滤算法进行用户群组构造.鉴于移动通话系统的巨大数据量,采用基于MapReduce编程模型的并行化设计.分别在模拟数据集和中国移动真实数据集下对该算法进行了验证,实验结果表明,该方法具有较好的性能,是可行且有效的.     

一种基于仿射传播的增强型流聚类算法

针对目前流聚类算法无法有效处理数据流离群点的检测和处理,以及增量式数据流聚类效率较低等问题,提出了一种基于密度度量的异常检测、删除的增强型仿射传播流聚类算法。在仿射传播流聚类算法的基础上,所提算法通过引进异常检测和删除机制改善了异常点对聚类精度、聚类效率的影响。利用仿射传播聚类实现在线数据流的聚类过程,同时检测数据漂移现象,即数据流分布特征随时间发生变化,并采用基于密度度量的局部异常因子检测技术(LOF)对储备池数据进行异常检测和删除处理,通过对当前类簇和处理过的储备池数据重聚类来重建动态数据流模型。在真实网络数据(KDD’99)上进行了实验,结果表明,所提算法不仅减少了重聚类构建动态模型的次数,改善了聚类效率,而且在同时考虑聚类精度、纯度和熵3种聚类评价标准下,均优于传统的仿射传播流聚类算法。     

基于特征分箱和K-Means算法的用户行为分析方法

针对网购用户所产生的购物行为进行分析,首先通过数据处理构建客户关系管理模型(RFM模型),在此模型的基础上采用特征分箱法和K-Means聚类两种方法对用户进行细分,并对2种模型结果进行比较分析,讨论二者的差异性和具体的应用范围和意义.其中,基于特征分箱法的RFM模型将变量转化到相似的尺度上并将变量离散化,使得用户分类标签更加清晰,也可依据各类标签分类出不同类型的用户.K-Means算法通过轮廓系数评估聚类算法质量以至于选取最优K值.本文实验分析结果可为运营商提供更加可靠直观的数据,使得运营商可以根据不同用户的不同行为进行市场细分,进而进行精准营销和服务设置.