一种基于核映射空间距离的入侵检测算法

通过研究基于距离的孤立点发现算法(Cell-Based),指出其存在的问题,提出了一种基于核映射空间距离的入侵检测算法.该算法通过检测孤立点的方法进行入侵检测,首先将样本通过核函数映射到高维特征空间,重新定义特征空间中的数据点之间的距离.然后经过初始聚类算法确定聚类数目和初始类中心,再通过迭代优化目标函数来实现数据点的再聚类,最终得到聚类中心,超出聚类中心点半径r外的点即为孤立点.试验结果表明,该算法能有效突出样本之间的差异,克服传统基于距离的孤立点发现算法易随参数变化而需调整单元结构的缺点,且具有更准确的检测率和较快的收敛速度.     

基于支持向量聚类和重抽样的入侵检测

针对入侵检测中少数类异常数据的检测精度较低的问题,提出基于支持向量聚类的不平衡数据无监督检测算法.方法采用支持向量聚类对所有未知样本进行聚类,根据不同类别样本内在属性的差异,用改进的重抽样方法选择样本,平衡数据集的分布,对新的数据集进行学习.经过KDD99的测试表明,该方法能有效检测出少数类样本.     

网络入侵的聚类算法研究与实现

入侵检测中对知入侵的检测主要由异常检测完成,传统的异常检测方法需要构造一个正常行为特征轮廓的参考模型,但建立该特征轮廓和确定异常性报警的门限值都比较困难,而且建立该特征轮廓使系统开销大.据此本文提出一种针对入侵检测的聚类算法和一种数据处理方法.该算法通过动态更新聚类中心和类内最大距离实现,收敛速度快,再结合对数据的预处理使聚类效果更好.实验结果表明,此算法用于以未知入侵检测为代表的特殊模式检测方面是可行和有效的.     

一种基于密度的模糊自适应聚类算法

针对密度聚类算法对邻域参数设置敏感的问题,提出一种基于密度的模糊自适应聚类算法.算法在无需预先设置聚类数以及邻域参数的情况下,可以自适应地根据样本间距离关系确定邻域半径得到样本密度,并根据样本密度逐渐增加聚类中心.为了保障聚类结果的正确性,同时提出一种新的模糊聚类有效性指标以判断最佳聚类数,消除了密度聚类算法对参数的敏感性.用UCI基准数据集进行实验,发现本文算法在对数据进行聚类时,聚类质量较原始密度聚类算法在准确性和自适应性方面均有显著提高.     

基于密度和最优聚类数的入侵检测方法

针对聚类算法在入侵检测应用中存在的参数预设、聚类有效性评价、未知攻击类型检测等问题,提出了一种基于密度和最优聚类数的改进算法,根据样本的分布情况启发式地确定初始聚类中心,从样本的几何结构角度提出一种新的内部评价指标,给出了最优聚类数确定方法,在此基础上,设计了一个增量式的入侵检测模型,实现了聚类中心和聚类数目的动态调整.实验结果表明,与K-means及其他两种改进聚类算法相比,新算法收敛速度更快、聚类准确率更高,能够对未知网络行为进行有效聚类,具有较好的入侵检测效果.     

一种基于流形距离的迭代优化聚类算法

针对传统欧氏距离测度描述复杂结构的数据分布会失效的问题,引入能有效反映样本集固有的全局一致性信息的流形距离作为样本间相似度度量测度,并设计了反映类内相似度大、类间相似度小的聚类目标的准则函数,把数据聚类转化成准则函数优化问题,提出了一种迭代优化的聚类算法.通过4个人工数据集的仿真试验结果表明,新方法的参数很少且实现简单,由于实现过程中没有引入随机操作,因此结果比较确定.与标准k均值算法相比,新方法能够自动确定聚类数目,对于样本空间分布复杂的聚类问题具有良好的分类效果.     

改进模糊聚类算法及其在入侵检测中的应用

针对将数据集隶属度概率和为1的条件用于模糊性事件时,影响聚类的正确率的情况,在不确定理论的基础上,研究了数据隶属度问题,提出一种新的基于隶属关系不确定的可能性改进模糊聚类算法.该算法在迭代过程中将聚类的可能隶属度与不确定性隶属度引入到目标函数中,使得样本中的元素不局限于仅属于一个聚类,与现有的聚类算法相比具有更好的聚类结果.通过在KDDCUP99数据集上实验,验证了该算法在入侵检测中的检测率为95.8%, 分别高于K-均值算法的检测率(60.4%)和FCM算法的检测率(64.6%).     

利用SSO加速最佳路径森林聚类的网络入侵检测

针对网络入侵检测系统中的一般聚类算法速度较慢和精度较低的问题,提出了一种基于简化群优化的最优路径森林聚类算法(SSO-OFC).首先,将数据集解析为图,将其节点作为样本;然后,将每个样本连接到其给定特征空间中的k-近邻,图的节点由它们的概率密度函数(pdf)值加权得到;最后,通过样本及k-近邻之间的距离计算得到pdf值.提出的算法主要贡献是快速估计最佳k值,并将最优路径森林聚类应用于网络入侵检测.在5个公开的数据集上进行实验.结果表明,SSO-OFC的精度非常稳定,除了KddCup数据集,其他数据集上的精度都在95%以上,相比基于数据聚类的SSO和自组织映射更加稳定有效.     

基于自适应模型的数据库入侵检测方法

提出了一种基于自适应模型数据库入侵检测方法(ASIDS).该方法基于矩阵和最小支持度函数的AprioriZ关联算法,依据在训练和自适应入侵检测阶段产生数据库的操作特征,用户根据实际需求动态调整最小支持度函数的值,更高效挖掘操作特征.结合层次聚类算法产生动态规则库,通过计算待检测数据操作特征与规则库中聚类的距离是否超过聚类间最大距离来判断异常,以避免已有检测系统中判断"边界尖锐"问题,并实时把正常操作特征归入动态规则库,通过对报警信息的关联分析降低误警率.实验结果表明,ASIDS能够实时地进行入侵检测,具有很高的检测率和较低的误警率.     

基于模糊聚类广义回归神经网络的网络入侵研究

采用结合模糊聚类和广义神经网络回归聚类分析的方法,对5种网络入侵行为模式进行有效的聚类.首先用模糊 c 均值聚类算法将入侵数据分为5类,再将聚类的结果中最靠近每类中心的样本作为广义神经网络的聚类训练样本进行数据训练,训练输出的结果即为该个体所属的入侵类别.实验结果表明:新算法对网络入侵途径的分类精度更高,可为预防网络入侵提供更可靠的数据支持     

基于CDbw和人工蜂群优化的密度峰值聚类算法

针对密度峰值聚类(DPC)算法存在的d_c值难选择及近邻原则聚合操作在低密度区效果不佳的问题, 提出一种基于人工蜂群与CDbw聚类指标优化的密度峰值聚类（BeeDPC）算法, 以实现类簇间数据点的自动识别和合理聚类, 并解决DPC对类簇间数据点类别识别上存在的缺陷. 实验结果表明, BeeDPC算法具有自动识别并合理聚类类簇间数据点、 自动识别类簇中心点和类簇数量及自动处理任意分布数据集的优势.     

基于模糊聚类的神经网络在数据挖掘分类中的应用研究

常见的决策树分类算法、贝叶斯分类算法、神经网络分类算法为数据挖据分类算法研究提供了重要基础。但面对海量数据时,在时间效率、鲁棒性和精确性上都显示出了不足。为此,本文将模糊聚类的思想引入到神经网络分类算法中,首先通过模糊聚类子模型,将样本数据聚为几个数据子集,然后再采用不同的神经网络对各个数据子集同时进行训练学习。由于经过了模糊聚类子模型的预处理,每个神经网络训练学习样本的复杂性大大减少,使神经网络的学习效率大大提高。最后通过UCI下的实际数据库,对提出的分类算法进行了检验,结果显示了基于模糊聚类的神经网络在数据挖掘分类中应用的有效性。     

噪声环境下复杂流形数据的势能层次聚类算法

基于势能的快速凝聚层次聚类算法使用一种全新的相似性度量准则,可以更高效地得到聚类结果。针对该算法无法有效处理含噪声的复杂流形数据的缺陷,提出噪声环境下复杂流形数据的势能层次聚类算法。通过势能递增曲线识别噪声点,在新定义的势能最大、最小2层数据上进行自动聚类,以确定类簇的大体框架,并在此基础上对整个数据集进行层次聚类。人工数据集上的实验表明,新算法可以有效处理噪声环境下复杂流形数据;真实数据集上的实验表明,新算法具有更优的聚类效果。     

融合流形距离与标签传播的改进密度峰值聚类

密度峰值算法依赖于欧式距离实现局部密度的选择,该算法在处理高维数据、存在密度不均匀的类簇的数据集上效果不是很理想。针对以上问题,提出一种融合流形距离与标签传播的改进密度峰值聚类算法(Improved Density Peak Clustering Combining Manifold Distance and Label Propagation,简称DPC-ML)。DPC-ML使用流形距离进行距离度量并形成流形距离矩阵,同时定义了一种局部密度,将流形距离与局部密度融合,让局部密度反映出一定的局部距离信息。实验数据表明该算法在处理不同形状,密度不均匀的类簇上有着良好的性能。而且通过绘制决策图发现在不同的人工数据集上的实验显示DPC-ML算法重新定义的局部密度对于类簇中心点的选择区分度更高。由于引入了新的参数邻近点数,故也探究了邻近点数对聚类结果的影响,发现在聚类指标在刚成为连通图时效果最好,进一步证明了流形距离可以对聚类结果性能有所提高。     

基于阈值的BIRCH算法改进与分析

平衡迭代规约层次聚类(balanced iterative reducing and clustering using hierarchies, BIRCH)算法是一个综合的层次聚类算法。但BIRCH算法为叶子节点中的簇设置统一的空间阈值,根据数据对象与簇之间的距离来决定数据对象的插入位置,从而忽略了簇与簇之间的关系;此外,算法在分裂节点时,选取距离最远的2个聚类特征作为子簇,其他聚类特征会根据与这2个聚类特征之间的距离关系分裂为另外的子簇,造成处于簇与簇之间的样本数据错误分类,这样会忽略聚类特征之间的关系。针对BIRCH算法的这2个问题,提出了基于阈值的自适应算法,用于解决原算法统一空间阈值的问题;并在针对聚类特征关系的问题上,结合朴素贝叶斯算法对原算法进行改进。对改进后BIRCH算法与传统的算法进行仿真实验。结果表明,改进算法在损失效率的情况下,聚类效果得到了明显的改善,并且与其他算法相比,所提算法具有不错的表现性,而且具有跨数据集的鲁棒性。     

Using Greedy algorithm： DBSCAN revisited Ⅱ

The density-based clustering algorithm presented is different from the classical Density-Based Spatial Clustering of Applications with Noise (DBSCAN) (Ester et al., 1996), and has the following advantages: first, Greedy algorithm substitutes for R(*)-tree (Bechmann et al., 1990) in DBSCAN to index the clustering space so that the clustering time cost is decreased to great extent and I/O memory load is reduced as well; second, the merging condition to approach to arbitrary-shaped clusters is designed carefully so that a single threshold can distinguish correctly all clusters in a large spatial dataset though some density-skewed clusters live in it. Finally, authors investigate a robotic navigation and test two artificial datasets by the proposed algorithm to verify its effectiveness and efficiency.     

覆盖聚类算法

首先比较几类主要的聚类算法,给出每类算法的基本概念、原理、每类的代表性算法,及这些算法的主要特征。在此分析基础上,提出一种新的聚类算法———覆盖聚类算法,该算法采用覆盖的概念将比较集中的样本聚合在一起,从而发现隐含在样本集中的类,对于周围稀疏的样本结合最短距离法,获得聚类效果,并用实验数据对分层聚类方法、LBG方法与覆盖聚类算法进行比较,证明了覆盖聚类算法的可行性和有效性。最后给出了算法的研究方向。     

一种确定最佳聚类数的新算法

针对K-均值聚类算法需要事先确定聚类数K的问题,将粒度计算引入样本相似度函数,定义了新的样本相似度,用模糊等价聚类确定数据集可能的最大类簇数Kmax.以Kmax为搜索上界,利用改进全局K-均值聚类算法,以BWP(Between-Within Proportion)为聚类有效性度量指标,提出确定最佳聚类数的一种新方法.通过UCI机器学习数据库数据集以及随机生成的人工模拟数据集实验测试,证明该算法不仅能有效确定数据集的最佳聚类数,而且适用于大规模数据集,但是会受到噪音点影响.     

基于灰关联分析的模糊C均值算法

标准的模糊C均值算法(FCM)采用欧式距离测度,均等地利用所有特征来计算数据间的相似性,但其存在受局部特征影响、对非球状簇识别效果不佳、无法适应高维数据等缺点.为此,提出一种将基于差异信息理论的灰关联分析结合到FCM中的新算法,利用均衡接近度描述数据间的相似性,强调从整体上判断数据的相似程度,减弱局部特征高关联性的影响,能够适应不同形状簇的识别.在人工和真实数据集上的实验表明,所提出的新算法具有更高的聚类精度和更好的稳定性.     

数据挖掘中K-均值聚类算法的缺陷及工作效率改进的实验研究

K -均值聚类算法在当前提取数据挖掘的聚类分析方法中已经取得了一定的成就,为了进一步改进其在数据预处理及神经网络结构中的应用,文中对算法进行了缺陷研究,主要做了以下几个方面的工作：对K-means算法进行了思路及算法主要流程分析;得出K-均值聚类算法存在简单、迅速、结果簇密集、簇与簇之间区别较为明显等优点;分析得出算法存在与处理符号属性的数据不太适应、必须事先给出k值(想要生成的簇的个数)、对“噪声数据”以及孤立的点数据有较大影响、需要不断计算更新调整后的新聚类中心等缺点。在实验验证中结果得出：聚类结果可知,选取不同的值初始值对聚类结果的影响很小;如果聚类数据集迭代次数较多时,可以尝试着改变其数据的输入顺序;变动数据集的输入顺序,会直接影响聚类结果。实验结果对于K-均值算法的工作效率提高了具有明显的参考价值,这一研究对于数据挖掘技术的改进具有一定的意义。