基于属性聚类的网站集成检测及统计分析

收集大量网站的包含30个特征属性的数据,用k-means属性聚类方法将特征属性划分为不同类别,利用不同类别中的属性数据训练基础分类器,通过集成各基础分类器的结果对未知网站进行预测.采用简单投票和贝叶斯投票对结果进行组合预测,结果表明,k-means属性聚类方法大大增加了基础分类器的差异性,提高了分类检测的精度,其中基于贝叶斯投票策略的集成模型具有很高的检测精度.     

基于云计算的并行k-means算法研究

针对传统k-means聚类算法面对海量数据存在时间复杂度急剧增加的问题,结合云计算的优势,提出基于MapReduce编程框架来实现k-means聚类算法的并行化处理。Map函数完成每个样本记录到聚类中心的距离计算并标记其所属聚类类别,Reduce函数汇总中间结果并计算出新的聚类中心,供下一轮迭代使用。通过实验表明:基于MapReduce的并行化k-means聚类算法具有较好的加速比和良好的扩展性。     

基于乘法更新规则的k-means与谱聚类的联合学习

k-means和谱聚类是两种应用最广泛的聚类技术. k-means是基于矩阵分解的聚类方法,并且是在数据空间上基于误差极小化的聚类方法 .谱聚类是基于图的聚类方法,并且是基于两点在数据空间和特征空间的相似性保持的聚类方法.为了利用两者的优势,提出一种基于乘法更新规则的k-means和谱聚类的联合学习方法,该方法将k-means和谱聚类结合成一个统一的聚类模型,该模型可在单次优化中同时优化k-means和谱聚类的目标;此外,还基于乘法更新规则设计了对聚类中心C与聚类指示器Y进行迭代更新的优化算法.重要的是,在理论上证明了所设计算法的正确性和收敛性.在典型的数据集上进行测试,实验结果表明提出的联合学习算法在聚类精度和标准互信息度指标上都有所提高.     

基于约束信息的并行k-means算法

为获得分布式数据集上用户所期望的聚类结果,提出了基于约束信息的并行k-means聚类算法.在分析并行k-means能够有效实现对水平分布式数据集进行聚类的基础上,修改并行k-means算法的目标函数,设计约束并行k-means算法,将站点用户的约束信息以chunklet的形式引入到分布式聚类过程,从而引导算法执行有偏搜...     

k-means聚类算法的MapReduce并行化实现

针对k-means聚类算法特点,给出了MapReduce编程模型实现k-means聚类算法的方法,Map函数完成每个记录到聚类中心距离的计算并重新标记其属于的新聚类类别,Reduce函数根据Map函数得到的中间结果计算出新的聚类中心,供下一轮MapReduce Job使用.实验结果表明:k-means算法MapReduce并行化后部署在Hadoop集群上运行,具有较好的加速比和良好的扩展性.     

基于半监督学习的k平均聚类框架

为克服k-means算法难以探测出一些局部分布稀疏不均、聚类区域的形状与大小不规整数据点集的聚类分布结构这个缺点,在半监督学习思想的指导下,针对混合属性空间区域中具有同一分布性质的带有类别标记的小样本数据集和无类别标记的大样本数据集,提出了一种基于半监督学习的k平均聚类框架。仿真实验表明：该框架经常能取得比k-means更好的聚类精度,从而说明这个半监督学习框架具有一定的有效性。     

一种改进地标点采样的不平衡数据聚类算法

对不平衡数据进行聚类分析时,K-means聚类方法可能会错误地将分布在较小区域类别中的样本划分到大区域类别中;谱聚类算法,虽然可以有效优化数据结构,并很好地识别不同形状的样本,但却难以处理大规模数据.针对这些问题,提出一种改进地标点采样的不平衡数据聚类算法.该算法首先对不平衡数据进行预聚类以获得初始类标签,然后基于数据密度对数据进行采样.在此基础上,通过对采样数据执行K-means聚类,并将聚类中心作为地标点,对数据进行谱聚类分析.实验结果显示,该方法在处理不平衡数据时,不仅能够有效提高样本的聚类准确率,而且能够保证聚类结果的稳定性和精度.     

一种增量式MinMax k-Means聚类算法

针对MinMax k-means算法易产生空解、 收敛速度慢和计算效率低的问题, 提出一种增量式MinMax k-means聚类算法. 该算法从给定的初始聚类个数开始, 以固定步长递增式产生新的聚类中心, 采用基于数据均衡的快速分裂方法产生增量聚类中心, 从而避免了传统增量聚类中心选择中遍历数据、k-means聚类算法运行次数过多导致的大计算量问题. 与MinMax k-means及相关算法的对比实验结果表明, 该算法在计算效率和求解精度上均优于对比算法, 有效改善了MinMax k-means聚类对初始化中心敏感和易产生空解的问题.     

一种基于局部密度的k-means算法

针对k-means算法必须事先指定初始聚类数k,并且对初始聚类中心点比较敏感,聚类准则函数对求解的最优聚类数评价不理想,提出一种基于局部密度的启发式生成初始聚类中心方法,在此基础上设计一种准则函数自动生成聚类数目,改进了传统k-means算法.实验表明改进的算法比传统k-means算法提高了聚类效率.     

一种改进的聚类算法在入侵检测中的应用

为了研究聚类算法在入侵检测中的应用,该文讨论了传统的k-means算法,指出其存在的问题;将遗传算法引入到聚类算法中,提出了一种改进的k-means算法。实验证明,用该算法实现的数据聚类与传统的k-means算法相比较,能有效提高数据聚类效果。