基于约束信息的并行k-means算法

为获得分布式数据集上用户所期望的聚类结果,提出了基于约束信息的并行k-means聚类算法.在分析并行k-means能够有效实现对水平分布式数据集进行聚类的基础上,修改并行k-means算法的目标函数,设计约束并行k-means算法,将站点用户的约束信息以chunklet的形式引入到分布式聚类过程,从而引导算法执行有偏搜...     

k-means聚类算法的MapReduce并行化实现

针对k-means聚类算法特点,给出了MapReduce编程模型实现k-means聚类算法的方法,Map函数完成每个记录到聚类中心距离的计算并重新标记其属于的新聚类类别,Reduce函数根据Map函数得到的中间结果计算出新的聚类中心,供下一轮MapReduce Job使用.实验结果表明:k-means算法MapReduce并行化后部署在Hadoop集群上运行,具有较好的加速比和良好的扩展性.     

基于k-means优化算法的入侵检测系统

以k-means算法为基础,对入侵检测技术和聚类分析技术进行了研究和分析,指出了传统k-means算法的不足,给出了针对性的改进方法.采用KDDCUP99数据集作为源数据集,对k-means以及改进后的算法进行了仿真实验,实验结果表明,改进后的k-means算法在入侵检测系统中,能够有效地提高入侵检测系统的检测率,降低误报率.     

一个基于k-means算法的聚类

用k-means算法对二维数据进行聚类分析,并用C#语言实现了该算法。先按照样本点的距离进行初始划分,然后再按照各样本点和初始中点的距离远近进行聚类。结果表明,k-means算法对二维数据的聚类是有效的,实现该算法的程序对二维数据的聚类具有通用性。     

基于MapReduce并行的Apriori算法改进研究

基于MapReduce实现的Apriori简单并行算法,产生了大量值为1的键/值对,影响了算法效率.提出一种分组统计策略的Apriori并行算法,有效地减少了键/值对的产生.实验结果表明,改进的基于MapReduce并行的Apriori算法在时间性能上有了很大的提升,并且随着集群节点的增加,算法的加速比线性提高.     

基于k-means聚类算法的试卷成绩分析研究

研究了k-means聚类算法,并将此算法应用于高校学生试卷成绩分析中.首先对数据进行了预处理,然后使用k-means算法,对学生试卷成绩进行分类评价.用所获得的结果指导学生的学习和今后的教学工作.     

分布式k-means聚类算法的改进

经典的分布式k-means聚类算法随机选取初始聚类中心,进行多次的迭代,容易使得聚类效率低,网络通信量大,而且聚类结果不稳定。针对这些问题,提出一种改进的分布式k-means聚类算法。该算法通过划分数据集,计算属性最密集的k个数据块作为聚类中心,以确保聚类中心的代表性,进而减少算法的迭代计算次数,提高聚类效率。通过在Hadoop分布式平台上进行实验,结果表明改进算法能减少迭代次数和收敛时间。     

面向海量数据的并行KMeans算法

针对海量数据的特性及KMeans算法的并行特性,提出了一种基于MapReduce编程框架的并行聚类算法,给出了算法的主要设计方法和策略.Map函数计算出每个记录所属的簇并用簇标号来标记;为了减少网络流量,利用Combine函数合并了本地的簇中的样本和;Reduce函数合并簇中所有的记录,并重新计算聚类的中心,供下一轮MapReduce迭代使用.最后用不同大小的数据集对改进算法的效率及伸缩性进行了验证,结果表明基于Hadoop的并行KMeans算法适合于海量数据的分析和挖掘.     

云计算环境的并行支持向量机

针对基于GPU和MPI并行的支持向量机（SVM）算法不适合于云计算环境,设计了一种基于多级SVM的并行支持向量机模型,实现了云计算环境下的序列最小优化（SMO）的并行算法。该算法通过MapReduce系统将大规模训练数据集划分为若干小训练集,再由这些小训练集开发多级的SVM,最后收集每一个SVM最优超平面附近的样本数据来训练另一个新的SVM。实验结果表明,该算法在时间消耗与分类正确率等综合方面比单机算法和传统并行算法获得更好的效果。     

基于云计算的中文分词研究

通过搭建Hadoop平台,将MapReduce编程思想应用到中文分词的处理过程中,使中文分词技术在云计算环境中实现。研究可以在保证原来分词准确率的基础上,显著提高中文分词的处理速度。     

PageRank算法的并行实现

针对当前大数据时代的背景,信息数据的海量化现象与日俱增,为了实现数据搜索的低成本、高效率,对Google搜索引擎的PageRank算法进行了综合性的研究分析,分别介绍了MapReduce框架和Hadoop实现平台,在此基础上,在Hadoop平台详细分析了基于MapReduce的PageRank算法的并行实现过程,以实现海量数据的并行处理,极大地提高了搜索引擎的性能.     

基于云计算的Apriori算法设计

对云计算技术和数据挖掘进行研究,分析Apriori算法,针对其局限性,提出优化方案,引入云计算中MapReduce模型,实现并行化。提出一种基于MapReduce的频繁项集挖掘方法,以提高算法的运行效率,降低算法执行所需的开销。     

基于leader的k-means改进算法

针对传统k-means算法中初始聚类中心选取的随意性对于聚类结果影响较大的问题,提出了基于Leader算法的k-means改进算法——Lk-means算法.该算法有效避免了初始聚类中心选取的边缘化和随意性.实验证明,Lk-means算法的聚类结果更加有效合理.     

基于MapReduce的并行子空间聚类算法

随着现有数据体量的迅速增长,超大规模中高维数据集的聚类问题变得越来越重要;而现有的子空间聚类算法大多是单机串行执行,处理此类问题效率极低。讨论了利用MapReduce对这类数据集进行并行聚类的方法,提出了基于MapReduce的抽样-忽略子空间聚类算法(sample-ignore subspace clustering using MapReduce,SISCMR)。该算法将串行聚类算法用作插件,具有很好的通用性。在人造和真实数据集上进行了大量实验,其中最大为0.2 TB的数据集在128个核心的集群中仅用不到10 min就完成了聚类,验证了该算法良好的聚类质量、近线性的可扩展性和高效的聚类性能,证明了基于MapReduce的并行聚类的可行性。     

基于Hadoop建立云计算系统

云计算是2007年底正式提出的一个新概念,本文分析了云计算的特征和Hadoop的作用地位.针对Hadoop这样一个在集群上运行大型数据库处理应用程序的开放式源代码框架进行了云计算平台的实现,并进行了实验验证.     

基于云计算技术的Web数据挖掘的算法研究

本文提出一种基于云计算的web数据挖掘算法,云计算技术将大数据集与进行数据挖掘的人员分配到多台计算机工作站上进行并行处理。Web数据挖掘是指探寻网络中的大量有用信息进行分析,选择和存储有用的信息。利用云计算技术可以明显提高web数据挖掘的效率。     

云计算环境下排序算法的性能分析

随着云计算环境中数据量的激增,人们急需研究在云环境下如何对大量数据进行快速有效的分析与处理。在云环境下对大量数据进行高效地排序是其中一个重要问题。基于Hadoop平台研究并实现了几种高效的排序算法,包括：Radix sort,Quicksort和Sample sort算法。对各个排序算法的执行效率、CPU资源的消耗,内存的消耗,以及处理机间的通信量进行了研究和比较分析。通过大量运行在Hadoop上的实验,发现Hadoop平台上的Sample sort相较于Radix sort和Quicksort具有排序速度快,负载均衡度高,CPU消耗低等优势。这一结果为云计算环境下设计更高效、节能的算法提供了有效的依据和基础。     

基于云计算技术的研究

云计算是一种新型的资源利用服务模式,把计算机软、硬件资源虚拟化后租赁给用户,随需随用,计量付费,方便高效。改变了传统的资源利用率低、建设、管理、维护费用高昂的计算机资源使用的状况,成为了网络应用的一种趋势。     

基于云计算的数据挖掘应用探析

云计算做为一种新兴的网络技术已经在各个领域得到广泛应用,云计算的一个重要作用就是对海量信息数据进行存储与管理,因此云计算为数据挖掘提供了一个良好的平台。本文先对云计算进行简单介绍,然后对基于云计算的数据挖掘应用进行详细阐述与分析,最后介绍基于云计算的数据挖掘应用平台的构建。     

基于Finsler几何的k-means算法

针对k-means算法存在的相似性度量、准则函数优化效果不理想及多维流形数据分析性能效果不好等问题,引入Finsler几何中的Finsler度量,提出了一种基于Finsler几何的k-means算法,并在UCI数据集和ORL人脸数据库上与传统k-means算法及SBKM算法进行了比较,实验结果验证了该算法的可行性和有效性.