基于Hadoop集群的分布式日志分析系统研究

当数据存储和计算遇到瓶颈时,分布式技术相对于传统的向上扩展技术在伸缩性和成本上都具有巨大的优势。本文介绍了开源的分布式编程框架Hadoop,并通过具体的代码说明了基于Hadoop集群的分布式日志分析系统的工作方式。     

基于Hadoop的泛在学习系统构建研究

在对泛在学习及Hadoop等相关理论研究的基础上,提出了基于Hadoop的泛在学习系统模型,然后对各个模块进行实现和评估,经测试具有良好的可靠性和可扩展性,为目前泛在学习领域所面临的主要挑战提供了解决方案。     

基于Hadoop的移动学习模型设计与实现

利用Hadoop框架给出了一种移动学习模型和具体实现．描述了总体系统的设计原理、关键技术、系统模型,并对主要的移动学习模型实现及Hadoop实施进行了详细说明,同时就关键问题进行了分析．最后针对实现移动学习系统做了运行测试与运行情况评估．     

基于云计算的中文分词研究

通过搭建Hadoop平台,将MapReduce编程思想应用到中文分词的处理过程中,使中文分词技术在云计算环境中实现。研究可以在保证原来分词准确率的基础上,显著提高中文分词的处理速度。     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

基于Hadoop的云计算试验平台搭建研究

Hadoop是一个免费的开源云平台,是允许在集群计算机上分布式处理大数据的软件框架。它是一种可靠、高效、可伸缩的云平台,很适合在实验室环境下进行模拟测试。以Hadoop为基础,借助虚拟机VMware以及Linux、ubuntu、Hadoop、java--jdk等软件,详细地介绍了单机环境下的虚拟云平台搭建过程,并给出具体的实例搭建过程。在设计实例中详细的论述了虚拟机、java、Hadoop等软件的安装、设置、测试过程。实现了在实验室环境对云平台的虚拟,并提出了在搭建试验平台时应该注意的用户权限、路径配置和使用SSH服务程序等问题。该试验平台为系统中间件和应用服务的开发提供了基础。     

基于Hadoop的改进遗传算法

利用Hadoop的并行式处理技术改进了遗传算法.通过将种群划分为多个子种群,并将每个子种群由一个单一的MapReduce任务来处理,实现了遗传算法的并行化.通过解决OneMax问题的一系列实验,验证了基于Hadoop的遗传算法提高了运行效率与正确性.     

Hadoop平台下MapReduce模型的数据分配策略研究

针对Hadoop开源云计算平台下MapReduce并行编程模型中间数据分配不均衡的问题,提出基于抽样的改进型MapReduce模型,即SMR(Sample MapReduce)模型.SMR模型采用MapReduce作业方式对各分块数据集进行并行抽样,基于抽样结果,利用LAB(leen and balance)均衡算法对Map端输出的中间数据进行均衡分配,以改善Reduce端处理数据负载不均衡问题.实验结果表明:改进型MapReduce模型可以有效减少作业运行时间,Reduce端输入数据达到负载均衡.     

云计算及其架构模式

为了构建有效、稳定的云计算平台环境并对其应用性能进行研究,采用理论分析和实践设计的方法,研究了云计算的关键技术,包括云数据中心串联、云数据存储管理技术和云编程模型,提出了一个通用的云计算架构模型,实现了一个基于Hadoop的实际云平台。研究结果表明:该通用架构模型与NIST模型具有良好的一致性,构建的云平台具有较好的分布式计算性能。该成果对云计算架构模型的研究具有一定的理论指导意义和实际应用价值。     

基于Hadoop的分布式智能推荐系统

通过对云计算平台相关技术的分析研究,结合目前智能推荐系统的应用情况,采用Hadoop、Mahout、Sqoop以及Oozie等云计算相关技术构建一个海量数据智能推荐系统。与传统的数据存储处理相比,可以提高资源的利用率,降低成本,同时也保证了速度。     

使用VirtualBox和Hadoop搭建云计算虚拟实验平台

本文从节约实验成本的角度出发,探讨了在设备不足的情况下搭建云计算实验平台的问题．介绍了一种在单机环境下使用V1rtualBox和Hadoop搭建云计算虚拟实验平台的方法,并给出了详细的实现步骤．对搭建好的虚拟实验平台进行了测试,测试结果表明该实验平台在充分利用现有资源的前提下,能满足云计算相关课程实验教学的基本要求．     

支持云计算环境的MapReduce模拟器设计

针对云计算环境下很难确定出有助于实现良好性能的Hadoop参数集的问题,设计了一种MapReduce模拟器.首先,对Hadoop的各种参数进行建模;然后,集群读取元件从集群中读取参数,从而创建模拟的Hadoop集群环境;最后,利用作业跟踪器跟踪模拟的作业,并利用任务跟踪器运行单个任务.所设计的模拟器从多角度研究Hadoop应用的性能,集中模拟Hadoop的映射和化简行为,弥补了MRPerf设计的不足.在基准测试结果和用户自定义MapReduce应用中验证了模拟器的有效性.     

基于Hadoop云平台的数据传输保护研究

Hadoop是一套开放的云计算平台,使用Map Reduce处理数据的分割与合并,简单的设置就可使用云计算的强大功能.但随之而来的是个人数据在没有任何保护的情况下随时可能遭受攻击,因此云平台上的个人信息安全问题就显得格外重要.本研究提出了一种具备安全数据传输的Hadoop云平台规则来增加云数据分割与合并的安全度.实验结果证明,本安全方案确实提高了云平台数据传输的安全性.     

基于HDFS的企业私有云存储的研究

针对目前企业海量数据存储和管理的问题,本文通过对私有云存储和HDFS技术的研究,提出基于HDFS技术构建企业私有云存储系统。通过实验验证,该系统具有安全可靠性高、扩展性好、开发和运行的成本较低等特点,能够满足企业对海量资源安全可靠、高效快速的存储。     

基于云计算的反垃圾邮件系统研究

垃圾邮件的泛滥严重干扰了正常的经济发展和日常生活,而传统反垃圾邮件技术存在成本昂贵、维护困难、重复建设、服务器负担过重、无法综合管理等问题,针对反垃圾邮件技术的现状和不足,通过对云计算进行研究和分析,提出了基于云计算的反垃圾邮件系统的总体设计模型,并对该系统的各个功能模块进行了分析,最后提出了基于Eucalyptus的...     

基于Hadoop平台的教育资源库建设

首先介绍了云计算的相关概念,其次阐述了当前教育资源库建设的现状以及存在的问题,进而提出基于Hadoop平台的教育资源库建设方案,最后详细介绍了其核心模块的实现过程.     

基于支持向量机的任务调度模型

云计算框架大大改进了并行算法的实现难度,但是大部分算法有其局限性.介绍了MapReduce(映射化简)的基本实现原理和调度模型的缺陷,提出了基于支持向量机的的MapReduce进化算法,并给出了基本模型及实现.运用Hadoop云计算平台进行了仿真验证,实验结果表明,基于支持向量机的MapReduce计算框架在候选云节点的调度分配的准确性上有明显提高,并且加快了数据迭代的效率.