基于Hadoop的云平台参数优化

作为中间件的软件框架,Hadoop可以对大量数据进行分布式处理。基于Hadoop的云平台参数的优化可以提高系统的处理性能。使用VMware虚拟机技术在单机上配置多个虚拟计算机节点,实现满足实验环境的Hadoop完全分布式平台,并且进行集群测试。对Hadoop平台的相关参数进行优化配置,利用TeraSort程序对参数优化前后进行了对比测试,分析了测试结果。实验表明,参数优化对Hadoop平台性能具有较大的影响。在实际工程的全局部署之前,可利用或借鉴本方法,以应用环境为基础,充分考虑硬件配置情况、集群数量和数据大小等因素,进行样本的调优实验,获得最优的云平台组合参数。     

基于Hadoop的云计算试验平台搭建研究

Hadoop是一个免费的开源云平台,是允许在集群计算机上分布式处理大数据的软件框架。它是一种可靠、高效、可伸缩的云平台,很适合在实验室环境下进行模拟测试。以Hadoop为基础,借助虚拟机VMware以及Linux、ubuntu、Hadoop、java--jdk等软件,详细地介绍了单机环境下的虚拟云平台搭建过程,并给出具体的实例搭建过程。在设计实例中详细的论述了虚拟机、java、Hadoop等软件的安装、设置、测试过程。实现了在实验室环境对云平台的虚拟,并提出了在搭建试验平台时应该注意的用户权限、路径配置和使用SSH服务程序等问题。该试验平台为系统中间件和应用服务的开发提供了基础。     

浅析如何在Ubuntu使用qcow2快速创建虚拟机

在虚拟机的复制过程中,假设ubuntu-12.10.raw已经安好操作系统,复制Image就可以解决这个问题,但是如果直接复制,会导致开销很大,尽管避免了在虚拟机中安装操作系统,但是如果Image的size上升之后,时间花销也不小,该文通过笔者的实际操作经验,浅析了如何在Ubuntu系统中使用qcow2技术快速创建多个配置相同的虚拟磁盘,以便于在云计算平台中快速的分发虚拟机环境。     

一种兼顾负载均衡的Hadoop集群动态节能方法

Hadoop集群广泛应用于企业和研究机构的大数据处理和并行计算中。该文针对Hadoop集群节点管理中缺少动态负载均衡和节能相互结合的调度技术的现状,提出一种动态负反馈调整算法,并设计和实现了一个用于Hadoop平台节点动态管理的系统。通过大量Hadoop经典测试用例测试,结果表明:该算法能够有效提高负载均衡并通过减少节点的空闲时间以有效地节能,与未使用本算法的结果相比,节点平均空闲休眠时间增加25%,节能14%。同时通过与其他算法相比,节点间均衡度有一定程度提升,平均负载方差减少10%。     

基于OpenStack云平台虚拟集群环境的部署

云计算是一种在网络的基础上通过各种服务方式为用户提供多种需求资源的计算模式.虚拟化的集群环境主要是采用虚拟技术构建多台虚拟计算节点,由此来搭建与物理集群功能相同的虚拟集群环境.该集群主要通过Open Stack云计算平台的虚拟化技术创建Ubuntu虚拟镜像,利用虚拟镜像创建Ubuntu虚拟化实例,然后结合System Imager技术来高效的完成集群节点的自动化部署.     

针对OpenStack的安全漏洞扫描系统搭建

随着云计算的广泛使用,研究者越来越关注选择具有足够安全性的云基础设施,在多租户环境中尤其如此。因此对云平台的虚拟机实例的安全评估尤为重要。讨论了Open Stack开源云解决方案。实现了对Open Stack云服务和4个虚拟机实例的不同操作系统Fedora、Ubuntu、Cent OS和Windows的安全评估。这个测试验证在Open Stack云内部和外部都会存在安全漏洞。评估的结果证明了在Open Stack环境下,租户虚机实例和Open Stack云提供商的控制服务器,均受到来自云内部引发的新的安全威胁。内部漏洞包含云节点和每个虚机实例操作系统的外部漏洞。     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

移动Ad Hoc网络入侵检测系统在仿真平台上的实现

移动Ad Hoc网络是由一组带有无线通信收发装置的移动终端节点组成的一个多跳、临时、无中心的网络,其介质开放、动态拓扑、分布式协作、缺乏集中监控机制和明确的防护线等特征,造成网络极易遭受攻击.提出了分布运行并集中控制的思想,在有线局域网上搭建Ad Hoc网络仿真平台,在各个分布式终端节点运行真正的路由协议,而在中心控制端通过虚拟移动和虚拟拓扑管理控制多个分布式终端节点来仿真复杂的Ad Hoc网络拓扑;并在Linux操作系统上实现了分布式入侵检测系统,以AODV路由协议为例,在仿真平台上对入侵检测系统进行实验测试.仿真结果证明,该系统使得移动Ad Hoc网络具有优良的抗攻击性能.     

基于MapReduce的ROCK聚类算法

随着大数据时代的到来,聚类分析算法将面临如数据量巨大、数据维数增加等挑战,分布式处理是解决这类问题的方法之一。本研究将ROCK算法与Hadoop平台相结合,按照分布式处理原则,通过计算机集群模式去处理大规模的多样性数据。实验证明,在Hadoop平台下的ROCK聚类算法很大程度上提升了对高维数据进行聚类的能力。     

Unicore架构下的Dalvik虚拟机优化

基于Unicore架构,对Dalvik虚拟机进行了移植优化.通过分析Unicore架构下应用程序二进制接口与Dalvik虚拟机的平台相关性,设计实现了jniArgInfo变量字段的布局以及与Dalvik虚拟机平台相关的本地方法调用桥.在设计完成Unicore架构下的快速型解释器入口函数、别名寄存器、汇编宏定义以及汇编版本快速型解释器架构等组件的基础上,结合虚拟机快速型解释器的混合实现机制对Dalvik虚拟机进行了优化,并对优化后Dalvik虚拟机的兼容性、功能、性能进行了测试验证.实验结果表明,优化后的Dalvik虚拟机符合Android系统规范,虚拟机核心部件及Dalvik解释器性能稳定,与优化前相比,系统每秒执行的字节码数目提升达147%.与同类平台的对比测试结果验证了Dalvik虚拟机性能提升的合理性.     

基于Hadoop的大数据处理平台研究

大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.     

用微机构建高性能集群计算系统

给出了利用操作系统Linux和并行虚拟机PVM在微机局域网上构建高性能集群计算机系统的具体方法,如网络平台的搭建、Linux和PVM的安装与配置和并行算法的开发等.     

分析协议数据包格式的研究与虚拟实现

提出在企业网络中使用嗅探器软件分析协议数据包格式的虚拟实现方案,通过路由模拟软件、虚拟机和真实机桥接的方式,把软件安装在真实机上抓包,查看协议数据包格式进行分析和研究.探索出嗅探器软件在虚拟网络环境中的实现方法.     

用微机构建高性能集群计算系统

给出了利用操作系统Linux和并行虚拟机PVM在微机局域网上构建高性能集群计算机系统的具体方法,如网络平台的搭建、Linux和PVM的安装与配置和并行算法的开发等.     

搜索服务中基于云计算的垃圾网页识别研究

为了快速、有效地对垃圾网页进行识别,提出了一种基于云计算平台的垃圾网页识别方案.在Hadoop分布式平台下构建一个基于页面内容和连接结构的支持向量机分类器,对垃圾网页进行识别,通过对数据进行分析.结果表明:垃圾网页的识别准确率较高,处理时间随着集群节点数的增加而明显减少.     

基于Windows系统建立Vmwar虚拟机

虚拟机可以在一台物理计算机上模拟出一台或多台虚拟的计算机。在这个虚拟机上，可以安装Windows、Linux等真实的操作系统，及各种应用程序。本文通过应用Vmwar软件来建立虚拟机，介绍了基于Windows系统建立虚拟机的方法。     

趋于云计算的虚拟服务器集群

采用Vmware虚拟化方法将计算资源虚拟化,成功切割了硬件的计算和存储能力,通过合理配置建立在虚拟硬件资源上的Linux虚拟服务器集群,实现了云端计算的高可用和负载均衡.该集群不仅可以提供传统的Web、Ftp等服务,也可以提供可完全配置权限的操作系统租用服务.     

一种流程工业的分布式海量报警管理系统

提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类MapReduce过程的报警管理系统分布式并行查询模型;在功能应用层,根据业务需求实现了基本的报警管理功能模块.测试结果表明,面对海量报警数据的应用场景,基于Hadoop平台的分布式海量报警管理系统比传统报警管理系统具有更为出色的性能.     

虚拟机技术在操作系统教学中的应用研究

用虚拟机技术改进计算机相关课程的教学方法,是近年来高等学校计算机教师热衷探讨的问题,本文首先就操作系统课程教学中的存在的问题进行分析探讨,阐述了虚拟机技术的基本原理,并详细介绍了建立操作系统教学和实验平台的配置方式,通过虚拟机技术,在一台计算机上安装多种操作系统及应用软件,为高校进行计算机教学与实训提供了一个良好的解决方案.     

基于镜像的集群系统的部署方法研究与实现

对于拥有大量节点的Linux集群而言，选用一种合适的方法来自动安装部署操作系统和应用软件是必要的。本文利用基于镜像的安装技术及工具、支持网络启动的PXE橼议，采用分布式的网络传揄模型和点对点的通信方式，以实现在集群环境中自动部署Linux操作系统。