基于Hadoop的云平台的实现与基准测试

Hadoop是google云计算理论的开源实现,作为软件系统中间件的软件框架,它可以对大量数据进行分布式处理。通过Haddop,用户可以在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的威力进行高速运算和存储。通过使用VMware虚拟机技术实现在单机上配置多个虚拟计算机节点,从而进行集群测试;在虚拟节点上安装Ubuntu操作系统作为Hadoop的操作系统支持;同时,利用Xmanager软件,以及配置局域网中宿主机与虚拟机、远程控制机的网络参数,实现对虚拟节点的远程控制;在已经安装好Ubuntu操作系统的各个虚拟节点上安装Hadoop、java-JDK等软件,并进行相关的参数设置,实现在虚拟机上各个虚拟节点的Hadoop完全分布式平台。最后在Hadoop平台上,使用Hadoop软件自带的基准测试程序包对平台进行4个Hadoop的经典基准测试。同时,每个测试都会加载不同的数据量及负载进行多次实验,通过比较在不同的负载下Hadoop的基准测试结果,测试Hadoop平台的相关性能,并分析负载及数据量的变化对Hadoop平台性能的影响。     

基于Hadoop的云平台参数优化

作为中间件的软件框架,Hadoop可以对大量数据进行分布式处理。基于Hadoop的云平台参数的优化可以提高系统的处理性能。使用VMware虚拟机技术在单机上配置多个虚拟计算机节点,实现满足实验环境的Hadoop完全分布式平台,并且进行集群测试。对Hadoop平台的相关参数进行优化配置,利用TeraSort程序对参数优化前后进行了对比测试,分析了测试结果。实验表明,参数优化对Hadoop平台性能具有较大的影响。在实际工程的全局部署之前,可利用或借鉴本方法,以应用环境为基础,充分考虑硬件配置情况、集群数量和数据大小等因素,进行样本的调优实验,获得最优的云平台组合参数。     

使用VirtualBox和Hadoop搭建云计算虚拟实验平台

本文从节约实验成本的角度出发,探讨了在设备不足的情况下搭建云计算实验平台的问题．介绍了一种在单机环境下使用V1rtualBox和Hadoop搭建云计算虚拟实验平台的方法,并给出了详细的实现步骤．对搭建好的虚拟实验平台进行了测试,测试结果表明该实验平台在充分利用现有资源的前提下,能满足云计算相关课程实验教学的基本要求．     

基于OpenStack云平台的动态带宽分配策略

在传统云平台网络带宽分配机制中,网络带宽仅在虚拟机创建时分配.虚拟机创建后已分配的带宽难以更改甚至无法更改,这在一定程度上造成了资源的浪费.因此,在不影响网络服务质量下,虚拟机需要一种有效的带宽分配机制来提高带宽的利用率.本文以开源云平台Open Stack为实验环境,以虚拟交换软件Open v Switch和监控软件Ceilometer为工具,提出并实现了基于云平台的动态带宽分配策略.测试结果表明,本策略有效的提高了带宽的使用率.     

基于虚拟机技术构建网络实验平台

计算机网络实验通常需要专门的实验环境,借助虚拟机技术模拟网络实验平台,不仅减少了成本投入,还可以提高资源的使用效率。本文介绍了VMware虚拟机软件以及主要的网络工作模式,以VPN配置为实例,详细地论述了配置虚拟网络实验环境的具体方法。     

跨域虚拟网络环境下虚拟机Live的迁移机制

针对跨域虚拟网络环境下虚拟机的在线迁移机制, 设计了支持虚拟机跨域通信的虚拟网络路由协议和控制虚拟机在线迁移的路由更新协议, 以支持虚拟机的跨域动态管理, 并基于流行虚拟化环境Xen, 完成了原型实现, 从而解决了虚拟机跨域的在线迁移问题, 实现了利用广域网络环境搭建动态虚拟化平台.     

Hadoop加速比性能模型研究

MapReduce编程模型被看作是Hadoop的核心组件,一直以来都受到广泛的应用和研究,但针对Hadoop云平台的性能研究主要集中在配置调优和分布式算法等方面,缺乏对Hadoop加速比性能模型的理论研究.针对此问题提出了Hadoop云平台加速比性能模型,并分别在同构机群和异构机群架构上对该模型进行了分析.针对同构机群提出了3种I/O负载模型,并指出了其对加速比的影响;指出了异构机群不适合做Hadoop云平台的原因及异构性对Hadoop云平台造成的影响.这些研究对Hadoop云计算平台的搭建及如何提高Hadoop云平台加速比性能有很好的指导作用,提供了理论依据.     

基于Hadoop的大数据处理平台研究

大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.     

操作系统原理实验教学软环境平台搭建方法

Linux／Unix是目前操作系统原理课程最常用的实例平台,但它和Windows操作系统之间存在共享问题。关系实验室资源的优化配置和利用率。文中阐述了在以Windows为主的教学环境平台不变的情况下,针对多重引导、虚拟机和终端方式的3种环境平台搭建方法,并对3种方案的适用性进行了分析讨论。     

基于OpenStack的云计算网络性能测量与分析

虚拟网络服务是云计算的一个核心服务,随着云计算技术的发展,虚拟网络服务的实现方法和技术越来越多,搭建网络高可用云计算平台是云服务提供商关注的热点问题。使用重放流量的方式生成背景流量,基于Open Stack云平台对云计算虚拟网络中虚拟路由服务、虚拟交换机及租户虚拟网络模式的不同实现方法和技术进行了分析和测量。详细对比了各种实现方法和技术并给出了适用场景,为云服务提供商搭建网络服务高可用云平台提供了参考和指南。     

海洋环境信息云计算应用研究

 在总结国内外云计算发展及应用现状的基础上,结合海洋环境信息系统的特点,对海洋环境信息云计算的体系架构及相关技术进行了研究,设计了海洋环境云平台;针对海洋环境信息联机分析处理、海洋环境数据挖掘服务、海洋遥感影像处理与关键因子反演、乘潮水位预报系统等典型应用开展了示范服务的实践。     

基于Hadoop建立云计算系统

云计算是2007年底正式提出的一个新概念,本文分析了云计算的特征和Hadoop的作用地位.针对Hadoop这样一个在集群上运行大型数据库处理应用程序的开放式源代码框架进行了云计算平台的实现,并进行了实验验证.     

基于云计算的高校信息化虚拟学习体系的研究与探索

通过对移动学习的数据处理与存储的分析,提出搭建基于hadoop的信息化虚拟学习平台,并结合泛在学习的实际应用,构建信息化虚拟学习体系,利用云计算的海量数据与高处理能力,提升学生的学习效率,全面发展学生的综合能力。     

分布式资源环境下基于云服务的设计知识服务资源平台

 为高效地解决分布式资源环境下产品设计中的技术需求问题，开发了一种利用互联网、基于云服务的产品设计知识服务资源平台。依据现代产品设计和知识服务的特征，设计了资源平台的知识服务流程及其体系架构与功能，采用JAVA、J2EE技术和HTTP/Web Service/JSON技术实现了资源平台的构建，资源平台由基础支撑层、服务平台层、功能层和用户层等构成，其主要功能包括用户功能、管理功能、IOS/Android接入功能以及第三方平台入驻功能。以“滑动轴承磨损试验”技术服务为例简述了资源平台的应用全过程，持续2年的应用结果表明分布式资源环境下基于云服务的设计知识服务资源平台具有显著的可靠性和实用价值。关键词设计知识服务；资源平台；分布式资源环境；产品设计     

基于云平台的软件服务流体系结构

为了对大规模的数据访问和海量海洋信息的处理提供可靠实时的云计算服务, 结合工作流与软件即服务(software-as-a-service, SaaS)的思想, 提出软件服务流的概念, 并构建基于云平台的软件服务流体系结构的系统. 服务流引擎在整个系统中处于底层, 与Hadoop平台进行交互, 运行自行设计的服务流解析与重组算法处理用户请求, 并交付下层执行, 且为上层提供资源表述性转移(representational state transfer, REST)架构风格的服务流监控和资源管理的透明接口, 降低了开发的复杂性, 提高系统的可伸缩性. 用户能够通过Web端访问, 定制个性化软件服务, 并且能实时监控云平台. 在该平台上, 大规模数据访问、高并发以及高密度的访问也是一种常态. 通过构建初步的原型系统, 证明平台体系结构的可用性和高效性.     

基于虚拟云平台的网站集群系统在高校Web服务中的应用

以基于虚拟云平台的网站集群系统为主,介绍了虚拟云平台、网站集群系统的类型和发展现状,结合高校Web服务的现状论述了基于虚拟云平台的网站集群系统的应用意义,如信息共享、强化性能、提高安全性、降低成本、方便管理等,重点论述了基于虚拟云平台的网站集群系统针对高校实际情况采取的解决措施和具体实施步骤。     

基于云平台的大规模工业园区资源集约化控制方法

为了解决传统分布式控制部署环境繁琐,令现阶段资源控制变得更加复杂,容易产生服务延迟和稳定性低的问题。通过云平台研究了一种大规模工业园区资源集约化控制方法。以服务思想为核心建立大规模工业园区资源集约化控制框架,为用户提供统一的使用平台。设计云平台由云控制节点控制,按照需求对存储节点进行扩充。框架中的功能层为大规模工业园区资源集约化控制的重要部分,包括性能监测、资源调度、自适应控制与报警四个部分。虚拟机放置遍历全部可能的云平台状态,将状态变化代价最小云平台状态当成虚拟机控制策略。基于成本的最低消耗采取资源调度策略,组建动态任务划分模型。结合总体考虑节点量、输入数据类型、进行调度时所耗时间以及资源回收所需时间等影响因素做出深入分析。结果表明:所提方法控制下网络拥塞率符合要求;服务延时低、稳定性高。可见所提方法整体性能优。     

基于Web的光纤通信虚拟实验平台的构建

基于网络远程教育的虚拟实验技术,提出一种虚拟实验远程教育平台的实现方案,该方案综合运用VRML技术和ActiveX技术,并以光纤通信虚拟实验室为例,详细论述了其远程教育平台的构建。