基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

负载均衡对 BT带宽控制的影响

由于对等网络(P2P)业务占用了大量的带宽资源,一些网络出口对P2P流量采取一定的限制措施.然而,因为负载均衡的广泛存在,网络出口链路不止一个.通过分析BitTorrent这种大量使用的P2P业务的流量特征,证明在网络出口采用CISCO CEF的基于目的地配置的负载均衡方式时,只对负载均衡的2条链路之一控制BT带宽,将导致另一条链路的BT带宽增加.因此,如果希望网络出口BT带宽下降,应该在负载均衡的每条链路上都限制BT带宽.     

一种改进的Hadoop数据放置策略

采用现有的Hadoop默认数据放置策略时,若本地数据副本失效,从远程结点上恢复数据需要耗费大量数据传输时间,且随机选取数据放置结点可能会影响数据放置的负载均衡.为此,文中提出一种改进的数据放置策略.该策略基于结点网络距离与数据负载计算每个结点的调度评价值,据此选择一个最佳的远程数据副本的放置结点,从而既能实现数据放置的负载均衡,又能实现良好的数据传输性能.在Hadoop平台上实现了所提出的数据副本放置改进策略,结果表明,与系统默认策略相比,文中提出的策略不仅可以改进数据放置的负载均衡,而且可以减少数据副本放置的时间.     

负载均衡算法综述

概述了负载均衡面临的三大问题,根据实现层次不同,对负载均衡技术进行了分类,从应用范围、运行原理的角度出发,重点分析并比较了8种基本的负载均衡算法,对负载均衡技术的未来发展趋势进行了展望。     

负载均衡对BT带宽控制的影响

由于对等网络(P2P)业务占用了大量的带宽资源,一些网络出口对P2P流量采取一定的限制措施。然而,因为负载均衡的广泛存在,网络出口链路不止一个。通过分析BitTorrent这种大量使用的P2P业务的流量特征,证明在网络出口采用CISCO CEF的基于目的地配置的负载均衡方式时,只对负载均衡的2条链路之一控制BT带宽,将导致另一条链路的BT带宽增加。因此,如果希望网络出口BT带宽下降,应该在负载均衡的每条链路上都限制BT带宽。     

基于内容的Web集群系统负载均衡策略

Web集群技术解决了Web服务器系统容量问题，其核心思想是负载均衡策略和算法。传统的策略对某些站点类型有效，而不能满足各种类型站点的要求。笔者分析了各种类型站点的负载特点，讨论了负载均衡需要解决的主要问题，提出了一种基于内容的Web集群负载均衡策略和相应的负载均衡算法，并通过仿真实验验证了该策略和算法的有效性。     

基于集群的自适应负载均衡研究

目前在大多数的集群系统中都使用了负载均衡技术,以提高整个系统的执行效率。但是由于集群系统的负载粒度为节点,负载均衡服务就有可能不断地在两个节点之间快速地切换,这种节点负载快速变化的现象称为负载颠簸,会导致系统的不稳定;另外一种现象称为负载成群是当有一个轻载节点可用时,负载均衡服务在很短的时间内将所有的请求都转发到这个节点上,会导致这个节点严重过载。本文针对这些现象提出了一种自适应负载均衡算法(DAA)和一种计算节点相对负载的方法,有效的解决上述问题,极大的提高了集群系统的响应速度和执行效率。     

一种基于多衡量指标的HDFS负载均衡算法

针对在Hadoop分布式文件系统中,系统默认的数据负载均衡算法在做负载均衡决策时只根据磁盘空间使用率这单一的衡量指标无法准确反映集群中各服务器实际的工作负载状况这一缺陷,通过研究和分析Hadoop分布式文件系统本身的负载均衡机制和在其基础上改进的负载均衡算法,本文提出了一种基于多衡量指标的负载均衡方法,定义了一个衡量指标函数,然后根据该函数计算集群中各数据服务器的负载量来对集群进行负载决策.最后通过实验结果表明,该方法有效地提高了Hadoop分布式文件系统中的负载均衡效果.     

基于服务器群集的负载均衡策略

负载均衡策略建立在现有网络结构之上,它提供了一种有效的方法扩展网络带宽和增加吞吐量,加强网络数据处理能力,提高网络的灵活性和可用性。     

一种基于多Agent的有效负载均衡的WebGIS体系模型

针对分布式WebGIS中海量数据和有限带宽的网络资源之间的矛盾日益突出,研究分析了当前WebGIS两种体系结构的优缺点,引入多Agent技术进行合理分配协调任务,提出一种基于智能多Agent的混合式的WebGIS体系结构模型.经过对海量网络数据查询特点的分析,对需要查询的数据进行过滤和精炼,提出一种在客户端使用代价函数来优化动态矢量数据的查询方法.实践证明,该体系结构模型能够有效地提高查询速度,节省带宽资源,保持全局网络负载的良好性能.     

一种基于动态可分配比的服务器负载均衡算法

负载均衡是服务器集群技术研究的重点,为了解决分配不均的问题,综合考虑集群中各节点性能、负载情况、传输代价、网络随机任务等各方因素而提出了一种基于动态可分配比的负载均衡算法.基于动态可分配比的算法由一张动态的描述各节点负载情况的全局表动态生成一张候选节点表,并在该表中找出负载最轻的节点完成任务.通过仿真实验发现该算法思路简洁,实现简单,并在解决服务器负载均衡方面有明显效果.     

一种基于网络处理器的动态带宽分配算法

针对基于优先级队列（CBQ）机制中带宽分配算法的不足,以Intel IXP2400 为平台,设计并实现了一种基于网络处理器的动态带宽分配算法.该算法以令牌为介质,采用“生产者-消费者”模式,将每个优先级队列看作是一个独立的实体并为其设置一个令牌桶.令牌发放器作为“生产者”,根据队列的预分配带宽,按照特定的速率将令牌放入令牌桶中,调度器作为“消费者”,从令牌桶中取出令牌.某个优先级队列的令牌如果不够用,允许向其他优先级队列借用令牌,或收回借出的令牌,从而实现带宽的动态分配.在IXP2400微引擎上的实验表明,无论高优先级队列数据包速率高于还是低于传统CBQ带宽分配算法中设置的阈值,所提算法的转发速率均高于传统算法.     

基于带宽约束的云计算负载调度算法

负载调度是云计算得以大规模应用及提高服务性能的关键技术,对提高云供应商服务质量、用户满意度以及数据中心集群资源利用率等有极其重要的意义.云计算环境中,由于用户任务类型的不同,对带宽的需求也不尽相同,若不区分不同任务对不同带宽的要求,可能会造成资源的浪费,增长用户等待时间.本文对经典Min-Min算法进行改进,提出了BCLL-Min-Min算法,该算法满足带宽需求约束,并且实现相对负载均衡调度.仿真实验表明,BCLL-Min-Min算法能够适应云计算环境下任务多样性和不确定性的情况,使用该调度算法可以提高集群的吞吐率、较大改善数据中心的负载均衡性.     

基于RMI的集中式并行动态负载平衡算法

介绍了并行算法中常用的动态负载平衡技术,并分析了RMI的工作原理,提出了一种基于RMI的集中式并行动态负载平衡算法.该算法最大的特点是不需要保存结点的负载信息,可有效地减少各节点之间通信和同步所需的时间,同时结合了RMI的运行机制和JAVA的线程机制,由子结点根据自己的负载情况动态地推动任务的划分和分配,可以在多结点的并行搜索计算中获得较高的加速比和效率.通过在33个结点的并行机上的试验,证明了该算法的可行性和有效性     

基于公平性的DiffServ带宽分配解决方法

分析了DiffServ带宽分配的公平性问题,提出了一种采用网络数据流划分和WRED加权早期随机检测基于公平性的DiffServ带宽分配解决方法.实验表明该方法能公平的分配网络带宽资源及提高网络的吞吐率,实现区分服务DiffServ网络中端到端的QoS.     

基于小波变换的GPON动态带宽分配算法研究

利用小波变换将自相似性业务的长相关性转化为短相关性,并对网络业务流量进行预测。将得出的结果应用于吉比特无源光网络（GPON）的动态带宽分配,提出一种改进的动态带宽分配算法。     

基于计算场的网格动态负载平衡算法

针对网格系统中存在的负载平衡问题,利用物理学中的场理论,提出了一种基于计算场的网格动态负载平衡机制.该机制利用节点远程势作为负载平衡时节点选择的标准,优先选择综合性能最好的节点进行负载迁移.实验结果表明,采用本算法后的系统负载平衡指数较低,响应时间较短.同时,算法考虑了节点间的通信关系,适应性更加广泛.     

CAN网络化运动控制系统的动态带宽分配算法

为解决CAN网络化运动控制系统中静态带宽分配算法无法有效利用有限带宽资源的问题,基于反馈控制原理提出了两种动态带宽分配算法.首先,根据网络实际情况和控制需求,通过调整采样周期来实现带宽的按需分配,但采样周期的大幅度波动可能会造成系统失稳和资源过度消耗等问题,为此,通过预设3种采样周期,在3种采样周期间切换以实现带宽动态分配.仿真结果表明,该动态带宽分配算法的性能明显优于固定带宽分配算法.     

基于微服务架构的多资源负载均衡优化方法

为有效提高网络多资源利用率和执行效率,确保网络多资源负载均衡效果,通过微服务架构研究了多资源负载均衡优化方法。通过数据层、基础层、服务层、业务层以及表示层,建立微服务总体框架结构,动态调度网络多资源服务,降低负载情况,采用微服务架构,构造可扩展的网络拓扑结构。依据负载均衡优化目标建立优化模型,利用多蚁群算法对优化模型进行求解,通过局部和全局更新网络流量之间信息素,实现网络多资源负载均衡优化。结果表明：所提方法的资源负载均衡执行时间仅为10 s,网络资源利用率和负载均衡度分别为89.2%和89.4%。可见所提方法能够对网络多资源负载进行均衡优化,有效提高网络多资源利用率和执行效率,确保资源负载均衡效果。