基于效用函数的负载平衡研究

提出一种基于效用函数的网络负载平衡的用户关联策略,该策略联合考虑了基站的负载和用户的服务质量。将用户关联问题建模为网络级的加权效用最大化问题(一次负载平衡),通过松弛用户关联因子将所提的非线性混合整数优化问题转化为凸优化问题;然后利用凸优化工具CVX求解得到最优的用户关联因子,并基于最大概率法将用户与基站进行关联。为了解决由于一次负载平衡过程中产生的某些基站过载的问题,提出了二次负载平衡算法。仿真结果表明:提出的负载平衡策略有效地改善了系统性能,在保证用户最低数据速率的前提下使系统达到了负载平衡。     

异构Hadoop集群中数据副本放置策略优化

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.     

基于计算场的网格动态负载平衡算法

针对网格系统中存在的负载平衡问题,利用物理学中的场理论,提出了一种基于计算场的网格动态负载平衡机制.该机制利用节点远程势作为负载平衡时节点选择的标准,优先选择综合性能最好的节点进行负载迁移.实验结果表明,采用本算法后的系统负载平衡指数较低,响应时间较短.同时,算法考虑了节点间的通信关系,适应性更加广泛.     

面向大规模存储系统的静态文件布局策略

为了提高大规模存储系统的访问性能,提出了一种静态文件布局策略(SFLS).SFLS首先把磁盘分成两组,分别用于存放热点文件和大文件,然后按服务时间长短将排序好的文件分别以Round-robin和Greedy的方式存放到两组磁盘上;在进行文件访问时,可根据文件的大小和热度来选择相应的磁盘组进行访问.该策略加快了文件I/O请求的访问速度,提高了存储系统的访问性能.实验结果表明,SFLS能动态适应系统规模的增长,与SP、SOR静态布局策略和HP动态布局策略相比,具有更低的平均响应时间和更好的负载均衡性能.     

基于服务网格的动态负载平衡调度算法研究

为了提高资源利用率和系统的吞吐率,需要实现服务网格系统内负载的均衡分布.提出了层次式动态负载平衡调度模式,详细介绍了负载平衡系统的系统结构.作业分配是负载平衡系统中的核心机制.设计并实现了一种综合考虑各局部代理作业数和各个局部代理性能以及当前负载情况的动态双阀值作业分配算法.试验数据表明,该作业分配算法较传统调度算法综合性能有较大提高.在作业数较多时,该作业分配算法性能更好.     

机群文件系统中一种文件迁移的客户端决策

为降低机群文件系统中文件访问的平均响应时间,提出了一种能反映机群节点上文件访问频繁程度的热量模型,在此模型的基础上给出了一种文件迁移的客户端决策,用于决定在非重负载情况下,单个文件在机群中的理想存放位置.模拟对比实验的结果显示,采用该策略,在总负载恒定的情况下,在4、8节点机群上文件访问的平均响应时间分别降低了21.6%和26.3%,在平均负载恒定的情况下,在4、8节点机群上文件访问的平均响应时间分别降低了22.2%和16.8%,结果表明该策略可以有效地降低文件访问的平均响应时间,提高系统的可扩展性,从而提高机群文件系统的性能.     

基于CORBA的负载平衡中间件设计和实现

阐述了一个基于CORBA的负载平衡中间件的设计和实现.该负载平衡中间件引入GCS服务来增强系统容错能力;提供了适应性负载平衡策略;可以采集不同负载数据;支持服务器动态加入和退出.针对客户端请求中有状态相关请求的情况,该负载平衡中间件使用复制技术提供状态相关服务,并且与由PSS支持的状态相关服务进行了性能比较和分析.实验表明,2种方法会因为状态相关请求所占负载的多少和状态相关请求比率的不同表现出不同的性能.     

基于用户访问统计特性的流媒体文件复制策略

该文采用数理统计方法,根据用户访问统计特性预测文件流行度,结合文件自身属性,确定副本生成数量;针对不同流媒体服务器资源属性,采用动态区间映射方法进行副本放置.实验表明,基于用户访问统计特性的文件复制策略,提高了系统服务性能,保证了系统的负载均衡.     

三维多子区激光推进数值模拟的并行设计与分析

针对三维多子区激光推进并行数值模拟问题,基于按子区独立进行区域分解策略,引入物理网格点负载权重,实现了负载平衡.通过提高Cache命中率、优化消息传递、并行写文件等措施,使设计实现了所研究问题的并行化.并在某国产巨型机上对不同算例进行了测试.当并行度为16时,最低加速比高于8.96,实现了采用并行计算加快激光推进机理研究的目的.     

计算网格中基于负载平衡的调度模式

对资源进行有效的管理和调度可以提高网格系统的利用率.针对计算网格中的负载平衡问题,为减少网络通信量,提出一种分布式的网格作业调度模型,并给出了其相关算法：将轻负载节点逐个收集到一个队列,并设定一个可调节的刷新时间,当重负载节点提出调度请求时,直接从轻载节点队列中取一轻载节点并把负载转移到该节点上,从而解决了资源调度中的负载平衡问题.     

一种新型的数据网格动态副本策略

许多科学实验和工程应用会产生TB或PB级的数据.这样庞大的数据体需要分布在世界不同地点的众多计算资源协同处理,高性能网格为使这些数据高效传送到地理上不同的位置提供了理想的手段.当用户频繁的访问大量远程数据时,动态副本可以有效地减少网格中的带宽消耗和访问延迟.在多层数据网格架构基础上提出了一种新型的动态副本策略:快速瀑布模型算法.Op-torSi m仿真器也被修改用以适应这种新型的策略.仿真结果表明,在随机访问模式下,对比FastSpread,LRU和Economy-Zipf ,快速瀑布策略能有效地减少平均数据访问时间,并且其优势随着用户提交作业数量的增加而增大.     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

WNXD数据库存储策略的研究和实现

针对NativeXML数据存储性能不高、支持查询和更新效率低等不足,提出一种新的半结构化信息存储模型WNXD。引入动态倒排技术和数据映像机制,将记录和分页的存储模式相结合,建立3种结构化索引,用不同方法解决了结构化和动态增长的矛盾。创建了实用的存储模型,提供了从整体到局部,从元素、属性到具体值的全面覆盖访问策略,底层的数据存取,尤其是内容混杂的各类形式异构数据的有效性和完整性存取,得到了最大程度保证,查询次数减小了I/O,提高了系统处理性能。     

A prediction mechanism of file access popularity and optimal strategy of replicas deployment in cloud computing

In cloud computing,the number of replicas and deployment strategy have extensive impacts on user's requirement and storage efficiency.Therefore,in this paper,a new definition of file access popularity according to users' preferences,and its prediction algorithm are provided to predict file access trend with historical data.Files are sorted by priority depending on their popularity.A mathematical model between file access popularity and the number of replicas is built so that the reliability is increased efficiently.Most importantly,we present an optimal strategy of dynamic replicas deployment based on the file access popularity strategy with the overall concern of nodes' performance and load condition.By this strategy,files with high priority will be deployed on nodes with better performance therefore higher quality of service is guaranteed.The strategy is realized in the Hadoop platform.Performance is compared with that of default strategy in Hadoop and CDRM strategy.The result shows that the proposed strategy can not only maintain the system load balance,but also supply better service performance,which is consistent with the theoretical analysis.     

一种改进的Hadoop数据放置策略

采用现有的Hadoop默认数据放置策略时,若本地数据副本失效,从远程结点上恢复数据需要耗费大量数据传输时间,且随机选取数据放置结点可能会影响数据放置的负载均衡.为此,文中提出一种改进的数据放置策略.该策略基于结点网络距离与数据负载计算每个结点的调度评价值,据此选择一个最佳的远程数据副本的放置结点,从而既能实现数据放置的负载均衡,又能实现良好的数据传输性能.在Hadoop平台上实现了所提出的数据副本放置改进策略,结果表明,与系统默认策略相比,文中提出的策略不仅可以改进数据放置的负载均衡,而且可以减少数据副本放置的时间.     

数据分级存储系统中数据分级算法研究

随着数据存储规模的海量增长,降低存储系统的总拥有成本,提高数据访问效率是海量数据分级存储系统的关键.在分析了两种典型的数据分级算法后,结合两种算法的优点对算法进行了改良,提出了基于数据访问频率和数据设备依赖度的自动分级算法,实验结果验证了算法的有效性和数据分级算法具有较高的准确率.     

大数据的长期归档存储研究

应对大数据的长期存储需求,对基于COTS的归档系统进行改进,采用云计算技术扩展系统对跨数据中心存储的支持,SVM和本体方法对归档数据的存取进行分类以提高数据访问存取效率,采用非固定单元的检错次序检错,调整多错误区域的条带以优化RAID系统的磁盘检错策略.     

一种基于拓扑特征的数据流调度策略

 流式处理器针对数据并行的应用,提供多个简单的处理单元及它们之间的高带宽通道,通过高计算密度掩盖传输延迟,支持高速的数据传输和处理,与通用处理器相比,性能达到了数倍乃至数百倍的提升。在流式处理器的研究中,数据流的调度是个比较重要的问题。本文提出了一种基于拓扑特征的数据流调度策略,该策略包含平分策略和选择策略两种,其中平分策略用于体系结构中固有负载较少的情况,选择策略在固有负载较多时利用拓扑权重来辅助平分策略完成数据流任务的调度。建立了该策略的性能模型,在考虑节点间传输时间的情况下进行讨论,对数据流调度策略的选择提出建议。     

基于相关性分析的风光储互补需求响应策略

针对风光储互补发电系统,提出基于风光相关性分析与需求响应建模结合求解优化模型的方法。首先选取负荷追踪系数对互补系统进行风光相关性分析,然后基于用户收益最大建立需求响应基本模型,以减小负荷峰谷差、需求响应前后平均电价变化最小、负荷追踪系数最小为目标建立需求响应优化模型。最后利用算例对风光储互补系统接入电网更新的电价策略对负荷波动曲线、负荷追踪系数曲线的影响进行分析。结果表明,考虑相关性分析的需求响应策略可以实现对发电侧新能源的充分消纳。     

林业资源数据集群的快速索引设计

设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.