基于节点实时负载的开源大数据负载均衡优化算法

为保证网络访问稳定,减少资源浪费,提出了基于节点实时负载的开源大数据负载均衡优化算法。建立开源大数据节点计算能力模型,按照节点负载大小及时反馈和调整,根据该区域服务器收到的请求数量预测下一步行动,利用指数平滑方法算出每秒服务器请求数量的预测值,完善一阶指数平滑法滞后偏差问题,计算服务器综合负载。在节点上添加一个负载代理和监控器,用于平衡组块的数目和分片节点负载,并将不能删除的分片和组块放入最小单元候选名单,实现负载均衡优化。通过实验证明,所提算法能提高网络资源利用率和负载均衡性,在访问中保证网络更加稳定安全。     

一种改进的分布式存储系统节点动态扩展策略

分布式存储系统经常面临数据的均衡分布和扩容问题,针对现有一致性哈希动态扩展算法的不足,提出一种基于访问概率的动态扩展策略.该策略基于热点数据访问概率大的思想改进原算法虚拟节点的分配方法,能够有效改善扩容后造成请求命中率下降和负载均衡的问题.实验结果表明,在系统添加新存储节点时,改进策略有效地优化了系统的性能,缩短了系统到达新的负载平衡状态的时间.     

基于用户行为统计的流媒体集群负载均衡算法

为了通过内容分配达到负载均衡的目的,对流媒体用户的行为特征进行了分析,并根据用户在点播中对不同片源和片源内部各区段的行为规律,提出访问强度的概念,用来表示与分片相关I/O操作的处理频度,基于此定义给出了一种基于内容分片的负载均衡算法.该算法根据访问强度将节目切片,再将其分配给后台各异质节点.通过仿真实验比较算法在不同访问强度定义下的系统响应时间,验证了算法的有效性,达到了负载均衡的效果,系统性能明显提升.     

基于TCN-GRU的Handle标识解析系统负载均衡算法

数联网技术是解决数据管理困难及数据孤岛等问题的关键。近年来,随着数联网技术的飞速发展,Handle系统作为数联网标识解析领域中最具有代表性的系统得以快速落地。然而,Handle标识注册量和解析请求量的快速增长使得Handle系统缓存/递归解析服务节点的解析请求压力加大,且难以保证标识解析请求的服务质量。针对上述问题,提出一种基于TCN-GRU的缓存/递归解析服务节点的负载均衡算法,旨在优化缓存/递归解析服务节点的标识解析效率。首先,将用户的解析请求合理地分配到缓存/递归解析服务节点的服务器集群当中,以提升服务器集群整体的工作效率和吞吐量;其次,基于Handle系统中节点的层级架构,考虑到循环神经网络中普遍存在的梯度弥散问题,引入TCN时序神经网络,有助于提取服务器集群负载的时序性信息。相较于传统的负载均衡算法,所提算法根据服务器负载状况动态调整负载转发策略,服务器平均响应时间缩短50%左右,吞吐率提高40%左右,请求失败次数大幅减少。     

基于集群的自适应负载均衡研究

目前在大多数的集群系统中都使用了负载均衡技术,以提高整个系统的执行效率。但是由于集群系统的负载粒度为节点,负载均衡服务就有可能不断地在两个节点之间快速地切换,这种节点负载快速变化的现象称为负载颠簸,会导致系统的不稳定;另外一种现象称为负载成群是当有一个轻载节点可用时,负载均衡服务在很短的时间内将所有的请求都转发到这个节点上,会导致这个节点严重过载。本文针对这些现象提出了一种自适应负载均衡算法(DAA)和一种计算节点相对负载的方法,有效的解决上述问题,极大的提高了集群系统的响应速度和执行效率。     

基于两阶段散列的Web集群服务器内容分配研究

针对Web集群服务器内容分配不均衡的问题，提出了基于两阶段散列的内容分配算法．该算法首先根据统一资源定位器字符串把服务器内容散列到k＊n个槽中，使得各槽的文件个数均衡；然后根据从Web日志中挖掘出的访问负载信息，采用分段负载互补方法把内容再次散列到孢个槽中，以使各槽内容负载均衡．同时，在集群分发过程中应用该算法，可提高请求的调度效率和节点的缓存命中率．实验结果表明，两阶段散列的负载均衡性能可比一次散列提高28．7％．     

集中式动态负载均衡算法的研究

目前的负载均衡算法中难以探测节点终端的实际负载,导致难以有效地满足负载均衡集群系统实时需求.通过分析集群系统中的资源管理优化技术和负载均衡调度算法,对集群系统的模型结构进行了分析,提出了一种改进的集群系统的负载均衡算法,该算法较好地解决了集群的资源调度问题.     

基于服务器负载状况分类的负载均衡调度算法

针对云端集群负载均衡问题和现有负载均衡算法的优缺点,提出了一种基于服务器负载状况分类的负载均衡算法.通过每阶段采集负载信息,实时掌握节点状态,停止重负载节点接收任务,降低中负载节点集合接收的负载,相应地增加轻负载节点集合的负载,以达到负载均衡效果.同时采用集合的形式很好的避免了大量负载涌入某一指标最优的节点,能够更好地实现均衡,提高系统的吞吐率.结果表明:该算法可以有效地避免云端集群负载发生倾斜,使系统在长时间的运行过程中达到动态的负载均衡.     

一种结构化P2P存储系统的负载均衡方法

针对结构化P2P存储系统中的负载不均衡问题,提出了一种基于虚节点划分的负载均衡方法.建立适用于P2P存储系统的节点性能模型,对网络节点进行性能评价,将物理网络中性能弱的临近节点划分成DHT网络中的一个虚拟节点以平衡系统的负载.实验结果表明该方法可以有效降低结构化P2P存储系统中负载不均衡节点的数量.     

基于Equalchord语义Web服务发现模型

为了拓展服务发现的范围提高服务发现效率并使得各个服务注册中心上的负载均衡,提出了一种基于Equalchord的语义Web服务发现模型(ECSDM).在此模型中,服务发布时首先按照NACIS进行分类,并以分类码作为标识符按照Chord路由算法分布到网络节点上.针对Equalchord中的节点负载均衡问题提出了过载率的衡量指标.为了实现节点间负载均衡,提出了节点加入算法和节点自动负载均衡算法.节点加入时根据网络中的负载信息来设置自己标识符以分担负载过重节点的负载,节点通过周期性的比较与邻居的负载情况调用自我负载均衡算法按顺时针分担负载,实现节点间的负载均衡.通过仿真系统ChordSim模拟实验,证明了该模型及算法具有良好的效果.     

一种不依赖访问热度信息的分布式文件放置算法

文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测。提出一种不依赖访问热度信息的分布式文件放置算法;该算法仅使用文件的创建时间信息,利用文件已创建时间与访问热度之间的相关性,首先将时间进行区间划分,然后统计出各节点在不同时间区间内所创建文件的数据量,放置过程中保持同一时间区间的数据量在不同节点间大致相同。实验结果表明,该算法不仅可以使各节点的存储负载达到均衡,还能够提升访问负载的均衡,消除因文件访问热度不均而导致的性能瓶颈。     

Performance Comparison of IP-Networked Storage

Dramatically increasing amounts of digital data are placing huge requirements on storage systems. IP-networked storage systems, such as the network file system (NFS)-based network-attached storage (NAS) systems and the iSCSI-storage area network (SAN) systems, have become increasingly common in today’s local area network (LAN) environments. The emergence of new storage techniques, such as object-based storage (OBS) and content aware storage (CAS), significantly improves the functionality of storage devices ...     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

网格存储中的自适应负载平衡策略

为了优化网格存储的系统性能,针对网格环境中不同存储单元的性能差异,基于文件的访问特点提出一种自适应的负载平衡策略. 通过建立能量模型体现文件访问对存储单元的负载压力;通过与用户访问复合减少负载调整开销;通过创建和回收副本实现数据访问优化. 实验证明,提出的负载平衡策略与传统的磁盘冷却算法相比,请求处理时间和系统吞吐量均有20%左右的提高.     

物联网环境下负载均衡的低代价云存储数据副本分布

为满足物联网终端结点移动性和数据访问实时性要求,根据云存储中副本分布与访问的模式,提出结合数据访问点位置和访问频率,具有低访问代价的存储服务器选取方法.考虑负载对访问代价的影响,通过动态更新代价矩阵,提出负载均衡机制.研究结果表明:该方法在最少副本数目的前提下,将副本分配到与访问情况相适应的具有较低访问代价的存储服务器上,可有效减少数据访问开销,并避免副本集中分布,保证各存储服务器的负载均衡,更适合于物联网环境中云存储数据管理.     

Data Location Mechanism in Agent-Based Autonomic Storage Systems

This paper introduces agent-based methodology to build a distributed autonomic storage system infrastructure, and an effectively negotiation mechanism based on agent is applied for data location. We present Availability-based Data Allocation （ADA） algorithm as a data placement strategy to achieve high efficient utilization of storage resources by employing multiple distributed storage resources. We use Bloom filter in each storage device to track the location of data. We present the data lookup strategy that small size of read request is handled directly, and large size of read request is handled by cooperation with storage devices.The performance evaluation shows that the data location mechanism is high available and can work well for heterogeneous autonomic storage systems.     

浅谈管理信息系统的安全保密设计

针对管理信息系统中软件设计的安全保密问题，提出采用三层客户／服务器数据访问结构、严格的密码保护、限定用户可使用的工作站数量、限定用户访问系统的时间段、限定用户访问数据的部门范围、设定用户可操作的功能权限、及其他安全措施。     

基于日志的闪存文件系统设计与实现

分析了嵌入式存储设备和文件系统的研究现状与存在问题,阐述了日志文件系统的基本原理,在此基础上设计了一个嵌入式Linux平台下适用于NAND芯片的日志文件系统,并对其主要数据结构和算法进行实现.通过描述该文件系统各模块接口、节点结构以及负载平衡和垃圾收集算法,显示出该系统相比其他同类产品具有存取速度快、芯片使用寿命长和稳定性高等优点.     

数据残留的清除与安全性研究

随着各种存储设备的广泛应用和数据恢复技术的迅猛发展,数据安全越来越为用户所重视,而硬盘和其他移动存储设备作为当今数据存储的主要载体,清除残留在其中的秘密数据将面临巨大挑战。通过研究硬盘数据残留产生的原因以及现状对其安全性进行了分析,并根据当前的数据恢复技术提出了一种如何安全清除数据残留的新方法和实现算法。     

基于Huffman编码的XML数据压缩方法

针对一定网络带宽下生产过程报表系统对大型数据源访问速率不高的问题,提出了一种基于Huffman编码的XML数据压缩方法。通过构造数据处理类获取XML文档中重复率高的节点单元,采用Huffman编码对节点单元进行编码,将编码后文档利用LZMA算法压缩,构建了Huffman-LZMA压缩算法,并将该压缩算法应用于生产过程报表系统设计。实际应用结果表明,该压缩算法对生产过程报表数据源的压缩率达到约88%,有效的节省了网络带宽和存储空间,提高了报表系统的访问速率。