一种包含两级元数据服务器的机群文件系统

本文提出了一种两级元数据服务器机群文件系统,高级元服务器实现任务分配功能,依据与二级元服务器性能最密切相关的负载信息将任务快速分配给二级元服务器,同时在存储文件时,提出了一种文件热量模型,能正确反映各存储节点I/O流量和存储量的方法,并依据文件热量值对待存文件进行了合理的分配存储。实验结果表明,本策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。     

基于URL的Web集群分配策略

Web任务的分配影响Web服务器集群系统的整体性能。常用的分配方法是对用户的URL请求,根据服务器数量进行轮询分配。这种策略影响缓存的命中率和服务器性能的发挥。在分析了Web站点中文件的组织方式及用户对Web请求特征的基础上,提出了基于URL分配树的LT分配策略,根据URL地址构建URL分配树,对用户的请求进行响应。同时考虑任务的处理代价,各服务节点服务能力和当前负载状况,对服务节点进行负载均衡的任务分配。本文从缓存队列剩余、请求任务溢出情况和轮询分配策略进行了比较,实验表明本文的分配策略能根据服务节点的服务能力、负载状况进行合理地分配,实现了负载的真正均衡,提高了系统整体吞吐量。     

基于信息资源地址的Web集群分配策略

Web任务的分配影响Web服务器集群系统的整体性能。常用的分配方法是对用户的信息资源地址(URL)请求,根据服务器数量进行轮询分配。这种策略影响缓存的命中率和服务器性能的发挥。在分析了Web站点中文件的组织方式及用户对Web请求特征的基础上,提出了基于URL分配树的LT分配策略。根据URL地址构建URL分配树,对用户的请求进行响应;同时考虑任务的处理代价,各服务节点服务能力和当前负载状况,对服务节点进行负载均衡的任务分配。从缓存队列剩余、请求任务溢出情况和轮询分配策略进行了比较,实验表明分配策略能根据服务节点的服务能力、负载状况进行合理地分配,实现了负载的真正均衡,提高了系统整体吞吐量。     

一种存储容量可扩展的文库系统设计与实现

随着Internet的发展,用户对网络存储系统的价格和性能提出了新的要求.本文分析了各种网络存储技术和Internet传输技术,在虚拟主机基础上,建立文库系统,用户上传文件到服务器中,服务器接收用户文件.服务器动态增加虚拟主机,扩展文库系统的存储容量,并利用Flash和Webservice技术,实现网络存储分布式传输和存储.系统具有良好的可扩展性和数据传输性能.     

一种优化COMET请求调度策略的应用研究

为提高服务器的应用性能和服务质量,针对目前较成熟的COMET技术框架都将重点放在如何改进服务器性能的问题,提出了一种优化COMET请求调度策略和应用架构。在应用中按请求的用户级别、信息类型等计算出请求优先级。根据优先级分配合适的推送技术,并通过在师生实时交流辅导系统中的应用,验证了优化COMET请求调度策略能够有效提高服务器的应用性能和实现服务器资源的合理分配。     

基于CAS的媒体存储技术的研究

为了解决媒体存储和内容管理面临的问题,提出了一种新的媒体存储技术———媒体内容寻址存储(mCAS).mCAS是一种创新的基于内容寻址存储(CAS)和元数据技术的集成解决方案.mCAS对媒体对象进行Hash计算得到固定长度的数字代替文件名,并将Hash和基于MPEG-7的元数据组成一个标准格式的XML文件,称为摘要文件,摘要文件提供一个媒体对象的数字清单和内容清单,既便于媒体文件基于内容的存取,又便于多个媒体应用程序进行数据交换.mCAS原型系统由CAS驱动程序、MPEG-7工具和Web服务器组成,其中CAS驱动程序实现存储空间管理和分配、hash计算和与块的映射,MPEG-7工具实现基于内容的元数据提取,Web服务器实现内容检索.mCAS实现了对象存储技术和内容管理技术的结合,适合于对巨大的视听内容进行数字归档,可提高存储系统的搜索性能和效率.对CAS驱动程序进行了性能测试,结果表明:CAS的文件获取性能比文件服务器相比性能更好,CAS的性能高达10.7 Mbit/s.     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

物联网节点任务负载量的非对称分配系统设计

在物联网接收数据流速度出现较大波动的情况下,会导致节点任务负载量过大,影响整个物联网的整体性能。当前分配系统大多采用负载均衡策略,忽略了节点间传输数量迅速增加的情况,导致时间延迟和能耗增加。为此,设计了一种新的物联网节点任务负载量非对称分配系统。当物联网节点接收到新的任务后,利用非对称分类策略对任务负载量进行分配,选择最佳转移服务器,以保证节点任务负载量分配过程中通信链路的稳定性,给出服务器选择过程。利用"握手"操作交换物联网节点和服务器的计算能力信息,获取物联网节点和服务器进行负载处理的具体比例,实现非对称分配。实验结果表明,所设计系统能耗和时延较低,有效带宽利用率较高。     

一种自相似媒体流的分组存储算法

在媒体服务器上采用分组存储策略可显著减少生成媒体流的系统开销 ,从而有效提高系统性能。该文提出了两种分组存储策略 :等长分组存储 (ISO- PS)策略和索引分组存储 (Index- PS)策略 ,在分析自相似 MPEG媒体流突发特性对分组存储影响的基础上 ,设计了一种适合自相似媒体流的分组存储算法 I- IPS。该算法引入了对 MPEG媒体流分组时间的评价因子 ,通过该因子决策媒体流采取 ISO- PS或Index- PS策略以提高系统整体性价比。实验证明 :对于自相似特性有显著差异的不同 MPEG1/ 2 (运动图像专家组 )节目 ,I- IPS算法均能有效降低存储浪费率 ,并获得较高的系统性能     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

基于Hadoop的海量统计小文件存取优化方案

Hadoop作为一个开源的并行计算框架,它提供了一个分布式的文件存储系统HDFS.然而,当处理海量小文件时会产生NameNode内存使用率较高、存取性能并不理想的问题,导致NameNode成为系统瓶颈,从而制约了文件系统的可扩展性.本文结合统计工作,提出了一种小文件存储的优化策略,在HDFS之上增加小文件预处理模块将文件进行分类,合并成Mapfile,并建立全局索引,另外该策略引入了索引预取机制和缓存机制.实验证明,该方法能有效提高大批量小文件的存取性能.     

基于转发隔离的文件安全传输系统

针对文件传输存在的安全性问题,设计与实现了基于转发隔离的文件安全传输系统。首先,采用转发隔离技术,对客户端和文件接收服务器进行隔离,保证文件接收服务器的安全。再者,利用密钥服务器来生成、颁发、管理文件加密、解密时所需的密钥,保证密钥存储和传输的安全。最后,利用改进的数字信封来实现文件完整性的验证,提高文件传输的速度和效率。实验结果表明基于转发隔离的文件传输系统在保证文件安全传输的同时,提高了系统整体的性能。     

一种远程容灾系统的动态负载均衡方法

为解决远程容灾系统中出现的存储服务器负载不均衡现象,提出一种动态负载均衡方法,该方法首先对用户的任务进行排队,并结合动态反馈原理,周期地根据远程容灾系统各存储服务器的真实负载变化情况,进行任务分发,避免了系统内部存储节点间的负载不均.仿真实验证明,相对于传统的动态负载均衡算法WLC,该方法明显地提高了系统的吞吐量.     

Torus网络中非连续处理机分配策略的设计

在多处理机系统中高效的处理机分配策略对提高系统的性能是至关重要的,这需要用最小的时间开销为将要执行的任务找到合适的处理机组.本文针对二维Torus结构的多处理机系统,提出了一种非连续的处理机分配策略.该策略根据系统中空闲子网的情况对请求的任务进行分解,使得最终分配的处理机组保持一定程度的连续度.仿真试验表明该策略能够进一步提高处理机的利用率,降低任务的等待时间,提高整个系统的效率.     

异构Hadoop集群中数据副本放置策略优化

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.     

基于虚拟机迁移的能量收集MEC系统资源分配策略

针对现有研究没有考虑用户移动性对移动边缘计算（mobile edge computing,MEC）服务器反馈计算结果影响的情况,提出一种基于虚拟机迁移的能量收集MEC系统资源分配策略。考虑用户移动性影响,分别给出用户移动性模型和能量收集模型;采用虚拟机迁移方式,把用户卸载给初始MEC服务器的计算任务转移到当前MEC服务器,由当前MEC服务器完成计算任务,计算结果直接反馈给用户;综合考虑用户卸载计算任务和MEC服务器反馈计算结果,将功率和子载波分配问题建模为混合整数非线性规划问题,在满足能量消耗、子载波分配和发射功率的约束条件下,最大化系统能量效率。为了降低求解复杂度,通过引入遗传算法,获得次优解。仿真结果表明,与基于遗传算法的局部功率或子载波分配方法相比,提出的方法具有更高的能量效率。     

基于I/O通道的存储系统性能模型

基于数据存储I/O通道,为“服务器存储”和“数据中心”两种典型存储结构建立排队模型,利用模型对比分析两种结构的性能特点。结果表明:与服务器存储相比,数据中心的“用户绕过服务器直接访问存储设备”结构,避免了服务器成为系统瓶颈,提高了存储设备利用率,使系统总吞吐量有较大幅度增长。实验证明:该模型可有效地反映实际存储系统的性能变化趋势,并给出大致性能评价。     

基于节点簇的非结构化P2P搜索策略

以Gnutella为代表的非结构化P2P系统通常会呈现复杂网络结构,针对其度分布服从幂律分布的特点,提出一种基于节点簇的搜索策略。该策略利用节点簇来存储系统中文件的索引,通过将搜索过程限制于节点簇内部来提高搜索性能。然后,基于数学模型的理论分析给出了搜索性能上下界的数学描述。实验结果表明,搜索性能与簇的阈值c密切相关;c的取值范围灵活性很大,此时稀有文件的搜索效率至少可以提高一倍以上,文件索引的传输和存储代价可以减少一个数量级。该策略不需要学习全局拓扑知识,具有稳定并且易于实现和部署的优点。     

网格存储中的自适应负载平衡策略

为了优化网格存储的系统性能,针对网格环境中不同存储单元的性能差异,基于文件的访问特点提出一种自适应的负载平衡策略. 通过建立能量模型体现文件访问对存储单元的负载压力;通过与用户访问复合减少负载调整开销;通过创建和回收副本实现数据访问优化. 实验证明,提出的负载平衡策略与传统的磁盘冷却算法相比,请求处理时间和系统吞吐量均有20%左右的提高.