一种改进的Hadoop数据放置策略

采用现有的Hadoop默认数据放置策略时,若本地数据副本失效,从远程结点上恢复数据需要耗费大量数据传输时间,且随机选取数据放置结点可能会影响数据放置的负载均衡.为此,文中提出一种改进的数据放置策略.该策略基于结点网络距离与数据负载计算每个结点的调度评价值,据此选择一个最佳的远程数据副本的放置结点,从而既能实现数据放置的负载均衡,又能实现良好的数据传输性能.在Hadoop平台上实现了所提出的数据副本放置改进策略,结果表明,与系统默认策略相比,文中提出的策略不仅可以改进数据放置的负载均衡,而且可以减少数据副本放置的时间.     

集群存储系统数据容错研究

针对当前网络存储技术存在的存储服务瓶颈问题,介绍了一个高可靠可扩展PC集群存储系统的容错设计方案.利用广泛用于加密解密技术的SHA-1算法来产生数据对象的副本ID,然后根据各个存储结点的权值信息,利用散列函数将数据对象复制到各个存储结点,使系统具有很好的容错性.另外描述了系统中对数据对象存储、读取、删除的基本方法,并介绍一种类似基于时戳的法定数选举方法来维护系统中数据对象副本的一致性.最后对系统的可靠性以及系统所支持的最大用户量进行了分析.     

基于灰预测的Web Cache集群热点对象处理策略

热点对象问题是Web cache集群负载均衡研究中的一个重要问题,热点对象的存在容易引起访问歪斜(access skew)和负载不均衡.在分析Web访问中热点对象特征的基础上,构建了基于灰预测的热点对象访问频率预测模型.基于该模型,提出一种新的热点对象处理策略:预测对象的访问频率,配合阈值判断对象是否为热点对象,将热点对象推送到集群中所有节点,实现热点对象的冗余存储,从而达到负载均衡.实验结果表明,与其他热点对象处理策略相比,基于灰预测的热点对象处理策略可以明显提升Web cache集群性能.     

物联网环境下负载均衡的低代价云存储数据副本分布

为满足物联网终端结点移动性和数据访问实时性要求,根据云存储中副本分布与访问的模式,提出结合数据访问点位置和访问频率,具有低访问代价的存储服务器选取方法.考虑负载对访问代价的影响,通过动态更新代价矩阵,提出负载均衡机制.研究结果表明:该方法在最少副本数目的前提下,将副本分配到与访问情况相适应的具有较低访问代价的存储服务器上,可有效减少数据访问开销,并避免副本集中分布,保证各存储服务器的负载均衡,更适合于物联网环境中云存储数据管理.     

一种平衡数据读写开销的数据复制方法

大型分布式系统通常将系统内存储的数据复制到多个节点以减少数据访问的时间开销.然而,随着数据副本数量的增加,副本数据更新过程的写代价也随之增加.如何合理地选择数据副本的存储节点、控制副本数量,以平衡数据的读写开销,进而有效地降低系统总的数据访问代价是分布式存储的研究热点.针对这一问题,本文提出了一种基于遗传算法的数据复制方法来平衡数据的读写开销.具体地本文对遗传算法进行了以下两方面改进:(1)建立了一个综合考虑读写数据传输代价的评价函数,以控制遗传算法的收敛方向,搜索数据副本存放位置的最优或次优策略;(2)通过时间序列预测方法来启发式地指导染色体变异操作,以合理控制副本数量适应数据的读写访问趋势.实验表明,与传统方法相比,本方法能够更有效地降低数据访问的总时间代价.     

基于RS纠删码的HDFS云存储动态副本策略研究

目前多数云存储文件系统为保证其系统可靠性和性能所采用的静态完全副本冗余机制存在存储效率低、负载均衡能力差等缺点,为了提高云存储效率以及优化云存储的负载均衡能力,该文根据应用HDFS的经验,提出一种基于RS纠删码的云存储动态副本的冗余策略-SeaMaiden. SeaMaiden引入了副本调整模块和纠删码编解码模块,通过周期性的计算文件的热度,进而动态调整文件的副本数.当文件的副本数低于3时,则调用纠删码编解码模块对文件进行编码,提升文件的可靠性.当文件的热度级别上升时,则动态增加文件副本数,提升HDFS的负载均衡能力.通过实验证明SeaMaiden 能有效提高HDFS的存储效率、可靠性及响应速度.     

一种动态紧缩的移动对象索引结构

DPTI(dynamic packing trajectory index)是R*-Tree和链表组合而成的移动对象索引结构.用链表来存储轨迹数据,做到了严格的轨迹保护.轨迹的分段处理对每条轨迹进行了逻辑划分,每个划分对应链表中的若干条线段.R*-Tree存取的最小单元不再是轨迹的线段,而是各个划分所对应的线段集.基于对轨迹更新的简单预测,在轨迹不断更新的过程中对存放历史信息的结点进行紧缩,使得叶子结点拥有更高的存储利用率.DPTI的两层索引结构做到了严格的轨迹保护,分段处理使得各段轨迹能够按照时空位置插入R*-Tree,动态紧缩提高了索引的存储利用率,这些改进都促使DPTI得到了较好的时空查询效率.     

基于分布式FTP的二进制大对象存取算法

为提升二进制大对象(BLOB)存储系统的可靠性和存储效率,设计了一种新的BLOB存取算法.通过建立分布式BLOB存储模型,设计了基于多列等候队列的存储结构,证明了适当增加等候队列数量,可改善存储系统性能.系统采用混合型数据放置策略,分布地存储BLOB数据于FTP群集中各个结点,并将其属性存储于元数据服务器.结果表明,随着系统容量的不断增长,各结点存储性能稳定,数据完整性良好.     

云存储中基于竞标模式的副本管理策略

为提高数据的可用性、减小程序的响应时间及保证负载均衡,提出带有竞标思想的副本管理策略.将竞标模式中的元素(如竞标时间,竞标底价,竞标价格等)运用到副本放置过程中,在副本放置过后优化副本的分布情况.当文件数据的可用性不能满足用户需求时,副本竞标活动开始.副本的放置考虑到副本集的地理分布差异性和分布疏密程度.当数据可用性达到用户需求时,策略开始进行副本的管理和优化操作.实验结果分析表明,该策略能改善云存储系统的负载平衡和响应时间等方面的性能,满足云存储环境的实际需求.     

基于人工蜂群算法的存储负载副本放置均衡算法

针对固态盘闪存阵列中没有盘间损耗均衡策略,导致阵列中某些固态盘被更快损耗的问题,研究了存储盘间负载均衡的主要实现技术,分析了不同技术中具有代表性实现算法的优缺点,提出利用副本放置方法达到闪存阵列中盘间损耗均衡的策略,以及磁盘能量、数据负载能量和副本能量概念,分析得出磁盘能量与所要分配的副本之间属于NP(Non-deterministic Polynomial)-hard关系,利用马尔科夫链对人工蜂群算法(Artificial Bee Colony algorithm,ABC)进行改进并用以实现磁盘间的负载均衡.通过在Matlab上进行模拟仿真实验,比较了加权轮寻算法和改进ABC算法对副本在物理磁盘上的自动分配结果,并比较了改进ABC算法在不同运行次数和不同物理磁盘数量对结果运算精度也就是副本配置情况的影响.改进ABC算法可以较迅速地完成磁盘间副本分配并达到较好的分配效果.     

一个对象-关系型DBMS的数据存储组织策略

提出了一个对象关系DBMS的数据存储组织策略，给出了其底层存储的具体实现，其中包括类，对象的存储方案。给出并分析比较了类层次的3种存储策略，确定了将每个类映射成一张表（包含该类继承的属性）作为本系统实现的策略。论述了大对象等的分散存储策略。结果表明，本 系统在增强对象处理能力的同时，能满足对数据的快速高效检索。     

EDDBMS存取机制的设计与实现

介绍了一种面向对象的工程数据库管理系统的存取机制，根据面向对象语义模型的特点，提出了一种适合于类、对象的存储模型以及一种可查询类层次对象和单类对象的复合对象索引机制，对象标识的选择便于对象的查询，在此之上实现了复杂对象的存储管理     

一种新的形状自适应DCT算法

ＭＰＥＧ－４协议里的形状自适应ＤＣＴ算法计算简便,易与现存的混合编码标准相容,但存在一些不足．提出了一种新的对任意形状图像块作形状自适应ＤＣＴ算法．该算法利用少量低频ＤＣＴ系数近似表示任意形状图像块．与ＭＰＥＧ－４协议中的标准形状自适应ＤＣＴ算法相比较,在复原图像质量和图像数据压缩比等方面均有改进．理论分析与实验结果表明,该算法可以成为视频对象边界处理的方法之一     

基于分布式对象计算技术实现动态企业建模

为了实现企业结构、行为及信息等方面的集成并最终实现基于模型驱动的动态企业优化设计、分析与操作 ,文中从提高企业组织和运作的柔性的角度出发 ,系统分析了动态企业建模的技术内涵 ,讨论了动态企业建模环境及其基本构成、典型化的企业模型层次结构及各模型之间的关系 ,提出了基于分布式对象计算技术实现动态企业建模的策略及其系统实现的方案。动态企业建模技术使企业的应用系统能紧密匹配企业经常改进的业务流程和业务活动 ,减少了企业系统的复杂性 ,增加了应用柔性     

基于CORBA分布式体系结构的合同管理系统

为解决信息不对称问题,通过对CORBA(Common Object Request Broker Architecture)规范技术原理分析,结合合同管理特点,提出了一个基于CORBA分布式结构的合同管理系统的设计方案。简述了分布式合同管理系统的体系结构和系统组成,实践证明该设计方案与传统的合同及项目管理系统相比较,能够满足分布式合同管理的要求。     

SNMPv3的安全机制

随着互联网的发展，网络安全逐渐成为网络管理中的一个重要问题。本文在结合对ＳＮＭＰｖ３（简单网络管理协议第３版）进行分析的基础上，介绍了其安全机制的两个模块及其安全处理过程。     

对象存储系统中的柔性对象分布策略

为了使对象存储系统在处理不同大小文件时兼顾并行性和负载均衡,提出一种能够结合哈希算法和分片算法的优点,同时尽量避免其缺点的柔性分布算法.柔性分布算法将大小文件的边界值界定为512Kbyte,小文件直接映射成一个对象并使用哈希策略映射到一个设备中;大文件分割成多个对象,分别放置在不同的设备里.实验结果显示:柔性分布算法在不同规模的系统中开销最小,且性能受设备数增加的影响较小.     

导航电子地图数据物理存储

为满足嵌入式系统中导航需要,研究了导航电子地图数据的物理组织与存储.对比了导航电子地图数据物理存储常用的2种实现方法:嵌入式数据库和基于文件系统的方法,提出了采用基于文件系统的实现方法.论述了导航数据物理存储的逻辑结构,提出采用多文件分块实现数据的存储.针对物理存储中导航地理要素检索定位的重要性,研究了基于数据管理框架的数据检索方法.以二进制文件为基础,给出了导航电子地图物理存储文件格式的具体定义.试验结果表明,该导航电子地图物理存储方法在满足导航系统性能需求的基础上,能较好地支持导航系统主要功能的实现,适合于导航服务系统.     

分布对象模型的研究及其在企业商务计算中的应用

基于分布对象模型理论及其相应技术,通过对IBMWebSphereAppServer平台的使用和个人消费信贷管理信息系统(ICCMIS)项目的开发,很好地理解分布对象模型在生产中的应用,并进而对CORBA规范进行学习和实践应用,同时结合实践分析分布对象模型的技术特点并与其它的传统技术进行相应的比较。     

面向对象建模技术及其实现

面向对象技术已成为当今软件开发的一种主流方法,它已从软件编程、软件设计扩展到需求分析、建立系统模型的阶段。本文以“餐饮自动化系统”中的“顾客点菜子系统”为例,介绍运用面向对象技术建立系统模型的方法。