数据存储可靠性算法

保证数据存储可靠性是信息领域面临的一个重要问题,而研究保证数据存储可靠性的算法则是其中的核心技术和热点问题.从容错度、编解码性能等多方面考虑提出了很多算法.按照存储性能和编码方式对目前的数据存储可靠性算法进行分类;对国际上提出的典型算法进行了分析,包括RS、CRS、EVENODD、STAR、X-Code、WEAVER、HoVer和Tornado算法等,讨论了它们的工作原理,提出了一套对相关算法进行性能分析的性能评价指标.总结了数据存储可靠性算法具有的特点和需要进一步研究的问题.     

基于路网压缩策略的改进Highway

针对Highway Hierarchical算法中存在的路网压缩成环问题、预处理数据存储问题和完整最短路计算问题,采用无环压缩策略、分层存储策略和局部最短路存储策略,对算法进行了改进.广东省路网测试结果表明,改进后的算法在时间效率上约是原算法的5倍,在空间效率上约是原算法的4倍.     

云存储部署优化的进化算法设计

针对云计算环境下的云存储部署规划优化问题,全文研究和提出了一种进化算法并进行了求解.首先基于对象存储方法,设计了三层架构云存储模型.在建立的模型中,将云存储部署抽象为多目标优化调度问题,针对现有粒子群优化算法或遗传算法在解决这一优化调度问题过程中出现的收敛速度及调度效率等方面的不足,将2种算法进行有效融合,设计了混合进化算法来进行求解,讨论了进化算法的优化设计过程.同时,在云计算仿真平台CloudSim上,对所提出的优化算法进行仿真实验,并对云存储中负载均衡等性能指标的改善程度进行了检测.结果表明,所提出的混合进化算法有效实现了云存储的优化部署任务,与其他进化算法相比,能对性能指标实现更优配置.     

局部对称算法在区块链分布式存储中的优化

提出一种局部对称算法,将区块链系统中的节点划分为多个节点子集,每个节点子集生成一个私钥对数据进行加密,将加密后的数据分布存储于节点子集的节点中.利用局部对称算法将哈希值和私钥分别设为全局秘密和局部秘密,用局部秘密对数据区块进行加密并将结果分布存储于节点子集的节点中,用基于中国剩余定理秘密共享的分布式存储方案对私钥和哈希值进行有效存储,达到降低存储成本和通信成本的目的.仿真结果表明,对比减存储算法和单节点故障算法,局部对称算法在区块链分布式存储中的存储成本和通信成本更低.     

基于卡尔曼滤波的室内服务机器人定位

研究了服务机器人在室内环境中运用卡尔曼滤波算法定位的一种方法.服务机器人事先将特定的墙壁与墙角信息存储,依靠自身配备的里程计获得基本的位置信息,通过声纳传感器进行观测,对墙壁进行识别匹配,根据事先的墙壁信息获得观测位置,通过将预测值与实际观测值之间匹配和修正的递归过程实现定位算法,用Matlab软件仿真验证了该方法的可行性.     

一种基于云存储的CDN视频副本部署策略

在线视频服务无法离开CDN(content delivery network)的支持.与传统CDN相比,使用云存储节点作为CDN的节点对视频内容进行分发可以节省大量运营费用.在线视频服务的内容文件要尽量预先部署到离用户较近的边缘节点上,以保证用户的QoS(quality of service).现有的GS(greedy site)内容预部署算法在有历史记录的前提下,有着较小的货币开销,且能满足QoS需求.然而,GS算法会导致云存储节点的负载均衡情况较差.为此,提出了一种称为GUCP(greedy user core preallocation)的部署算法,该算法利用k-means算法将负载过重节点上的用户分配到负载较轻的节点以平衡负载,解决GS算法在负载均衡方面存在的不足.实验表明,GUCP算法在系统使用费用、QoS性能方面与GS算法十分接近,在负载均衡性能上远远优于GS算法.     

基于云存储的内容分发技术研究

针对云存储的收费机制和内容,在分析已有的用户贪婪、服务器贪婪等启发式解决算法的基础上,提出改进的启发式云存储静态内容分发遗传算法;综合考虑资源的访问热度、资源的缺乏程度,提出基于热点预测和经济模型的动态内容分发技术;进而全面考虑当前网络带宽、边缘云存储节点性能及历史访问价值,提出概率匹配自收敛的云存储中内容分发负载均衡技术,并将提出的算法分别在模拟器CloudSim上进行测试,同时和现有的内容分发算法、负载均衡算法进行对比.实验结果证明,本文提出的算法能够应用到云存储内容分发技术当中,并且能够在提高内容分发效率的同时有效降低分发成本.     

面向媒体的粗粒度可重构架构层次化存储设计

为了优化粗粒度可重构架构REMUS-II(Reconfigurable Multimedia System 2)的数据流通路,使其能够完成高性能媒体解码,针对媒体算法的数据访问特征,对REMUS-II的片上存储与片外存储访问模块进行优化.片上存储通过二维数据传输和转置等访问模式进行优化,片上数据传输效率分别平均提高了69.6%和15.1%.片外存储通过块缓存设计优化参考帧访问,平均减少37%的外存访问时间.经过层次化存储设计,REMUS-II数据流可满足计算需求,在200MHz主频下实现H.264算法和MPEG2算法高级档次的1 920像素×1 080像素高清分辨率实时解码.     

基于生存期的云存储元数据缓存算法

针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15％的I/O速度和16％的操作处理速度.     

XML数据在关系数据库中存储和检索的研究和实现

论述了关系型数据和XML数据之间的相互转换 ,给出了将XML数据存储在关系数据库和将存储在关系数据库的XML数据恢复为XML形式的算法 .由于实际数据类型的复杂性 ,使用Schema来定义XML文档类型 .试验结果表明算法具有较好的性能 .讨论了将XMLQL查询语句转换为SQL查询语句的设计 ,根据文中XML数据存储在关系型数据库中的算法 ,可以对XMLQL查询语句的语法、语义进行分析以转换为相应形式的SQL语句来在关系数据库中查询被存储的XML数据 ,并返回相应的结果集     

采用多叉树模型数据迁移算法的设计与实现

针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高.     

一种基于云计算的新的关联规则Apriori算法

Apriori算法是经典的数据挖掘算法之一,它根据置信度和支持度对产生的频繁集进行选择,找出强规则.传统的Apriori算法需要产生大量的侯选集和多次数据库的扫描,存储和通信的开销巨大.云计算环境可以解决存储问题,所以针对Mapreduce的编程框架,提出一种适用于此模式的新关联规则算法,解决传统Apriori算法时间和空间上的缺点,提高挖掘效率.     

一种采用Chord协议的网格日志系统

为记录在大规模网格环境中发生的事件,提出了一种联合使用服务和Chord协议的日志服务系统.通过Chord协议中的一致哈希算法,把采用订阅通知的方式收集来的系统节点的性能数据和系统中所发生事件的记录,分布式存储于日志服务系统中;为了把Chord协议和Web service相结合,对Chord协议的节点加入算法做了修改,使得数据发布服务可以作为Chord节点动态加入离开Chord网;为了在日志系统中查询数据,在Chord协议基础上加入了基于元数据查询的算法.     

高可靠可扩展PC集群存储系统的设计

针对当前网络存储技术存在的存储服务瓶颈问题,介绍了一种高可靠可扩展PC集群存储系统的设计方案,并提出了对各个存储结点所挂磁盘的分组方案,对大小数据对象分别采用不同的放置、定位技术,重点讨论了小数据对象的伪随机放置算法,该算法在系统扩展时也能够有效地定位数据对象.另外通过对数据对象的有效复制,使系统具有很好的容错性.     

基于决策调度的Cache集群存储架构

阐述了一个应用于网络存储的新集群架构,该架构的构建是将网络Cache技术与集群技术结合,其核心是节点服务器的缓存机制以及后台的集群决策.架构均衡了系统的负载,并充分利用资源,向用户提供稳定、快速的存储服务.架构节点使用普通PC计算机作为服务器,对于企业级的存储应用能达到最优性价比.讨论了集群架构、集群后台决策机制以及Cache调度算法.     

飞机移动生产线物料配送与线边存储集成优化

为了解决飞机移动生产线中多并行作业物料的供给问题,构建了飞机移动生产线物料配送与线边存储集成决策的模型并设计了求解算法.在物料组批和小车调度的基础上,引入了物料在线边空间的存储决策,建立了以小车出行趟数最小化为目标的数学模型并设计了一种以免疫算法为框架的启发式算法.在免疫算法较优的全局搜索能力下,综合考虑小车的配送能力与线边空间的重复使用、共享等因素,使用反向动态小车调度算法和物料存储前瞻算法对物料的组批方式、配送时刻和在线边的存放位置三类变量联合进行决策.对提出的算法进行了数值实验,实验结果证明了模型与算法的有效性.     

一种ISPD98电路网表到图的转换算法

介绍了ISPD98电路网表格式和图文件存储格式,然后针对ISPD98电路网表给出了转换到图的算法.该算法解决正确读取ISPD98电路网表文件数据,将其转换为图并存储为指定的图文件存储格式.该算法在Windows啪平台下用C++进行了实现,并给出了ISPD98电路网表转换后图的特性.     

几种排序算法在链式存储结构上的递归实现

排序是程序设计中常用的一种操作,递归是一种重要的程序设计方法.探析了几种常用的排序算法在链式存储结构上的递归实现,包括基本思想、C语言函数源代码及详细注释,并与顺序存储结构上的算法实现进行了性能比较,以便于学习者熟练掌握链式存储结构上的递归程序设计,并为排序算法选择合适的存储结构提供借鉴.     

基于面向对象的分布式遥感数据存储模型研究

现有的遥感数据存储模型大都针对遥感影像产品数据,且在分布式环境中不能达到较好的负载均衡,为了能够管理及高效存取海量多源异构的遥感数据,满足日益增长的高并发数据共享服务需求,提出了一种支持分布式虚拟化技术的遥感数据存储组织模型.模型利用面向对象思想对遥感数据进行分类及标准化处理,结合金字塔与全球剖分格网模型,建立分布式虚拟化环境下的遥感数据存储组织架构,利用一致性哈希算法思想解决数据在分布式环境下均衡性存储问题,同时通过虚拟化服务器动态分配策略优化了系统整体性能.实验表明新提出的模型比传统模型及同类模型更具优势.该模型已经应用在国家高分辨率对地观测系统河南数据与应用中心数据分发服务系统,验证了模型的可靠性、稳定性和适用性.     

开放网络存储系统

为了减少运营和维护分布式存储系统的成本,分布式存储系统应该能够整合并利用开放网络闲散资源提供存储服务.因此,本文提出了基于开放网络资源的分布式存储系统.系统收集并整合网络存储资源来提供存储服务,采用垂直的设计思想来达到各模块之间的低耦合性,利用精确的数据定位算法来完成远程服务器数据的定位.测试结构证明:系统能够正常的与...