集群式VOD系统的视频数据存储技术研究

在采用层次化存储的并行VOD系统中,若将视频文件进行拆分并把它打散存储在各个存储单元,将获得更高的磁盘利用率.在我们提出的集群式并行视频服务器结构中,数据节点的独立性很强,为提高数据的并发度、负载平衡及容错性,本文提出了一种类似RAID5结构的独立冗余数据节点阵列RAIDN,并讨论了它的容错机制.     

磁盘冗余阵列技术解析

采用磁盘冗余阵列(Redundant Array of Disks 简称 RAID)技术存储数据,可以实现不同等级的冗余和错误修复。RAIDO 只是简单地增加了存储的容量和数据的操作速度,RAIDI 实现了数据的镜像备份,RAID3则具有效据的检错和纠错功能。各种 RAID 技术的结合是一个符合服务器大容量硬盘、数据安全性和服务器运行速度等综合要求的廉价解决方案。     

一种基于Winnowing分块的重复数据删除备份与恢复系统设计与实现

针对海量数据中存在的大量冗余信息,本文设计并实现了一种基于重复数据删除的文件备份与恢复系统,该系统采用改进的Winnowing动态分块算法,将文件分割成不同长度的数据块,并结合摘要算法、索引表、数据压缩等技术,确保服务器仅存储数据块唯一副本,以达到重复数据的删除目的.实验表明,该系统相比cwRsync能较更好的减少网络流量,并且相比传统的压缩技术能更进一步减少磁盘空间占用率.     

浅析磁盘冗余阵列的数据恢复

随着RAID技术的发展和产品成本的不断下降,应用RAID存储数据的用户越来越多。而采用RAID技术存储的数据出现了故障如何进行恢复成了好多用户的问题,本文从磁盘冗余阵列的原理出发阐述了RAID出现故障后的数据恢复。     

无线传感网络中空间失效模式下的数据存储恢复算法

针对空间失效模式下的数据存储和恢复问题,设计了一种基于数据复制的存储和恢复算法.该算法为每个数据节点分配一个冗余节点,在数据节点失效时可以利用冗余节点中的数据来成功恢复数据,并且使整个过程消耗的代价最小.理论分析和仿真实验表明,同Greedy算法相比,在保证成功恢复的同时,该方法显著降低了网络的整体能耗,从而有效延长了网络的生存周期.     

BDCode:一种面向大数据存储系统的纠删码算法

针对含有大量数据的大数据存储系统,提出了一种基于编码技术的面向大数据备份的优化算法(BDCode).该算法通过对不同编解码服务器设置不同的虚拟节点存储组来保证系统的可用性,节点和数据块的并行解码计算提高了系统中数据损坏时的恢复效率.实验表明,所提出基于编码的大数据系统备份机制可以提高系统的存储利用率,并行解码方式的引入能加速减少数据损坏时的恢复时间,并能达到零号的系统负载均衡;此外不同的用户设置不同的编码参数,增加了大数据系统的鲁棒性.实验通过设置不同的数据块m和校验块k的比例来提升利用率,并行解码速度相比以前的串行提高近两倍.使用BDCode比CRS编码效率平均高36.1%,解码效率平均高19.3%;比RS码编码效率平均高58.2%,解码效率平均高33.1%.     

一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。     

DB2:基于RAID设备的表空间部署与优化

冗余磁盘阵列(RAID)是一种性能和可靠性兼备的存储系统,结合DB2的使用经验,提出一套基于RAID设备的数据库表空间优化配置方案,以提高数据存取效能。     

带有社会关系感知的机会网络组播路由机制

为提高组播通信中数据传输的可靠性,提出了一种带有社会关系感知的组播路由机制,源节点采用喷泉码对原始数据进行编码,并结合相遇节点与会话目标节点的关系类型以及相遇历史信息选择合适的中继节点转发编码数据;同时,对接收到的编码数据进行冗余检测,以减少不必要的编码数据转发.数值结果表明:所提出的机制能够以较低的网络开销实现较高的数据投递,提高了网络资源利用率.     

一种基于FPGA的低功耗、容错状态机设计方法

针对FPGA(Field Programmable Gate Array)在航空航天领域应用面临的可靠性和功耗问题,提出了一种适于FPGA实现的低功耗、容错有限状态机设计方法.该方法与传统FPGA中实现状态机占用布线资源、查找表、寄存器等资源的思想不同,它将状态机映射到FPGA内嵌块RAM,同时采用两块RAM构成双模冗余结构,通过比较两块RAM输出数据的一致性确定RAM中数据出错的情况,并结合奇偶校验进行检错与纠错.实验结果表明:与经典的三模冗余方法相比,该方法有更低的功耗和更高的可靠性,并能对一位错误实现在线纠错.     

基于RAID 5的Ilas数据的备份与恢复

介绍了RAID 5的存储原理和特性,结合Ilas数据文件的特点,给出了一种在RAID 5存储方式下Ilas数据的备份与恢复方法.     

基于RAID-6的容量扩容布局研究

随着数据量的不断增加,原有存储系统已不能满足海量数据存储的要求。RAID(redundant arrays of independent disks)存储系统因具有良好的数据可靠性、磁盘独立性和可扩展性,成为应用范围最广的存储系统。新型存储技术存在研究迟缓、推广率低的问题,使得在原有RAID存储系统中添加新的磁盘,成为存储海量数据最为便捷,最为有效,成本最低的方式。RAID发展至今,根据对数据存储的不同需求,衍生出了不同层级的RAID存储系统。RAID-6存储系统由数据盘与2个校验盘构成,相较于其他RAID存储系统,具有更好的数据容错功能,更高的数据恢复能力。因此,提出一种基于H-Code针对RAID-6存储系统的扩容算法HS6。该算法在扩容过程中体现了最小化数据迁移量和快速扩容等特性,与传统的Round-Robin和Semi-RR扩容算法相比,该算法减少了73.2%~88.6%的数据迁移量,缩短了30.6%~62.9%的总扩容时间。     

VoD/P2P存储中的对等数据随机访问

在基于对等网络的视频点播系统(VoD/P2P)中,由于用户请求分散、节点资源有限,存储策略的设计是一大难点。该文提出了一种存储策略——对等数据随机访问(EDRA),其核心是:面向流的视频分段、可无限扩展的冗余编码、可随机访问的对等数据。EDRA在提高视频可用性、均衡节点间负载、提高节点资源利用率、简化存储调度等方面有很好的性能。实验结果表明:EDRA非常适用于VoD/P2P存储系统,对节点带宽的利用率能比传统方案高出约89%。     

稀疏随机纠删码:一种大规模数据存储容灾方法

针对海量数据存储容灾系统中对扩展性、可靠性及高效性方面的需求,提出了一种高容灾可扩展且能够高概率译码恢复的高效大数据存储容灾算法。该算法利用等行重稀疏随机矩阵高概率行满秩的性质,用来实现数据高效可靠的存储容灾。首先,根据存储系统规模及容灾需求设置相应的编码参数;然后,采用等行重稀疏随机矩阵构造校验矩阵,并且产生相应的生成矩阵;最后,将数据文件分块编码到n个存储节点上,实现不同规模、不同容灾需求下的数据容灾存储,并通过设置合理的随机冗余,从而实现对译码成功率的控制。实验和理论分析表明:算法所提存储容灾技术可实现容灾能力不受素数或有限域大小的限制,而是根据存储规模及容灾需求灵活扩展;基于合理的随机冗余,译码成功率趋于1,实现了高可靠的数据容灾存储;在较大规模存储系统中,算法编译码速率是相应经典RS和CRS编码方案的2倍以上,并在较大码长下具有近似最大距离可分(MDS)的性质,可达到近似最优的存储空间利用率。     

基于CITA区块链的纠删码分片存储实现

O (n) O (1)摘要:区块链系统采用全复制的数据存储机制,为每个节点保留整个区块链的完整副本,系统扩展性差.同时由于区块链系统中拜占庭节点的存在,导致传统分布式系统中使用的分片方案不能被直接应用于区块链系统中.本文结合纠删码和拜占庭容错算法,使每个区块的存储消耗由降到,增强了系统的可扩展性.本文还提出了对区块数据进行划分的方法,在降低存储冗余的同时减小对查询效率的影响.提出了无需网络通信的编码块存储方法,降低了系统存储和通信开销.还提出了区块链节点加入和退出的动态重编码方法,既保证系统的稳定性,又降低了系统重编码开销.最后,在开源区块链系统CITA上实现,并通过充分的实验,证明系统可扩展性、可用性和存储效率提升.     

一种适用于并行文件系统的高可用机制

针对并行文件系统文件数据分布存储的特性所带来的系统可靠性和可用性降低的问题,提出了一种提高并行文件系统可靠性与可用性的机制.该机制采用数据镜像技术,应用逻辑镜像环来指定存储节点间的镜像关系,使得一个存储节点既存储自身的数据,也作为其他节点的数据备份节点.该机制还可以通过调整镜像深度,以满足用户对文件系统不同级别的可靠性和可用性要求.同时,建立了马尔可夫链模型,以评估所提机制的可靠性和可用性.数学求解表明,在镜像深度为2时,应用该机制的并行文件系统发生数据丢失的平均时间大大提高,约为原系统的32倍.     

无线多跳网络中基于网络编码的高效可靠组播路由算法

针对现有的多跳无线网络中基于网络编码的可靠组播算法,节点在数据恢复阶段存在冗余的控制开销和编码包的冗余传输问题,提出一种基于网络编码的高效可靠组播路由算法(high-efficiency reliable multicast routing algonthm based on network coding,HMNC).该算法通过采取在数据恢复阶段用组播树上游节点的反馈信息替代下游节点的冗余反馈信息以及新增节点缓存机制等措施达到减小网络控制开销和降低数据的平均恢复时延的目的.理论分析和仿真结果表明,与基于网络编码的可靠组播(network coding reliable multicast,NCRM)算法相比,HMNC算法在节点数据的平均恢复时延、网络控制开销等方面的性能均得到了提升.     

宇航固态存储器可靠性设计

宇航固态存储器用于存储卫星平台遥测数据和遥感载荷数据,其可靠性关系到航天器飞行任务的成败和完成质量。采用了可靠性分级设计思想,提出了一种高可靠的宇航固态存储器设计,运用了冗余、故障检测和隔离、纠错编码等技术,将固态存储器8年寿命末期的可靠度提高到了0.996 2,满足了宇航应用的要求。     

基于差异数据的块级数据库备份系统

针对传统数据库备份系统中备份方法存在的重复数据过多、磁盘存储空间利用率低等问题,本文提出了一种基于块差异数据的数据库备份系统.该系统通过实现基于rsync算法的块差异备份,将备份文件划分固定大小的块并利用索引表对块进行排序,Hash表对块进行标识,检测相邻时间点备份文件间及备份文件内部的重复数据,并利用块差异数据备份文件和块差异指示文件实现备份数据的差异传输.实验结果表明,与传统数据库备份系统的备份方法相比,该系统的块差异备份方法消除了各时间点备份数据中的重复数据,从而有效地提高了存储空间的利用率.     

基于STAR码的HDFS失效数据恢复研究

针对数据失效、丢失等存储问题,提出了基于STAR码对HDFS中的丢失数据进行恢复,在文件读取过程中,通过对读取失败的数据块所在组的其他可用数据块采用分片、解码和聚合操作,对本组读取失败的数据块进行恢复.给出了基于STAR码与分片聚合编码的数据存储方案,采用了分片聚合解码的数据恢复策略对数据进行恢复,实现了分片聚合解码的数据块动态恢复和数据块持久性恢复.