带重复数据删除的大规模存储系统可靠性保证

重复数据删除技术将重复数据块归并存储,提高空间利用率却降低数据可靠性。该文提出一种数据可靠性保证机制——RLDS。RLDS将变长数据块打包成定长块,再使用ECC编码从一组数据块生成带纠错的块,分布到动态挑选的存储节点冗余组中。在节点发生错误时,RLDS分布式地恢复出错数据。实验结果表明:RLDS能取得与用RAID纠错机制的系统相近的空间利用率,同时提供与用多倍冗余复制机制的系统相近的数据可靠性,数据块平均恢复时延也比RAID系统大为缩短。RLDS通过数据再生还解决了节点超载问题,提供系统动态负载均衡功能。     

基于网络编码的P2P视频点播数据传输方案

为提高视频点播系统的性能,提出了一种基于随机网络编码的P2P视频点播数据传输方案.该方案包括服务器中流媒体数据的预处理,数据块的网络编码和解码过程,Peer节点数据调度算法,Peer节点数据块缓存的设计,以及数据块的处理流程等部分.分析表明,相对于纯P2P视频点播系统,该方案增强了系统鲁棒性,提高了Peer节点下载速度和下载成功率.仿真实验中该方案相对于纯P2P视频点播将Peer节点的数据下载速度提高了约5%.     

基于STAR码的HDFS失效数据恢复研究

针对数据失效、丢失等存储问题,提出了基于STAR码对HDFS中的丢失数据进行恢复,在文件读取过程中,通过对读取失败的数据块所在组的其他可用数据块采用分片、解码和聚合操作,对本组读取失败的数据块进行恢复.给出了基于STAR码与分片聚合编码的数据存储方案,采用了分片聚合解码的数据恢复策略对数据进行恢复,实现了分片聚合解码的数据块动态恢复和数据块持久性恢复.     

稀疏随机纠删码:一种大规模数据存储容灾方法

针对海量数据存储容灾系统中对扩展性、可靠性及高效性方面的需求,提出了一种高容灾可扩展且能够高概率译码恢复的高效大数据存储容灾算法。该算法利用等行重稀疏随机矩阵高概率行满秩的性质,用来实现数据高效可靠的存储容灾。首先,根据存储系统规模及容灾需求设置相应的编码参数;然后,采用等行重稀疏随机矩阵构造校验矩阵,并且产生相应的生成矩阵;最后,将数据文件分块编码到n个存储节点上,实现不同规模、不同容灾需求下的数据容灾存储,并通过设置合理的随机冗余,从而实现对译码成功率的控制。实验和理论分析表明:算法所提存储容灾技术可实现容灾能力不受素数或有限域大小的限制,而是根据存储规模及容灾需求灵活扩展;基于合理的随机冗余,译码成功率趋于1,实现了高可靠的数据容灾存储;在较大规模存储系统中,算法编译码速率是相应经典RS和CRS编码方案的2倍以上,并在较大码长下具有近似最大距离可分(MDS)的性质,可达到近似最优的存储空间利用率。     

MANET中能源效率的滑动窗口网络编码

提出了一种移动Ad Hoc网络中能源效率的滑动窗口网络编码(SWNC-EE).该算法通过节点度分布的重新组合对数据分组进行编码,能较好地控制每个滑动窗口解码的复杂性,完整地接收编码数据分组以及恢复出原始数据分组.使用网络仿真软件NS2对SWNC-EE算法的编码开销、解码复杂性、能源消耗及能源效率等性能进行了分析.实验结果表明:SWNC-EE算法可以较好地提高MANET性能.     

面向媒体的粗粒度可重构架构层次化存储设计

为了优化粗粒度可重构架构REMUS-II(Reconfigurable Multimedia System 2)的数据流通路,使其能够完成高性能媒体解码,针对媒体算法的数据访问特征,对REMUS-II的片上存储与片外存储访问模块进行优化.片上存储通过二维数据传输和转置等访问模式进行优化,片上数据传输效率分别平均提高了69.6%和15.1%.片外存储通过块缓存设计优化参考帧访问,平均减少37%的外存访问时间.经过层次化存储设计,REMUS-II数据流可满足计算需求,在200MHz主频下实现H.264算法和MPEG2算法高级档次的1 920像素×1 080像素高清分辨率实时解码.     

命名数据网络中基于数据请求节点的就近缓存算法

为提高命名数据网络(named data networking,NDN)中数据存储节点的缓存效率和存储空间利用率,根据就近缓存思想,提出一种在数据请求节点中根据特定内容兴趣而区分缓存的数据缓存算法.该算法结合缓存节点地理位置差异性和缓存数据内容热度差异性,将热度高的数据内容优先缓存在数据请求节点周围,并根据数据被请求的频次动态设置缓存时间,使热度高的数据内容尽可能长时间地缓存在存储节点中,增大了数据就近响应概率;且节点中被替换的数据内容没有直接删除,而是向上转发并指示上游节点缓存,增加了缓存数据内容的多样性.仿真结果表明,所提算法能有效提高数据搜索命中率,降低网络请求时延以及路由传输跳数.     

基于编码感知的完全无碰撞协作MAC协议

针对NCAC-MAC协议在选择中继节点时存在碰撞和中继节点中待转发数据帧的目的节点使用随机线性网络编码的解码方法可能不能对编码帧进行成功解码的问题,提出一种基于编码感知的完全无碰撞协作MAC协议(NCAC-WTC).该协议主要提出两个改进机制:一是完全无碰撞中继节点选择机制,使用目的节点最终选择唯一中继节点,保证中继候选节点在竞争中继节点及编码重传的过程中做到完全无碰撞;另一个是自适应解码机制,使目的节点能根据链路信息自适应地选择解码方法对编码数据帧进行解码,提高目的节点对编码数据帧的解码效率和成功率.仿真结果表明:与NCAC-MAC和Phoenix等已有协议相比,NCACWTC协议有效地减小了平均端到端时延,提高了网络吞吐量和数据帧投递成功率,且使数据帧投递成功率稳定在95.5%.     

一种基于帧间信息的组合型差错掩盖算法

针对帧间编码模式的视频图像在易错信道中传输产生图像块丢失的现象,提出一种基于帧间信息的组合型差错掩盖算法以提高解码端的图像质量。根据丢失块周围已正确接收的图像块的运动矢量信息把丢失块分成低活动块和高活动块两类．对于低活动块,用平均运动矢量法来恢复丢失块;对于高活动块,根据前后帧图像具有空间结构相似性,利用凸集投影的原理采恢复丢失的图像块．实验结果表明采用本文算法恢复的图像主观和客观质量都比传统的算法要高．     

一种Ceph块设备跨集群迁移算法

在虚拟机全系统在线迁移中,由于镜像文件数据量巨大,对整个迁移过程的效率有着关键的影响,因此优化迁移时间,成为虚拟机迁移技术的研究热点.对于以分布式存储系统(其中较为常见的是Ceph块设备)作为镜像文件存储方式的虚拟机进行迁移时,镜像文件需要经过源存储节点到源计算节点,再到目的计算节点,最后到目的存储节点.这种方式忽略了底层存储系统特点可以给迁移带来的好处,针对上述问题,提出了一种Ceph块设备跨集群迁移算法,采用源存储节点并行向目的存储节点迁移数据的方式,利用了存储节点的计算和网络能力.实验表明,该算法加快了迁移速度,同时适当增加存储节点数目能进一步提升算法效率.     

一种JPEG2000算术编码器的优化算法与实现

通过对索引表和概率间隔区间更新条件的分析,提出了一种JPEG2000算术编码器的部分并行优化算法.在连续编码两个数据对时,通过预测间隔区间的变化,可以一次完成索引表和间隔区间的更新,从而减小了编码数据的关联性,实现了算术编码器的部分并行编码.设计了基于3级流水线的JPEG2000算术编码器,并通过了FPGA验证.试验结果表明,该算法平均每个时钟编码1.58对数据,比每个时钟编码1对数据的普通算法,编码效率提高了58%.     

基于网络编码的多媒体云存储系统单节点修复算法

针对现有多媒体云存储系统单节点修复算法中,有限域大,编解码复杂度高,磁盘I/O开销大,存储开销与修复带宽开销不均衡等问题,基于网络编码提出一种多媒体云存储系统单节点修复算法.该算法将系统中节点已分组的多媒体文件数据进行分组存储,并将组内数据在GF(2)有限域上进行异或编码,当部分节点失效时,新生节点只要连接同组中2~3个未失效节点即可精确修复失效节点中的数据.理论分析与仿真实验结果表明:该算法可减小编解码与修复的复杂度,降低磁盘I/O开销;在相同条件下,该算法存储开销与基于最小存储再生码(minimum storage regeneration codes,MSR)算法的存储开销一致,而修复带宽开销与最小带宽再生码(minimum bandwidth regeneration codes,MBR)算法接近.     

基于新的父块库分类的自适应图像分形编码算法

图像编码在数据存储和传输领域有着广泛的应用,全自动分形图像压缩算法是实现高压缩比图像编码的有效途径之一.本文在自适应四叉树分形编码基础上提出了一种改进的父块库分类的算法.该算法将父块划分为四个部分,以各部分的灰度均值和平稳阈值为判定标准,将父块库划分为两个大类和六个小类,大幅度降低了父块库的冗余程度.通过对图像的编码与解码计算,发现改进算法在加速搜索的同时,可以大幅度地提高图像的峰值信噪比.其中,平稳阈值是影响编码时间的主要因素,适中的平稳阈值能够保证最短的编码时间.     

基于H.264的内容自适应空域误码掩盖算法

针对视频传输中的丢包,空域误码掩盖技术使用丢失像素的相邻信息在解码端对它进行恢复。为了提高算法恢复的准确性,该文提出了一种内容自适应的H.264空域误码掩盖算法。该算法根据受损块的边缘像素和编码模式信息,将其内容分为平滑块和边缘块:对于平滑块采用双线形插值的方法;对于边缘块,则结合其边缘像素与编码模式信息选择较好的插值方向。仿真结果表明,对于多种视频序列和不同宏块丢失率,其性能均稳定的优于H.264标准的算法,在25%宏块丢失率下,恢复视频峰值信噪比相对H.264标准算法提高0.5～3dB。     

基于CITA区块链的纠删码分片存储实现

O (n) O (1)摘要:区块链系统采用全复制的数据存储机制,为每个节点保留整个区块链的完整副本,系统扩展性差.同时由于区块链系统中拜占庭节点的存在,导致传统分布式系统中使用的分片方案不能被直接应用于区块链系统中.本文结合纠删码和拜占庭容错算法,使每个区块的存储消耗由降到,增强了系统的可扩展性.本文还提出了对区块数据进行划分的方法,在降低存储冗余的同时减小对查询效率的影响.提出了无需网络通信的编码块存储方法,降低了系统存储和通信开销.还提出了区块链节点加入和退出的动态重编码方法,既保证系统的稳定性,又降低了系统重编码开销.最后,在开源区块链系统CITA上实现,并通过充分的实验,证明系统可扩展性、可用性和存储效率提升.     

基于H.264的内容自适应空域误码掩盖算法

针对视频传输中的丢包,空域误码掩盖技术使用丢失像素的相邻信息在解码端对它进行恢复。为了提高算法恢复的准确性,该文提出了一种内容自适应的H.264空域误码掩盖算法。该算法根据受损块的边缘像素和编码模式信息,将其内容分为平滑块和边缘块:对于平滑块采用双线形插值的方法;对于边缘块,则结合其边缘像素与编码模式信息选择较好的插值方向。仿真结果表明,对于多种视频序列和不同宏块丢失率,其性能均稳定地优于H.264标准的算法,在25%宏块丢失率下,恢复视频峰值信噪比相对H.264标准算法提高0.5～3dB。     

集群式VOD系统的视频数据存储技术研究

在采用层次化存储的并行VOD系统中,若将视频文件进行拆分并把它打散存储在各个存储单元,将获得更高的磁盘利用率.在我们提出的集群式并行视频服务器结构中,数据节点的独立性很强,为提高数据的并发度、负载平衡及容错性,本文提出了一种类似RAID5结构的独立冗余数据节点阵列RAIDN,并讨论了它的容错机制.     

一种适用于并行文件系统的高可用机制

针对并行文件系统文件数据分布存储的特性所带来的系统可靠性和可用性降低的问题,提出了一种提高并行文件系统可靠性与可用性的机制.该机制采用数据镜像技术,应用逻辑镜像环来指定存储节点间的镜像关系,使得一个存储节点既存储自身的数据,也作为其他节点的数据备份节点.该机制还可以通过调整镜像深度,以满足用户对文件系统不同级别的可靠性和可用性要求.同时,建立了马尔可夫链模型,以评估所提机制的可靠性和可用性.数学求解表明,在镜像深度为2时,应用该机制的并行文件系统发生数据丢失的平均时间大大提高,约为原系统的32倍.     

基于分布式存储系统的Reed-Solomon算法优化

随着存储规模的增大和信息节点的增多,基于分布式存储系统的磁盘发生故障的概率越来越高。为了增强系统的可靠性,我们通过RS算法引入冗余数据。随后该研究针对传统RS码的生成矩阵做出了一些改进,使得生成矩阵1的数目减少,优化了编码解码的速度。     

基于柯西矩阵的最小带宽再生码研究

节点的失效在大规模分布式存储系统中是常见现象.为防止数据的丢失,系统必须解决失效节点的自修复问题.利用再生码可以在无需下载整个源文件的情况下即可恢复出失效节点的数据,从而能有效节省修复带宽.本文利用柯西矩阵作为编码矩阵,构造了一种精确修复最小带宽再生码(ER-MBR),可以精确修复失效节点,并通过实例演示了在有限域上进行编码解码及节点修复的过程.理论分析和仿真实验都表明利用柯西矩阵作为编码矩阵,其算法的运算效率优于利用范德蒙矩阵或者随机矩阵.