基于分片聚合编码的云存储策略的研究

针对HDFS采用的完全复制存储方案会占据较多的存储空间,且对数据的恶意窃取和攻击缺少防御措施,提出了基于分片聚合编码的HDFS数据存储策略,其中采用STAR码对数据进行编码处理,产生编码数据片,然后通过聚合操作将每个数据段中位置相同的数据片聚合组成一个存储数据块,实现了HDFS文件的存储.模拟实验表明基于分片聚合编码的文件存储策略相比原HDFS存储方案在数据分布方面更安全有效.     

基于分片聚合编码的云存储策略的研究

针对HDFS采用的完全复制存储方案会占据较多的存储空间,且对数据的恶意窃取和攻击缺少防御措施,提出了基于分片聚合编码的HDFS数据存储策略,其中采用STAR码对数据进行编码处理,产生编码数据片,然后通过聚合操作将每个数据段中位置相同的数据片聚合组成一个存储数据块,实现了HDFS文件的存储.模拟实验表明基于分片聚合编码的文件存储策略相比原HDFS存储方案在数据分布方面更安全有效.     

BDCode:一种面向大数据存储系统的纠删码算法

针对含有大量数据的大数据存储系统,提出了一种基于编码技术的面向大数据备份的优化算法(BDCode).该算法通过对不同编解码服务器设置不同的虚拟节点存储组来保证系统的可用性,节点和数据块的并行解码计算提高了系统中数据损坏时的恢复效率.实验表明,所提出基于编码的大数据系统备份机制可以提高系统的存储利用率,并行解码方式的引入能加速减少数据损坏时的恢复时间,并能达到零号的系统负载均衡;此外不同的用户设置不同的编码参数,增加了大数据系统的鲁棒性.实验通过设置不同的数据块m和校验块k的比例来提升利用率,并行解码速度相比以前的串行提高近两倍.使用BDCode比CRS编码效率平均高36.1%,解码效率平均高19.3%;比RS码编码效率平均高58.2%,解码效率平均高33.1%.     

时空域结合的Ⅰ帧综合差错隐藏方案

为提高视频压缩码流在Internet网络丢包信道中传输的抗误码性能,提出了一种在解码端基于场景判断时域空域相结合的Ⅰ帧综合差错隐藏方案。采用了H.264中灵活宏块顺序模式组织宏块打包数据,在场景判断的基础上利用了帧间信息对Ⅰ帧进行时域差错隐藏,并通过对匹配块的可靠性检测抑制了误码扩散效应;同时改进了传统Ⅰ帧空域隐藏算法,根据丢失块边缘上的梯度预测丢失块的纹理状况,分为平滑、单纹理和多纹理区域进行掩盖。仿真结果表明,对于一般性运动视频,时域空域结合的隐藏算法比空域算法掩盖质量提高2 dB以上。     

基于Hash聚合动态数据持有性方案安全性分析

为了防止数据丢失、修改或破坏等,需要对存储在云端的远程数据进行持有性验证。云端动态数据可持有性是当前云数据安全领域的研究热点之一。该文针对已有典型基于Hash聚合动态数据持有性证明方案,分析其验证过程存在的安全问题及其产生原因。结果表明:Hash聚合方法能有效减少由于数据动态操作而增加的数据存储量、计算量、传输量等验证成本,但是如果忽略对于数据块位置与数据块值对应关系的验证则会面临替换攻击,导致严重的安全问题。     

基于精确再生码的秘密共享方案

为解决云存储系统中数据安全性问题,利用精确再生码构造一种新的(t,n)门限秘密共享方案。方案由子秘密的分发、原始秘密的恢复和子秘密丢失者的数据重建共3种算法组成。子秘密的分发就是将原始秘密先进行分块,再进行纠删编码,最后按一定的规则将编码后的数据块分发给n个分享者。选取t个分享者提供的数据块,按纠删码的译码算法恢复原始秘密。选取t个以上分享者的数据块,按精确再生码的译码算法重建出子秘密丢失者的数据。研究结果表明:访方案是一种信息论安全的门限体制,与传统的基于Lagrange多项式插值算法的秘密共享方案相比,具有运算复杂性低、节点存储量小、丢失子秘密易再生等优点。     

一种基于帧间信息的组合型差错掩盖算法

针对帧间编码模式的视频图像在易错信道中传输产生图像块丢失的现象,提出一种基于帧间信息的组合型差错掩盖算法以提高解码端的图像质量。根据丢失块周围已正确接收的图像块的运动矢量信息把丢失块分成低活动块和高活动块两类．对于低活动块,用平均运动矢量法来恢复丢失块;对于高活动块,根据前后帧图像具有空间结构相似性,利用凸集投影的原理采恢复丢失的图像块．实验结果表明采用本文算法恢复的图像主观和客观质量都比传统的算法要高．     

图象传输误码控制信息恢复方法的研究

图象压缩编码数据在进行传输时对信道的误码显得十分脆弱。本文针对这种情况提出了一种基于块变换和变长编码技术的压缩编码图象提高传输质量的误码控制信息恢复方法。其处理过程是：首先通过在编码码流中加入扩展同步码以将误码控制在一行之内，然后在解码端对发生差错的数据进行误码检测并采用差错信息恢复算法重建原始信息。该方法对编码器只需作很小的修改，所增加的信息冗余度很小，实验结果表明采用此方法后重建图象质量得到明显提高。     

基于内存映射的ENVI标准格式影像指定块数据快速读取

针对遥感影像海量数据存储问题,提出了一种基于内存映射的指定块数据快速读取方法,并通过OpenGL对ENVI标准格式的遥感影像海量数据快速读取予以验证。实验结果表明,基于内存映射的方式能有效地解决遥感影像海量数据指定内容的快速读取问题。论文还对内存映射的原理以及基于OpenGL显示的ENVI标准格式遥感影像数据读取程序实现细节进行了描述。     

一类基于极图理论的局部修复编码的性质及构造

由于分布式存储系统大量使用廉价的磁盘构建,磁盘故障往往不可避免导致数据丢失.数据编码是一种防止数据丢失的必要容错机制.局部修复码与经典的最大距离可分(MDS)码相比,以一定的存储空间开销,能够有效提高数据修复的效率,降低网络带宽占用.为了降低该码的存储空间开销,本文研究以极图理论来描述该类编码.将存储节点与编码块抽象为二分图中的X、Y两类顶点,从而存储空间占用最小化等价于计算二分图中边数的极小值.这种求极值问题可以归结为Zarankiewicz问题.本文使用极值二分图对局部修复码进行建模与分析,并给出了相应的构造算法.     

基于喷泉码的隐私保护和数据恢复方法

为进一步提高数据的可靠性,提出一种基于喷泉码的隐私保护和数据恢复方法.该方法利用块内计算复杂度有上界且各码块之间相互独立的特性,对数据进行分块编码及译码,实现快速数据恢复.同时采用随机密钥对信息进行扩展以实现数据的轻量加密,从而达到隐私保护的目的.在相同的随机篡改环境下,通过大量数据进行对比实验,结果表明:与已有的喷泉码编码方法相比,该方法具有更高的数据恢复精度以及较低的计算复杂度和通信复杂度,对随机篡改具有较强的抗毁性,更适合解决存储中的数据失效或篡改问题.     

基于P2P技术的混合云存储模型

为了解决普通云存储中重要数据完全依赖云端存储与管理所带来的数据安全问题,并增强存储数据的安全性和可靠性、减轻大数据文件存储过程中带来的通信压力,提出一种基于P2P技术的混合云存储模型(简称PCS).该模型由内部P2P网络和普通云端2部分组成,用户可把重要数据、大文件数据及全部元数据存储在PCS模型中的内部P2P网络,而仅把非重要数据交由云端服务商来存储和管理.PCS模型中对数据的存储和管理采用文件分片技术(一个文件可有多个分片,且每个分片可有多个副本)以保证数据的完整性和可靠性.PCS模型有效保证了重要数据的安全问题,部分减轻了企业与云端之间的通信带宽压力,并提高了云存储的文件检索速度.     

基于小波分解的分形图像压缩算法研究

在分析基本分形压缩编码算法优缺点的基础上,提出了基于小波分解的分形图像压缩算法.该算法对图像经过三级小波变化后,对二级子图像和三级子图像采用无搜索式分形编码,即值域块的分形码由相应固定位置的定义域块进行匹配搜索编码,小波系数的符号单独编码.解码时,利用不同小波尺度之间的相关性,由二级子图像的分形码估计出一级子图像的分形码;再由各尺度上的分形码重构各尺度的小波系数;添加小波系数的符号后进行小波反变换即得解码图像.仿真实验结果表明,提出的新算法在解码图像质量略有损失的情况下,图像编码时间和提高压缩比方面均有良好的效果.     

基于散列查找和多线程调度的快速提取GRIB数据方法

GRIB码(GRIdded Binary)是WMO建议使用的一种表格驱动码,是与计算机无关的压缩的二进制码,其具有较强的检索能力、可扩展性、压缩比率高等特点.其通常用于存储和传输大容量的格点数据,广泛应用于数值天气预报、海洋数据和历史气象数据等数值预报产品中.当需要使用数据时,会先对GRIB格式文件进行解码,而因其特点所致,解码往往需要耗费大量时间.又因其常常应用于应急响应分析评价系统的预处理模块中,尤其在核应急响应系统中,解码部分的耗时是非常大的,严重影响到整体系统的分析运算效率.针对这一问题,本文提出了一种新的基于散列查找和多线程调度的快速提取GRIB数据方法,可大幅提升解码的效率,命名为HP算法(HashParallel).     

基于MongoDB集群的遥感数据存储方法研究

应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的高速内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型.最后针对文中存储方法提出了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储.     

基于CITA区块链的纠删码分片存储实现

O (n) O (1)摘要:区块链系统采用全复制的数据存储机制,为每个节点保留整个区块链的完整副本,系统扩展性差.同时由于区块链系统中拜占庭节点的存在,导致传统分布式系统中使用的分片方案不能被直接应用于区块链系统中.本文结合纠删码和拜占庭容错算法,使每个区块的存储消耗由降到,增强了系统的可扩展性.本文还提出了对区块数据进行划分的方法,在降低存储冗余的同时减小对查询效率的影响.提出了无需网络通信的编码块存储方法,降低了系统存储和通信开销.还提出了区块链节点加入和退出的动态重编码方法,既保证系统的稳定性,又降低了系统重编码开销.最后,在开源区块链系统CITA上实现,并通过充分的实验,证明系统可扩展性、可用性和存储效率提升.     

云计算中存储数据安全性研究

针对云计算中存储数据安全性问题,提出了一种基于显式精确最小存储再生代码(explicit exact minimal storage regenerating code, EEMSR)的云存储数据安全性新方法,该方法采用EEMSR和哈希函数通过Challenge-Response协议实现云计算存储数据的可用性和完整性。该方法使用EEMSR代码对数据进行编码,再将此编码数据上传到云中,该编码有助于重新生成丢失的数据,以此确保数据的可用性。而加密哈希函数通过Challenge-Response协议可以验证云数据的完整性。EEMSR代码是一个再生代码,可以用较少的修复流量精确地恢复丢失的数据块,EEMSR代码由参数(n,k,d)定义,该参数允许从n个节点中的任意k个节点恢复数据,并且还具有通过连接到任何d个节点来修复故障节点的能力。实验表明,提出方法安全性能高,与其他方法相比,该方法的运行时间较少,而编码速率较高。     

视频序列传输中的模糊差错掩盖算法

提出了一种基于模糊边缘检测的差错掩盖算法,将其作为解码端的工具去恢复视频序列在传输过程中丢失的图像信息.对于一个丢失块,利用模糊边缘检测器得到它与4个领域块交接的边界上的边缘信息,构造一个关于边界匹配差值的能量函数,将最优值对应的运动矢量作为丢失块的运动矢量的估计.仿真结果表明,文中提出的算法无论在主观的视觉还是客观的数值比较上,都能得到质量比现有差错掩盖算法更优良的恢复图像.     

一种N/(N+1)型高码率游长受限码编码方法

基于数据分块的分布特性,提出了一种可用于磁存储或光存储读写通道中的高码率游长受限码的编码方法,包括对数据进行子块分割和检测、建立标志子块队列,按照排队规则和无冲突子块的映射策略进行码字映射等.该方法能在给定的(d,k)受限条件下接近编码容量,并具有递推设计更高码率编码的扩展性能.利用该方法设计了码率为32/33(d=0,k=6)的游长受限码,并给出了结合子块交叉插入技巧设计64/65(0,10)游长受限码的方法,还对受限参数与码率和编码容量的关系进行了探讨.     

基于卷积神经网络的多天线Polar码联合解调-解码方案

为了验证运用神经网络进行信道解码的可行性,利用其提高短码长Polar码的译码准确率,提出了一种基于卷积神经网络(convolutional neural network,CNN)的多天线(multiple-input multiple-output)Polar码新颖联合解调-解码方案.搭建了一种包括4个卷积层,2个全连接层和1个输出层的卷积神经网络,采用最小均方误差作为损失函数,通过计算机生成了Polar码编码的多天线数据并对网络进行训练,使训练得到的神经网络能很好地提取出Polar码比特间的关系特征,从而拟合出Polar码译码函数.仿真结果表明,在相同信噪比条件下,基于CNN的Po-lar码联合解调-解码方案的误码率优于已有的基于全连接神经网络方案;所提方案在不同码率的仿真实验中的误码率皆优于基于全连接神经网络方案,损失曲线的收敛速度更快,显示了基于CNN的Polar码联合解调-解码方案具有更好的泛化能力和学习能力.