首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到19条相似文献,搜索用时 343 毫秒
1.
高顽存性存储网格的构架与性能分析   总被引:1,自引:1,他引:0  
为提高海量数据存储的可靠性,结合RS(Reed-Solomon)算法和网格技术提出了高可靠性存储网格的整体构架,设计并实现了RS数据存取中间件,理论上证明了系统的数据存储可靠性。通过性能测试,系统具有极高的读写性能。该系统的实现可很好地解决海量数据存储的可靠性问题。  相似文献   

2.
面向分散式存储的云存储安全架构   总被引:2,自引:0,他引:2  
针对云存储系统和应用过程中的数据安全性问题,提出了一种面向分散式存储的云存储安全架构.该架构采用信息扩散法、分散存储管理、数据自举恢复等技术,分层实现存储数据在云存储中完成应用系统的数据安全存储管理和传输.该方法通过检查可用片重新计算数据片中所有的数据,若存在受损数据,则根据互为冗余的存储设备数据加以恢复,从而提高数据的可用性,从数据传输到存储,都建立了相应的保护措施进行云存储层与其他层间的安全防范,实现了数据的有效防护.仿真测试表明,该架构在保证数据高安全性的同时提高了系统的整体性能.  相似文献   

3.
在对当前主流可信存储系统的分析和研究的基础上,设计并实现了符合GP标准,同时满足多种安全存储特性的可信存储系统(TSS). TSS不仅能对数据进行授权加密、保证数据的完整性和一致性,同时还提供了很多其他安全存储特性(如持久存储对象的原子操作).为了改善大数据读写性能,提出了一种在REE的内核空间中动态申请连续内存并通过通信管道将该连续物理内存映射到TEE中的方法.这种方法可以有效地减少TEE和REE之间的切换次数、内存申请次数及内存的拷贝负载.实验数据显示,与其他相关可信存储系统相比,TSS有8%到10%的性能提升.  相似文献   

4.
一种分布式冗余的实时数据存储检索机制   总被引:2,自引:0,他引:2  
为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.  相似文献   

5.
岳茹 《科技资讯》2023,(21):29-32
通过对比传统数据存储模型和数据管理模型,阐述了云计算环境下数据存储和管理所带来的挑战,包括数据安全、数据可用性、数据一致性和数据性能等方面,并对现有的解决方案进行了分析。着重介绍了对象存储和分布式文件系统等主流的云存储技术,分析了优势和应用场景,最后总结了云计算环境下的数据存储和管理技术的研究现状和未来发展方向,提出了当前面临的挑战和未来的发展趋势。采用文献综述和案例分析的研究方法,得出结论:云计算环境下的数据存储和管理技术的发展是不可避免的趋势,需要在数据安全、数据可用性、数据一致性和数据性能等方面不断创新和完善。同时,对象存储和分布式文件系统等新兴的云存储技术有着广阔的应用前景。  相似文献   

6.
提出一种局部对称算法,将区块链系统中的节点划分为多个节点子集,每个节点子集生成一个私钥对数据进行加密,将加密后的数据分布存储于节点子集的节点中.利用局部对称算法将哈希值和私钥分别设为全局秘密和局部秘密,用局部秘密对数据区块进行加密并将结果分布存储于节点子集的节点中,用基于中国剩余定理秘密共享的分布式存储方案对私钥和哈希值进行有效存储,达到降低存储成本和通信成本的目的.仿真结果表明,对比减存储算法和单节点故障算法,局部对称算法在区块链分布式存储中的存储成本和通信成本更低.  相似文献   

7.
随着数据存储规模的海量增长,降低存储系统的总拥有成本,提高数据访问效率是海量数据分级存储系统的关键.在分析了两种典型的数据分级算法后,结合两种算法的优点对算法进行了改良,提出了基于数据访问频率和数据设备依赖度的自动分级算法,实验结果验证了算法的有效性和数据分级算法具有较高的准确率.  相似文献   

8.
为节省云存储系统的能耗,文中考虑在云存储系统利用率较低时关闭部分存储节点.为了保证部分存储节点关闭时数据的可用性,针对如何选择云存储系统中可以关闭的节点集合问题,设计了基于辅助节点的贪心算法,并针对异构云存储系统的能耗优化问题,提出了面向异构云存储系统的能耗优化贪心算法.模拟实验结果表明,文中提出的面向异构系统的能耗优化贪心算法能较好地降低异构云存储系统的能耗,其性能明显优于一般的贪心算法,从而验证了所提算法的有效性.  相似文献   

9.
XML数据聚簇技术研究   总被引:1,自引:1,他引:0  
在分析DOM标准中数据访问的特点后,提出了两种XML数据聚簇存储方法:基于父子关系的XML数据聚簇存储方法和基于兄弟关系的XML数据聚簇存储方法·针对两种典型树遍历操作,分析了两种XML聚簇存储方法发生I/O的概率,给出了两种DOM树遍历路径表达式查询算法,即深度优先查询算法和宽度优先查询算法·基于XMark和XMach测试基准进行了性能评价·  相似文献   

10.
对图书馆数据存储中的压缩感知问题的数值算法进行研究.将传统梯度下降法多步扩展的重球加速法与一种新的阈值技术——最优s阈值相结合,提出了用于求解压缩感知问题的两种算法:基于重球的最优s阈值算法和基于重球的最优s阈值追踪算法.证明了算法产生的迭代点序列全局收敛到压缩感知问题的一个解.  相似文献   

11.
This paper presents a novel method, called TSHOVER, for tolerating up to triple disk failures in RAID/DRAID architectures or others reliable storage systems. TSHOVER is two-dimensional code, which employs horizontal code and vertical code at the same time with simple exclusive-OR (XOR) computations. This paper shows the new step ascending concepts used in encoding, and it has the capability of realizing fault tolerance. TSHOVER has better data recovery ability to those disk network storage systems with relatively more dynamic changes in the number of disks. Compared with RS and STAR code, TSHOVER has better encoding performance. When updating a data strip, only 6 XOR operations are needed. Both experimental results and theoretical analyses show that TSHOVER has better performance and higher efficiency than other algorithms.  相似文献   

12.
提出了一种LDPC-SPC乘积码。该乘积码以低密度奇偶校验(low density parity check,LDPC)码为水平码,单奇偶校验(single parity check,SPC)码为垂直码。给出了LDPC-SPC乘积码的硬判决译码算法和软判决译码算法。利用这些译码算法,LDPC-SPC乘积码能够在不同的LDPC码字之间交换比特置信度信息,完成译码。仿真结果表明,以长度8064 bit,码率1/2的LDPC码为基础构造的LDPC-SPC乘积码,能够有效地降低该LDPC码的误码平层,并且在误码率为10-7时,乘积码取得了超过LDPC码0.3 dB的性能优势。  相似文献   

13.
针对传统的部分并行结构低密度奇偶校验码(low-density parity-check codes,LDPC)译码器在保证较高吞吐量的同时,存在消耗硬件资源较大、迭代译码收敛速度较慢等问题,提出一种高效低复杂度的准循环低密度奇偶校验(quasi-cyclic low-density parity-check,QC-LDPC)码全并行分层结构译码器.这种改进的译码器结构可有效降低存储资源消耗,并克服并行处理所导致的访问冲突等问题.设计中,后验概率信息和信道初始化信息共用一个存储模块,降低了一半存储空间的占用.各个分层之间采用相对偏移的方式,实现了分层的全并行更新,提高了译码吞吐量.分层最小和译码算法(layered min-sum decoding algorithm,LMSDA)加速了译码迭代的收敛,进一步提高了吞吐量.经ISE 14.2软件仿真及Virtex7系列开发板验证的结果表明,当译码器工作频率为302.7 MHz、迭代次数为10的情况下,吞吐量可达473.2 Mbit/s,存储资源消耗仅为传统部分并行结构译码器的1/4.  相似文献   

14.
近年来, 云计算和大数据处理迅猛发展, 现场可编程门阵列(field programmable gate array, FPGA)由于拥有独特的并行处理能力, 已在大数据处理中得到广泛应用. 而通信网络的好坏会直接影响大数据处理的性能, 基于此提出一种基于IP协议的FPGA万兆可靠保序互联通信系统, 基于三指针环形缓冲池以及并行序号管理实现线速万兆数据通信, 利用硬件超时重传机制实现可靠数据通信. 该系统与用户接口采用先进先出(first in first out, FIFO)队列方式, 接口简单; 采用IP协议进行通信, 使得通信协议开销较小, 具有良好的系统扩展性; 实际传输速率可达9.33 Gbit/s.  相似文献   

15.
通常用取最小绝对值方法对若干比特模二和的对数似然比(LLR)进行简化,该方法存在误差积累问题,因而不是最有效的.为此,提出了两种新的LLR简化算法:正比例函数拟和修正法和逐点平均值曲线修正法,并用这两种算法替代了低密度奇偶校验(LDPC)码归一化最有效可信传播(UMP-BP)译码中的LLR计算,使其在降低译码复杂度的情况下误码率更低.仿真结果表明,对于码长1 024 bits的LDPC码,采用所提出的LLR简化算法后性能较UMP-BP译码方法有0.4 dB提高,并与最优的可信传播算法接近,计算复杂度也有明显下降.  相似文献   

16.
针对云存储系统现有冗余策略及其改进策略的不足, 提出一种将完全备份与改进的RS(Reed\|Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整使其退化成纯粹的完全备份方法条件下, 提出一个动态副本管理优化模型DRMO(Dynamic Replication Management Optimized)对其进行改进。实现副本数和副本位置的动态调整。分析表明, RIRS充分融合了完全备份和纠删码冗余的优势, 能节省存储空间, 降低访问时延并提高系统的可靠性和稳定性。在此基础上提出的DRMO能在满足数据有效性要求的同时, 进一步节省存储空间并实现负载均衡。  相似文献   

17.
针对嵌入式单核处理器处理速度慢及主频提升受限等问题,提出了嵌入式双核处理器(two-cores embedded processor,TEP)模型.针对处理器运行时对存储器的依赖和分配问题,提出了基于非统一存储结构模拟分布式存储结构的方案;针对多核间对共享数据存储器的访存问题,给出了从属单元的仲裁机制,实现了共享资源的访问;针对面向多媒体应用的多核处理器间传输数据量大及通讯开销高的问题,提出了基于消息数据分离的传输方案.系统在FPGA平台进行了实现和验证,测试结果表明,TEP系统以较少的资源消耗和通讯开销获得了大加速比的性能.  相似文献   

18.
卷积神经网络(CNN)已被广泛用于图像处理领域,且通常在CPU和GPU平台上进行计算,然而在CNN推理阶段存在CPU计算速度慢和GPU功耗高的问题。鉴于现场可编程门阵列(field programmable gate array,FPGA)能够实现计算速度和功耗的平衡,针对当前在卷积结构设计、流水线设计、存储优化方面存在的问题,设计了基于FPGA的卷积神经网络并行加速结构。首先将图像数据和权值数据定点化为16 bit定点数,一定程度上减少了乘加运算的复杂性;然后根据卷积计算的并行特性,设计了一种高并行流水线卷积运算电路,提高了卷积运算性能,同时也对与片外存储进行数据交互的流水线存储结构进行了优化,以减少数据传输的时间消耗。实验结果表明,整体加速器在ImageNet数据集上的识别率达到94.6%,与近年来相关领域的报道结果相比,本文在计算性能方面有一定的优势。  相似文献   

19.
Reliability-based hybrid automatic repeat request (HARQ) (RB-HARQ) is a recently developed form of incremental-redundancy ARQ. It achieves good performance whereas large retransmission request packets should be fed back. In this paper, in order to reduce the number of the fed back bits, we propose a HARQ scheme applied in time duplex division orthogonal frequency division multiplexing (TDD- OFI)M) system over the slow fading channel which is named channel-based HARQ (CB-HARQ). Because one bit which meets deep fading is always with small value of log likelihood ratio (LLR) during the process of decoding of LDPC code, the bits transmitted on the carrier with deep fading are retransmitted. At the receiver, the decoder will compute the locations of retransmission bits according to the channel fading values which are gotten by utilizing the feature of channel symmetry in TDD mode. So the indices of retransmission bits are avoided to be transmitted. Simulation results show that this method achieves better BER performance and requires much smaller request packets in feedback link.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号