首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到19条相似文献,搜索用时 93 毫秒
1.
HDFS设计之初只考虑到如何更好地处理大文件,并没有针对海量小文件进行优化,因此,当使用HDFS管理海量指纹数据小文件时会出现Name Node内存负载过重、上传及查询性能过低等问题.采用Sequence File序列化技术进行小文件的合并,并且对于小文件合并、元数据存储、缓存策略等进行了针对性优化.实验证明,该优化方案可以有效地解决Name Node内存负载过重的问题,并且海量指纹数据小文件的上传和查询性能得到了提高.  相似文献   

2.
基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统(Hadoop distributed file system, HDFS)通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase(Hadoop database)的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器(Name-Node)的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。  相似文献   

3.
采用副本消除技术的云存储系统在认证过程中面临Hash泄露的威胁;基于PoWs(prove of owner-ships)的云存储认证算法有效解决了Hash泄露的问题,但是无法对抗重放攻击和Hash树还原攻击.针对这些问题,在分析PoWs算法的基础上提出一种改进的PoWs认证方案,在不增加密钥协商机制的基础上对部分认证信息进行加密,使得中间人无法还原Hash树.同时在加密过程中引入时间戳机制,对抗重放攻击,降低了PoWs认证过程中云端的负载.  相似文献   

4.
云存储专注于解决云计算系统中海量数据文件的存储问题;文件系统用来管理大量的文件信息,并负责对文件的存储空间进行组织分配;分布式文件系统不仅要管理本地计算机的数据文件,同时还要管理整个存储系统中的数据文件。文章首先对云计算技术进行介绍,然后引出云存储的概念,并通过对云存储的技术原理、性能优势等进行分析,指出分布式文件系统对于云存储技术的重要性;最后对现有的云存储分布式文件系统进行详细论述。全文工作将指导我们进一步深入研究云存储技术。  相似文献   

5.
Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.  相似文献   

6.
为解决机密数据或私有数据放入公共云出现的安全问题,提出了一种基于OwnCloud二次开发构建私有云存储系统的新方法,在私有云上使用新的解决方案代替常规的FTP方案.该系统对开源的Own-Cloud进行二次开发后构建私有云存储服务器,用WebDAV协议将私有云存储服务器和客户端相连,将文件存储在自己的服务器上,解决了小型私有云的存储安全问题.  相似文献   

7.
胡琼 《佳木斯大学学报》2021,39(6):73-75,128
为解决大数据环境中计算机网络存储隐私问题,提出一种崭新的数据存储与加密方案.基于HDFS设计了大数据环境下计算机网络信息的分布式存储架构,基于文件指纹与元数据信息去除文件存储前的冗余数据;基于Lorenz超混沌系统生成随机性较强的序列,作为计算机网络大数据加密与解密密钥,在HDFS文件系统中完成大数据安全存储.最后,在实验中验证了该存储方案的安全性与高效性,人为攻击后数据受损度为0,数据存储效率远超AES安全存储算法、DES安全存储算法,为该方法在计算机网络大数据安全存储中的应用增添了有利证据.  相似文献   

8.
通过对移动存储进行需求分析,提出了一种基于Hadoop的移动云存储系统.移动云存储系统通过手机客户端与服务器端和云端进行数据交换,达到访问云端数据和加密存储数据的目的.本系统实现了基于Android移动手持终端上的文件移动云存储,达到了实时查看和分享数据的目的;对用户信息采用对称加密算法,保证了文件存储过程中用户信息的安全;利用Hadoop云管理平台和AES文件加密算法,保证了在存储在云端文件的安全.  相似文献   

9.
针对云存储的收费机制和内容,在分析已有的用户贪婪、服务器贪婪等启发式解决算法的基础上,提出改进的启发式云存储静态内容分发遗传算法;综合考虑资源的访问热度、资源的缺乏程度,提出基于热点预测和经济模型的动态内容分发技术;进而全面考虑当前网络带宽、边缘云存储节点性能及历史访问价值,提出概率匹配自收敛的云存储中内容分发负载均衡技术,并将提出的算法分别在模拟器CloudSim上进行测试,同时和现有的内容分发算法、负载均衡算法进行对比.实验结果证明,本文提出的算法能够应用到云存储内容分发技术当中,并且能够在提高内容分发效率的同时有效降低分发成本.  相似文献   

10.
在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.  相似文献   

11.
Content addressable storage (CAS) is a promising technology for improving storage efficiency as well as access throughput.Currently,many CAS products are implemented on the block level,which results in loss of file information.Thus,some sophisticated optimizations cannot be achieved,such as accurate fileprefetching.This paper presents a file-aware block-level storage system combined with the CAS function.In contrast with some existing file-level CAS,this system is transparent to upper-level applications,including the operating system and the file system.These features are achieved by using smart-disk technologies to help the storage system to learn the file-system layout.A prototype was implemented on an open-source virtual machine (VM) with the guest operating system being Windows XP.Tests show that this combination significantly reduces the size of the VM image file and improves the storage performance by discarding unused blocks and using a simple file-level prefetching strategy.  相似文献   

12.
以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性(如何支持海量小文件的存储)、容错性(在数据丢失时进行数据恢复)和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.  相似文献   

13.
目前靶场光学测量中使用大面阵高帧频数字相机,原有的同步存储系统无法满足要求,设计了基于海量内存的超高速异步数字视频存储系统。使用PC平台的硬件,先将数字视频存储至内存中,待数据传输结束后再将内存中的数据写入存储介质,避开了同步存储的实时写入存储介质的速率瓶颈,避免了因为写入速率不稳导致的丢帧错帧的问题。在实际使用中可实现速率为800MB/s的超高速存储。  相似文献   

14.
随着信息技术的日益发展,计算机安全问题越来越突出,数据安全是计算机安全问题的核心.本文首先通过分析常见的操作系统文件系统结构,说明文件存储、文件删除、文件恢复和文件反恢复的原理.其次研究和分析了文件安全存储算法,用于对文件进行分片、压缩、加密、并进行安全擦除,以达到安全存储的目的.最后设计并实现了模拟安全存储文件系统,...  相似文献   

15.
文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测。提出一种不依赖访问热度信息的分布式文件放置算法;该算法仅使用文件的创建时间信息,利用文件已创建时间与访问热度之间的相关性,首先将时间进行区间划分,然后统计出各节点在不同时间区间内所创建文件的数据量,放置过程中保持同一时间区间的数据量在不同节点间大致相同。实验结果表明,该算法不仅可以使各节点的存储负载达到均衡,还能够提升访问负载的均衡,消除因文件访问热度不均而导致的性能瓶颈。  相似文献   

16.
Dramatically increasing amounts of digital data are placing huge requirements on storage systems. IP-networked storage systems, such as the network file system (NFS)-based network-attached storage (NAS) systems and the iSCSI-storage area network (SAN) systems, have become increasingly common in today’s local area network (LAN) environments. The emergence of new storage techniques, such as object-based storage (OBS) and content aware storage (CAS), significantly improves the functionality of storage devices ...  相似文献   

17.
针对大数据量需求问题, 设计并实现了一个并行文件数据存储模型: 固定大小数据分片和有冗余数据放置模型. 该存储模型简单高效. 实验结果表明, 该模型能够对数据进行容错, 提高了文件数据的可用性.  相似文献   

18.
云存储的概念是一个新的概念,它所利用的技术包括集群计算、分布式文件系统以及网格计算技术等。这些异构的存储系统通过彼此的协调、配合,构成一个虚拟的、巨大的存储系统,作为一个整体共同对外提供数据存储和业务访问功能。文章阐述了云存储结构模型,并对几种典型云存储的架构进行了比较研究。  相似文献   

19.
任益敏 《科学技术与工程》2012,12(31):8362-8366
为了提高现代农业车辆数据通信的稳定性和实现数据可视化,提出了基于CAN总线的数据通信及存储系统设计方案。在该方案中,由3个STM32为核心处理器、PCA82C250为高速收发器的CAN节点构成数据通信系统,并通过在处理器上移植FAT16文件系统,实现对SD卡的可视化读写,实时记录各个节点采集到的数据。试验表明:在波特率为100 kBps和500kBps的情况下,3个CAN节点间网络畅通,数据通信正常。此外,文件系统在SD卡中创建的文本文档也记录了各节点采集到的数据,实现数据可视化。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号