首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到18条相似文献,搜索用时 69 毫秒
1.
设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.  相似文献   

2.
针对当前网络存储技术存在的存储服务瓶颈问题,介绍了一个高可靠可扩展PC集群存储系统的容错设计方案.利用广泛用于加密解密技术的SHA-1算法来产生数据对象的副本ID,然后根据各个存储结点的权值信息,利用散列函数将数据对象复制到各个存储结点,使系统具有很好的容错性.另外描述了系统中对数据对象存储、读取、删除的基本方法,并介绍一种类似基于时戳的法定数选举方法来维护系统中数据对象副本的一致性.最后对系统的可靠性以及系统所支持的最大用户量进行了分析.  相似文献   

3.
随着海量数据的迅猛增长,尤其是非结构化数据爆炸性增长,非结构化数据所占比例越来越高,对存储系统的高性能、可靠性和可扩展性提出了很高的要求,使得传统存储系统已经不能满足所有用户的需求,集群存储技术和产品应运而生。集群存储技术以它的高性能、高可用性、高可扩展性和易于管理等特性赢得了用户的青睐。在集群存储技术应用到石油勘探行业的数据处理高性能计算系统中,可以很好地满足该行业地震数据处理系统的大文件海量存储、高带宽和高性能等要求,明显提高了系统数据处理速度。  相似文献   

4.
近年来,随着无人飞行器集群在各个领域的广泛应用,集群上所搭载的算法也越来越复杂,这对数据存储系统提出了更高的要求。现有研究没有考虑无人飞行器集群运行环境的特殊性,无法适应战场上通信间歇弱连接和节点易战损的环境。因此本文基于分布式存储技术设计了一套面向无人飞行器集群协同的分布式存储方案,通过动态自适应存储策略选择存储节点,提升了存储速度和资源的利用效率;同时,本文设计了基于RS码的数据备份与恢复方案,采用客户端与存储节点的交互模式降低了数据备份对于通信资源的占用,并且能够在多节点同时战损时恢复损失数据,提升了数据存储系统的稳定性和可靠性。  相似文献   

5.
以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性(如何支持海量小文件的存储)、容错性(在数据丢失时进行数据恢复)和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.  相似文献   

6.
随钻声波测井数据存储技术研究   总被引:1,自引:0,他引:1  
随钻声波测井数据量大,且受实时传输速率限制,需要采用大容量非易失FLASH存储器保存测量数据.根据随钻声波测井数据存储需求,采用NAND FLASH作为随钻声波测井仪的数据内存,设计了NAND FLASH接口电路,采用整页存储方式将数据存入NAND FLASH,并给出了NAND FLASH存储流程,实现了随钻声波测井的数据存储功能.  相似文献   

7.
李春晖 《科技资讯》2015,13(1):30-31
国土资源业务系统是在信息化条件下进行国土资源管理的各类系统的统称,根据国土资源管理职能,简要将国土资源业务管理系统分为基础地理信息系统、专项业务系统、电子政务系统和信息发布系统四大类。该文基于笔者从事Arc GIS应用的相关工作经验,以基于Arc GIS的国土数据集成系统设计为研究对象,首先分析了系统的总体建设目标,进而探讨了系统的总体框架和系统的体系结构。最后,论文对系统建设平台设计进行了详细的探讨,相信对从事相关工作的同行能有所裨益。  相似文献   

8.
伴随市场经济的快速发展,林业造林与资源建设逐步受到了广泛重视,并取得了可喜成绩。同时也渐渐显现出一些不良问题。因此,该文就林业资源发展现实状况展开探讨,并制定了科学的林业造林策略。对有效弥补不足问题,扩充林业资源发展空间,实现综合效益目标,有重要的实践意义。  相似文献   

9.
基于流数据的动态存储技术   总被引:1,自引:0,他引:1  
刘佳  张毅 《燕山大学学报》2005,29(4):344-347
对比了传统的数据与流数据的存储方法,并总结了现有流数据存储方式的优缺点,在继承了双向流的优点基础上,针对多数据源、多查询及多级存储建立了一个新的流数据处理系统模型,给出了解决历史数据存储的几种方案,更加突出了“实时性与历史性结合”的特点,同时满足了历史数据查询的需要,实现了流数据的动态存储策略。  相似文献   

10.
认知图是一种知识表达和管理工具,被广泛应用于知识表达和决策制定.传统的认知图建立方法大多依赖于领域内的专家经验,而专家经验往往在一定程度上存在知识的局限性、观点的偏向性等不足,因而通过专家经验建立的认知图可能与现实世界存在着较大的差距.构建了一个基于数据资源的认知图挖掘系统,通过对客观数据资源进行训练来建立认知图,摆脱...  相似文献   

11.
不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略:复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.  相似文献   

12.
当今不断增长的数据量和数据种类衍生出“大数据”这一现象。阐述了大数据时代信息资源的特点,分析了基于大数据的信息源的选择,探讨了大数据时代信息资源的利用。  相似文献   

13.
作为大数据的重要组成,产生于传感器、移动电话设备、社交网络等的不确定流数据因其具有流速可变、规模宏大、单遍扫描及不确定性等特点,传统聚类算法不能满足用户高效实时的查询要求.首先利用MBR(minimum bounding rectangle)描述不确定元组的分布特性,并提出一种基于期望距离的不确定数据流聚类算法,计算期望距离范围的上下界剪枝距离较远的簇以减少计算量;其次针对簇内元组的分布特征提出了簇MBR的概念,提出一种基于空间位置关系的聚类算法,根据不确定元组MBR和簇MBR的空间位置关系排除距离不确定元组较远的簇,从而提高聚类算法效率;最后在合成数据集和真实数据集进行实验,结果验证了所提出算法的有效性和高效性.  相似文献   

14.
州级国土资源数据中心建设初探   总被引:1,自引:0,他引:1  
分析了州级国土资源数据中心建设的背景及现状,对州级国土资源数据中心的建设进行了探讨,提出了州级数据中心建设的初步设计方案。  相似文献   

15.
聚类分析是数据挖掘中的一个重要技术。提出了一种改进的聚类分析算法,它基于中心距离比值指标,可以自主获得最佳聚类数和聚类结果。并针对一个真实的高校人力资源数据库集,采用改进的聚类算法对教师的现状进行客观而有效的描述,结果表明将聚类算法用于高校人力资源管理是有效的。  相似文献   

16.
为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。  相似文献   

17.
介绍了大数据背景下网络信息资源的特征以及国内网络信息资源管理现状,阐述了大数据背景下国内网络信息资源管理内容及目前存在的问题与挑战,探讨了如何围绕信息的生命周期对大数据时代的网络信息资源加以管理与利用。  相似文献   

18.
XML数据存储管理技术   总被引:4,自引:0,他引:4  
随着XML的出现,计算机领域出现了一个新的发展方向。XML不仅作为一种互联网上数据表示和交换的标准,而且被应用于搜索引擎、电子商务、电子数据交换等很多方面,因此受到了广泛的关注。为了更好的发挥XML的潜能和作用,必须有一种完善的技术对XML数据进行存储管理。本文详细分析了当前存在的XML数据存储管理技术及其分类方法,指出了这些方法存在的不足。然后,提出了基于映射对象的XML存储管理技术分类方法。最后,对一个完善的XML数据管理技术应当具有的功能进行了探讨。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号