浅谈海量存储技术在标准文献信息系统中的应用

本文首先分析了现有的标准文献电子文本存储方式存在的问题和隐患,然后介绍了文件海量存储方式的优点。文章还介绍了实现海量文件存储方式中的几个技术关键点。文章最后介绍了利用海量文件存储技术实现的标准文献信息系统的应用情况,并提出了今后的研究方向。     

基于ILM海量存储的应用研究

随着存储技术的发展,海量存储已经越来越普遍。如何管理并使用好这些海量信息,成为海量存储面临的一个新的问题。鉴于数据都有自己的生命周期,引入ILM(信息生命周期管理)的海量存储模式,试图找寻能够解决海量存储中降低成本,保持数据完整性,提高数据使用率的一种方式。     

用Fluent与MongoDB构建高效海量日志采集系统

由于传统方法不能满足海量日志存储的需求,对于海量日志的分析传统方法也出现了瓶颈问题,所以本文通过不同类型存储介质对海量日志读写性能实验,并与日志采集软件相结合提出了解决存储海量日志的一种方案:用Fluent(日志采集软件)与MongoDB来构建日志采集系统。实验表明:这种方式与传统存储方式相比,突破单机环境下日志存取的瓶颈,大幅度提高海量日志的存取速度,简化了日志分析与统计操作。在MongoDB集群环境下,高并发的读写满足了海量日志存取的需求,并且这种集群具有可扩展性和高可用性。     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

浅谈海量数据存储中的几个问题

近些年,随着NAS,SAN等存储技术日益发展和完善,容量达到TB甚至PB级的海量存储系统已经成为现实。本文介绍了海量数据的基本特点,分析了海量数据存储的基本原则,根据特点及原则提出了海量数据存储的实现方法,最后简述了海量数据存储的发展趋势。     

云计算环境下煤矿应急管理海量数据存储技术

随着物联网、无线传感器网络等技术在煤矿应急管理信息化建设中的广泛应用,煤矿大量监测、控制及自动化等实时系统产生的流式数据会形成相当规模的数据集,对煤矿企业现有信息系统构架的海量数据存储及处理性能提出了更大的挑战。为了研究应对此挑战的海量数据存储技术,通过分析煤矿应急管理海量数据的来源及其特点,设计了云计算环境下基于NoSQL的煤矿应急管理海量数据存储方式,并对煤矿应急云平台进行了Hadoop基准测试,同时利用陕西黄陵矿业集团一号矿井某段周期内的瓦斯数据,对煤矿应急云平台和DBMS系统的处理性能进行对比。实验结果表明,基于Hadoop构建的煤矿应急云平台在海量数据存储与处理时均有良好的性能表现。     

物联网云服务的设计与实现

在当前的数据信息时代,全球以电子方式存储的数据总量正在飞速的增长,2011年全球数据量已经超过1.8ZB。海量数据的存储与快速分析也因此对传统的计算机形成一个严峻的挑战。云计算的快速、高效等特点成为它处理海量数据的优势。     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

一种流程工业的分布式海量报警管理系统

提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类MapReduce过程的报警管理系统分布式并行查询模型;在功能应用层,根据业务需求实现了基本的报警管理功能模块.测试结果表明,面对海量报警数据的应用场景,基于Hadoop平台的分布式海量报警管理系统比传统报警管理系统具有更为出色的性能.     

浅析云存储信息服务的发展现状及隐忧

随着信息总量的快速增加,传统的存储方式在面对PB级的海量存储需求上,存在着容量和性能的瓶颈。云存储作为一种新型的存储服务模式,提供一个新的选择。本文在详细介绍云存储的概念、结构模型和技术前提的基础上,分析了当前云存储信息服务的发展现状,指出了云存储信息服务存在的优点与隐忧。     

数字图书馆海量存储的理想选择——IP——SAN

分析了数字图书馆对海量存储的需求,总结了IP—SAN特点和优势。     

数字图书馆选用存储系统之我见

介绍了数字图书馆网络存储系统设计原则,对3种主要存储模式进行了阐述。     

高校数字图书馆信息存储系统研究

通过对DAS,NAS,SAN三种存储方式的比较,制定了数字图书馆SAN NAS DAS 磁带库的后端整体混合存储方案,解决了因超大用户访问量所导致的服务器瓶颈问题。     

可快速响应的虚拟三级存储系统RAT

利用SCST中间驱动层,将磁盘阵列与磁带虚拟为一种有别于虚拟磁带库的新型三级虚拟存储系统,将用户文件分割存放在阵列和磁带库上,在服务用户请求时,首先由阵列快速响应用户请求的前一部分数据,同时磁带库执行机械操作准备剩余数据,以屏蔽磁带库响应等待时间,并利用磁盘阵列数据冗余特性确保数据可靠保存,形成海量、快速、可靠的第三级存储子系统.经对比测试该系统用于备份应用时,其备份恢复操作的初始响应时间显著小于传统磁带库系统.     

基于云计算的数字图书馆信息资源建设

介绍了数字图书馆信息资源建设现状,阐述了云计算的海量信息存储技术,讨论了云计算给数字图书馆信息资源建设带来的变革,探讨了基于云计算的数字图书馆信息资源建设面临的问题。     

云存储技术在图书馆随书光盘管理工作中的应用

介绍了高校图书馆随书光盘管理的几种常见模式,分析了其优缺点,对随书光盘管理工作引进云计算存储技术进行了探讨。     

浅论高校图书馆对随书光盘的管理模式

简单介绍了随书光盘的存储方式,阐述了目前图书馆对随书光盘的3种管理模式,并对各种管理模式进行了简单的评价,在此基础上对高校图书馆随书光盘的管理提出了几点建议。     

浅谈西方传教士对开创中国图书馆新纪元的影响

西方传教士在中国开办图书馆,打破了中国传统藏书楼的格局,带来西方图书馆的建设思想、管理方式和分类法以及公开、开放与共享的观念,促进了古代藏书楼向近代图书馆的转变。     

杂志与图书馆

杂志可简略定义为自我发行的、为人们提供一种文化视野的杂志,从而成为图书馆意欲收集的类型。但其周期短暂的特性给图书馆的收集、分类和保存带来挑战。针对图书馆收集杂志所存在的问题与障碍,探讨了各图书馆收集杂志的独特方式与可行性。     

图书馆数据存储发展趋势——云存储

在数字图书馆发展进程中,传统数据存储模式DAS、NAS和SAN的弊端日趋凸显,已不适应新环境下数据资源的存储需求。基于云计算的云存储模式弥补了传统存储结构的不足,将逐渐成为图书馆数据存储的主流。