基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

云存储及其分布式文件系统研究

云存储专注于解决云计算系统中海量数据文件的存储问题;文件系统用来管理大量的文件信息,并负责对文件的存储空间进行组织分配;分布式文件系统不仅要管理本地计算机的数据文件,同时还要管理整个存储系统中的数据文件。文章首先对云计算技术进行介绍,然后引出云存储的概念,并通过对云存储的技术原理、性能优势等进行分析,指出分布式文件系统对于云存储技术的重要性;最后对现有的云存储分布式文件系统进行详细论述。全文工作将指导我们进一步深入研究云存储技术。     

浅谈海量数据存储中的几个问题

近些年,随着NAS,SAN等存储技术日益发展和完善,容量达到TB甚至PB级的海量存储系统已经成为现实。本文介绍了海量数据的基本特点,分析了海量数据存储的基本原则,根据特点及原则提出了海量数据存储的实现方法,最后简述了海量数据存储的发展趋势。     

基于RDF的海量语义数据管理研究

随着Web信息呈指数级增加,目前存储模式已难以适应大规模RDF数据高效存储的需求。本文通过对语义万维网结构以及RDF语义文件存储和查询技术的研究,分析了海量语义数据管理的研究领域和现状,提出了基于RDF的海量数据管理框架。该框架旨在实现对海量数据的管理,以解决RDF数据管理中存在存储设计难度大,查询处理复杂且效率低,查询结果排序困难的问题。     

论海量存储在数字图书馆中的地位及模式选择

论述了海量存储在数字图书馆发展中的必然性,通过对目前流行的3种海量存储方式的比较,指出了各馆在进行海量存储方式选择时的一些建议。     

基于Hadoop企业私有云存储平台的构建

针对企业级用户面临文件和数据量的指数级增长,现有的文件存储设施不能适应业务增长问题,提出基于Hadoop构建企业私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理业务。比较了私有云存储和传统存储模式,分析了私有云存储技术优势和可行性,提出企业私有云存储架构模型。分析结果表明:企业私有云存储平台适用于关键业务应用、在线事务处理,满足企业对海量数据存储、数据规模易扩展性的要求。     

高密度数字全息存储方案的比较

介绍了全息存储的基本原理,总结了多种实现高密度海量全息存储的复用方案,对这些方案进行了比较与评价。     

光盘库技术在中小型图书馆中的应用研究

数字化信息的爆炸性增长使得人们需要对海量数据进行可靠的存储与有效的利用[1]。简单阐述了图书馆常用的数据存储方式,即磁带和磁带库、磁盘阵列及光盘库,对三者之间的性能进行了分析比较,重点介绍了光盘库技术在图书馆光盘管理系统中的应用,以实现馆藏数字信息的快速存储和读取,并保证信息存储的安全性和可靠性。     

通用通讯缓冲存储收发装置

本文介绍一种用ＭＣＳ－５１单片机实现的通用通讯缓冲存储收发装置。该装置符合通用接口标准，具有完备的多种并串收发组合及其“海量”存储功能，是一种适用于数字设备和计算机之间通讯的智能设备。文章给出了该装置的硬件电路及软件设计 。     

通用通讯缓冲存储收发装置

本文介绍一种用MCS-51单片机实现的通用通讯缓冲存储收发装置。该装置符合通用接口标准，具有完备的多种并串收发组合形式及其“海量”存储功能，是一种适用于数字设备和计算机之间通讯的智能设备。文章给出了该装置的硬件电路及软件设计。     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验.为减少读写速率的损失,系统通过调用HDFS(Hadoop distributed filesystem)的API接口方式实现数据存储及对集群的状态监控和管理.实验表明:传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低.     

基于云计算的数据存储技术研究

以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性（如何支持海量小文件的存储）、容错性（在数据丢失时进行数据恢复）和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.     

基于ILM海量存储的应用研究

随着存储技术的发展,海量存储已经越来越普遍。如何管理并使用好这些海量信息,成为海量存储面临的一个新的问题。鉴于数据都有自己的生命周期,引入ILM(信息生命周期管理)的海量存储模式,试图找寻能够解决海量存储中降低成本,保持数据完整性,提高数据使用率的一种方式。     

基于XML与RDBMS的GIS数据存取技术

介绍GIS (geographic information system, 地理信息系统)空间数据在关系数据库中的存储方法.以shape文件为例,分析shape文件系列(*.shp, *.shx, *.dbf)的存储格式,研究在IBM DB2 9关系数据库系统中以XML (extensible markup language, 可扩展标识语言)方式存储GIS空间数据的方法,实现了shape文件在DB2 9关系数据库中的存储.     

光栅数字地震检波器采集存储与离线分析系统的设计

为了提高光栅数字地震检波器的检测精度和分辨力，设计了一套采集存储和离线分析系统。采集存储组件由采样保持器和海量数据存储器组成，该组件采用Compact Flash实现了对数据的存储，通过标准通信方式与计算机进行数据交换。离线分析模块运用幅值周期综合判定法准确的识别辨向点，有效减小了硬件电路辨向所带来的误差。     

浅析云存储信息服务的发展现状及隐忧

随着信息总量的快速增加,传统的存储方式在面对PB级的海量存储需求上,存在着容量和性能的瓶颈。云存储作为一种新型的存储服务模式,提供一个新的选择。本文在详细介绍云存储的概念、结构模型和技术前提的基础上,分析了当前云存储信息服务的发展现状,指出了云存储信息服务存在的优点与隐忧。     

浅析网络存储安全

网络存储是存储系统的发展方向。文章简要阐述了研究网络存储安全的重要性，介绍了当前网络存储安全的现状，分析了网络存储安全存在的隐患，并指出了网络存储安全实现的关键技术。     

嵌入式系统中USB Host功能的开发

采用自下向上的设计流程,在没有嵌入式操作系统支持的条件下,自主设计和实现了嵌入式USB Host功能．以ISP1362驱动USB海量存储类设备为例,描述了嵌入式USB Host系统的框架结构和底层驱动的设计方法．实验结果表明,遵从海量存储类子协议的USB设备,都能够被系统驱动,而且数据传输速度优于PC机驱动方式．     

高顽存性存储网格的构架与性能分析

为提高海量数据存储的可靠性,结合RS(Reed-Solomon)算法和网格技术提出了高可靠性存储网格的整体构架,设计并实现了RS数据存取中间件,理论上证明了系统的数据存储可靠性。通过性能测试,系统具有极高的读写性能。该系统的实现可很好地解决海量数据存储的可靠性问题。     

OceanBase分布式存储引擎

OceanBase是一个分布式关系型数据库,其目的是存储海量的高速增长的结构化数据,以廉价的服务器集群实现高可用、高可扩展、高性价比的服务.OceanBase采用内外存混合存储的模式,使用内存存储增量(新写入)数据,而使用外存存储基线(只读)数据,并将基线数据划分成大致等量的数据分片并采用分布式B+tree的形式将分片存放在很多的数据服务器上,利用定时合并机制不断将增量数据与基线数据融合.本文介绍OceanBase基线数据存储的基本结构和分布方式、定时合并机制,以及基线数据在OceanBase中的具体存储格式的设计和实现.