云存储技术在数字图书馆建设中的应用探讨

分析了现有存储技术的特点及其不足,描述了图书馆数字资源存储的需求,介绍了云存储的概念及其优点,提出了一个基于Hadoop HDFS的图书馆云存储架构方案。     

基于Hadoop建立云计算系统

云计算是2007年底正式提出的一个新概念,本文分析了云计算的特征和Hadoop的作用地位.针对Hadoop这样一个在集群上运行大型数据库处理应用程序的开放式源代码框架进行了云计算平台的实现,并进行了实验验证.     

Network Motif Detection： Algorithms, Parallel and Cloud Computing,and Related Tools

Network motif is defined as a frequent and unique subgraph pattern in a network, and the search involves counting all the possible instances or listing all patterns, testing isomorphism known as NP-hard and large amounts of repeated processes for statistical evaluation. Although many efficient algorithms have been introduced, exhaustive search methods are still infeasible and feasible approximation methods are yet implausible.Additionally, the fast and continual growth of biological networks makes the problem more challenging. As a consequence, parallel algorithms have been developed and distributed computing has been tested in the cloud computing environment as well. In this paper, we survey current algorithms for network motif detection and existing software tools. Then, we show that some methods have been utilized for parallel network motif search algorithms with static or dynamic load balancing techniques. With the advent of cloud computing services, network motif search has been implemented with MapReduce in Hadoop Distributed File System(HDFS), and with Storm, but without statistical testing. In this paper, we survey network motif search algorithms in general, including existing parallel methods as well as cloud computing based search, and show the promising potentials for the cloud computing based motif search methods.     

基于Hadoop的Web文本分类系统设计研究

针对传统Web文本分类方法无法解决大规模分类问题,在深入分析当前主流并行计算平台Hadoop的基础上,提出基于Hadoop的Web文本分类系统,该系统主要包括文本预处理、向量表示、文本分类、结果评价等模块.真实数据集上的比较实验表明所建系统的有效性.     

基于HDFS的分布式文件系统

在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.     

HDFS可视化操作研究与实现

Hadoop是一个由Java语言实现的软件框架,在一个计算机集群中对海量数据进行分布式计算,这个集群可以支持上千个节点和PB级别的数据.HDFS是专门为Hadoop设计的分布式文件系统,作为Hadoop最基本的构成元素,保证内容的完整性与可用性.但是HDFS的操作界面并不友好,必须通过命令行或者IDE插件来实现对文件的操作.在研究HDFS的架构的基础上,设计实现了基于WEB的HDFS可视化文件访问系统.     

云存储系统中数据冗余策略优化问题

针对云存储系统现有冗余策略及其改进策略的不足, 提出一种将完全备份与改进的RS(Reed\|Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整使其退化成纯粹的完全备份方法条件下, 提出一个动态副本管理优化模型DRMO（Dynamic Replication Management Optimized）对其进行改进。实现副本数和副本位置的动态调整。分析表明, RIRS充分融合了完全备份和纠删码冗余的优势, 能节省存储空间, 降低访问时延并提高系统的可靠性和稳定性。在此基础上提出的DRMO能在满足数据有效性要求的同时, 进一步节省存储空间并实现负载均衡。     

基于HDFS的企业私有云存储的研究

针对目前企业海量数据存储和管理的问题,本文通过对私有云存储和HDFS技术的研究,提出基于HDFS技术构建企业私有云存储系统。通过实验验证,该系统具有安全可靠性高、扩展性好、开发和运行的成本较低等特点,能够满足企业对海量资源安全可靠、高效快速的存储。     

HDFS平台下基于纠删码的一种数据放置策略

数据的可靠性一直是云计算领域中的热点问题,副本备份机制作为保证数据可靠性的重要手段应用比较广泛.但随着副本个数的增加,该机制浪费存储空间这一缺陷暴露无遗.为节省存储空间,采用纠删码技术保证数据的可靠性,提出了在HDFS平台下基于纠删码的一种数据放置策略.该策略以HDFS为平台,结合HDFS的副本备份策略和纠删码技术,通过改进HDFS平台下原本的数据放置策略,使改进后的数据放置策略能够适用于基于纠删码和HDFS的云文件系统.     

浅析大数据时代的产品与技术

介绍了大数据数据结构的特点,分析了大数据平台的系统架构和关键技术．比较了主流的数据库产品。