基于Hadoop云计算平台仿百度智能输入提示算法的研究与实现

云计算是指基于互联网、通过虚拟化方式共享IT资源的新型计算模式。Hadoop以Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。系统研究的主要内容在基于Hadoop的云计算平台上实现通过检索不同文件系统下的输入接口,输入内容的分布式统计结果,智能提示和匹配后续的内容,完成智能输入提示功能的算法研究与实现工作。     

一个分布式文件系统方案

本文针对环形网提出了一个分布式文件系统的方案.此方案对UNIX文件系统进行了改造,在文件的结构方面增设了几种目录,以提高文件的查找速度和支持文件的分布;在对文件的操作方面新设计了一系列的系统调用,以实现对分布文件的管理;同时修补了UNIX文件系统在安全方面的几处漏洞;最后提出了一个维护多副本文件在修改时的一致性的算法.此方案既保留了UNIX文件系统原有的特点和功能,又能适应于分布式环境.     

分布式文件系统性能研究

随着海量数据存储和I/O密集型应用的发展,I/O越发成为了分布式存储系统的性能瓶颈,分布式文件系统是解决I/O瓶颈问题的重要途径。如何系统地研究分布式文件系统的性能因子和优化方案,是一个重要研究课题。本文系统地阐述了分布式文件系统的性能研究现状,挖掘并分析了分布式文件系统的关键性能影响因子,为分布式文件系统的设计和性能优化研究提供支持。     

基于对象存储的集群文件系统CFSlight设计与实现

在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能、可用性等技术指标,具有很好的发展前景.     

分布式文件系统

文件系统是计算机系统的重要组成部分,随着个人计算机和网络技术的发展,独立平台上的文件系统有向局域网和广域网上发展的趋势,逐渐形成了分布式计算机环境中的一个重要技术——分布式文件系统。本文主要根据作者实际工作经验,探讨分布式文件系统的创建和复制策略的配置。     

一种副本复制和纠错码融合的云存储文件系统容错机制

在云存储技术中,云存储文件系统的数据容错十分重要,直接关系到整个系统的可用性。该文通过对有中心的分布式文件系统进行分析,提出了双机热备的元数据管理节点容错技术和块副本与基于纠删编解码算法相结合的存储节点容错技术,为云存储文件系统设计了双重保险的容错机制。实验结果表明,该机制大大提高了云存储系统的可靠性,并提高了磁盘空间利用率。     

一种基于云计算的海量数据分布式存储策略

基于云计算的存储系统,大都采用分布式存储.为了保证数据的完整性和一致性,增强数据的可靠性和可用性.通过划分服务区域、各服务区域内实行多层服务器集群的策略使用户无论何时、何地以何种方式都能高效、正确、完整地访问到所需数据.并根据数据需求量解决了数据副本数量的问题.与GFS分布式文件系统相比较,该策略思路清晰、实现简单.经仿真实验测试在数据访问、更新、删除及数据多版本方面有明显优点.     

面向搜索引擎的分布式文件系统性能分析

搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开放架构,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能;最后针对实验评估发现的HD...     

基于Hadoop云计算平台的文本处理算法的研究与改进

Hadoop是Apache基金会下的一个开源分布式计算平台,以分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。在对Hadoop进行深入分析和研究的基础上,搭建基于Hadoop的云计算平台,并完成分布式文本文件处理任务以及对文件文本内容处理算法的改进和实现。     

一种分布式文件系统的推送式数据预取机制

为了克服传统的数据预取机制的不足,提出了一种在分布式文件系统中存储服务器端的推送式数据预取机制.在达到减少网络通信的数据量和通信时延目的的同时,可以让运行客户端文件系统的计算节点从跟踪I/O操作和预测I/O操作的工作中脱离出来,减轻了客户端的工作负担,提高了存储系统的性能.     

基于分布式架构的内容存储解决方案——以Bycast内容寻址产品为例

本文介了Bycast分布式内容存储系统,可以对企业与机构的存档信息进行快速安全访问.通过该系统构建的分布式存储环境为内容管理环境提供了新的参考.     

基于java平台的分布式文件系统设计

随着计算机网络技术的发展以及Internet技术的广泛应用,分布式技术以及分布式系统应运而生.分布式技术旨在解决含量并发处理,高容错性,以及海量存贮等技术难题.本文目的就是考虑分布式环境、多种平台下的文件存储系统,分析当前文件服务领域的现状和不足,设计一个高适应性的分布式文件系统.该系统有部署方便,扩展性强,适应能力强等优点.     

云存储及其分布式文件系统研究

云存储专注于解决云计算系统中海量数据文件的存储问题;文件系统用来管理大量的文件信息,并负责对文件的存储空间进行组织分配;分布式文件系统不仅要管理本地计算机的数据文件,同时还要管理整个存储系统中的数据文件。文章首先对云计算技术进行介绍,然后引出云存储的概念,并通过对云存储的技术原理、性能优势等进行分析,指出分布式文件系统对于云存储技术的重要性;最后对现有的云存储分布式文件系统进行详细论述。全文工作将指导我们进一步深入研究云存储技术。     

校园级元计算机的单一映像文件系统的研究

为了支持广域、异构资源的统一管理，实现单一虚拟机器，提出了基于分布式对象技术的单一映像文件系统的实现方法，建立了一种分布式对象模型，定义了上下文对象与文件对象，论述了单一映像文件系统的组织结构与实现技术，给出了单一映像文件系统的常用操作命令的性能，单一映像文件系统将地理上分布的、不同管理域的、不同节点的广域异构资源映射到虚拟目录系统，以支持广域资源的协同管理与统一调度，为用户提供方便实用的工具与命令，从而简化了元计算系统的操作。     

基于HDFS的分布式文件系统

在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.     

基于Openfiler构建NAS与SAN的整合存储研究

在存储系统的应用中,既有文件I/O服务的需求,也有数据块I/O的需求,以往需要分别构建NAS与SAN来满足,增加了成本和管理的麻烦。基于Openfiler的统一网络存储系统实现了NAS与SAN的融合,同时提供文件I/O和数据块I/O服务。     

生物信息学社区数据空间的设计与实现

针对现有网格系统缺乏专有文件系统,导致数据在终端与网格间的传递以及数据在网格环境中的迁移、共享与管理比较困难的问题,利用清华云计算平台,以其中的分布式文件系统Carrier为底层、Corsair为存储管理软件,为用户设计了数据空间.系统的共享机制分为3个层次:为每个用户分配一定数目的个人私有空间;为每个组分配相应的存储空间;为生物信息学领域的热点资源建立全局共享的存储空间.设计的数据空间实现了层次化的数据共享与管理,为类似问题的解决提供了一种思路.     

一种面向数据中心架构的虚拟网络分布式路由技术

在面向企业应用的虚拟网络计算环境中,通常采用数据中心架构来组织分布于局域网的底层物理资源,通过虚拟网络技术将分布在不同宿主机上的虚拟机资源聚合起来,为了提供高效、安全的服务,需要虚拟网络提供高性能数据传输.现有虚拟网络路由技术以及基于IP封装的数据传输技术在数据传输的效率方面难以满足大规模数据需求.针对数据中心的底层架构,本文设计一种高效可靠的虚拟网络解决方案DR-VNET.该方案基于三层虚拟网络,采用虚拟网络的分布式路由技术,使得虚拟传输节点之间实现“单跳”通信,克服传统二层虚拟网络的路由瓶颈问题,提高了虚拟网络的传输效率,并在一个虚拟计算平台上实现了该方案,实验结果表明DR-VNET显著地提高了虚拟网络的传输性能.     

一种对文件系统透明的网络存储系统

提出了一种基于TCP／IP协议的对文件系统透明的网络存储系统．其透明性体现在两个方面：a．对用户透明，用户象访问本地磁盘一样访问远程网络存储空间；b．文件系统对存储服务器透明，存储服务器只针对数据块进行处理，从而减轻了用户和服务器的存储管理负担．在实现单用户对多存储空间、多用户对同一存储空间技术的基础上，系统具有数据备份、共享存储的基本功能，为实现复杂的网络存储提供了一个开发平台。     

分布式网络文件系统的研究

分布式网络文件系统能够将文件资源有效整合,实现文件资源的存储与传输。首先对文件系统进行了需求分析,接着重点探讨了分布式网络文件系统的设计与实现,涉及到：文件存储与传输的设计、用户空间服务的实现以及文件视图终端的实现。