基于Hadoop的海运业分布式搜索引擎的应用研究

针对海运业务系统越来越复杂,区域间数据交换日益频繁,致使海运企业无法高效、稳定地使用传统体系处理业务信息的问题,采用Map/Reduce分布式计算模型以及分布式文件系统,设计了一个基于Hadoop的分布式搜索引擎.该搜索引擎能够使海运企业在合理时间内获取、管理、处理业务信息.通过该分布式搜索引擎,可以高效、稳定地满足海运企业日益繁重的庞大的业务需求.     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

基于java平台的分布式文件系统设计

随着计算机网络技术的发展以及Internet技术的广泛应用,分布式技术以及分布式系统应运而生.分布式技术旨在解决含量并发处理,高容错性,以及海量存贮等技术难题.本文目的就是考虑分布式环境、多种平台下的文件存储系统,分析当前文件服务领域的现状和不足,设计一个高适应性的分布式文件系统.该系统有部署方便,扩展性强,适应能力强等优点.     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

面向分布式搜索引擎的索引库动态维护算法

分布式搜索引擎在实际运行中存在大量的用户,同时索引更新频繁,而索引更新过程的复杂度使得用户的检索请求响应出现较大的延迟。本文提出一种基于内存映射表的索引库动态维护算法,按照一定时间粒度组织索引库,在内存中维护一个当前可用的子索引库列表,实现索引的透明更新。实验表明,该算法能够保证及时地对新数据建立索引,同时有效降低用户检索请求的响应时间。     

搜索引擎中的用户分析

本文简要介绍了搜索引擎中的用户分析,包括用户需求分析、用户行为分析、用户认知分析三个方面,以及用户分析对搜索引擎的重要作用。     

网站搜索引擎优化技术分析

作为推广网站网络的一种有效方式,近年来,搜索引擎优化技术逐渐被更多网站所应用与重视,所有网站设计者都极为关注搜索引擎中自身网站的排名,其原因是每个网站都期待网民在搜索引擎中搜寻关于某方面内容的站点时,能够查找到自己的站点,最好能够优先出现。由此一方面能够增加本网站访问量,另一方面还有助于增加目标访问者,此为从站点视角不断优化网站搜索引擎的主要目的。本研究详细探讨了影响网站搜索引擎优化的相关因素,并提出详细的优化搜索引擎的相关对策。     

搜索引擎广告的利弊分析

搜索引擎广告是网络广告的主要的发展形式,它以受众广泛、效果良好等赢得了广大广告主的青睐,但是它也以一些不可避免的因素将阻碍其发展.本文将分析网络广告的优势、劣势,并对搜索引擎广告形式提出自己的一点改进意见.     

面向校园网搜索引擎的PageRank改进算法

根据校园网的网络结构和资源分布特点,针对经典PageRank算法采用的平分页面自身PageRank值的策略,提出了基于关键词集的网页关联权重分配PageRank值的改进算法.权值由页面问的关联程度和用户的搜索关键词确定,从而提高了校园网搜索引擎的搜索匹配程度和结果页面的排序质量.     

面向专题的智能化中文搜索引擎

讨论了智能专题搜索引擎的相关设计和实现,通过信息搜索技术、自然语言理解技术、语义网络技术以及数据挖掘技术的引入,改进了传统搜索引擎的搜索结构,进而采用这些技术实现了一个专题搜索的实例。     

分布式文件系统性能研究

随着海量数据存储和I/O密集型应用的发展,I/O越发成为了分布式存储系统的性能瓶颈,分布式文件系统是解决I/O瓶颈问题的重要途径。如何系统地研究分布式文件系统的性能因子和优化方案,是一个重要研究课题。本文系统地阐述了分布式文件系统的性能研究现状,挖掘并分析了分布式文件系统的关键性能影响因子,为分布式文件系统的设计和性能优化研究提供支持。     

关于搜索引擎排队模型的性能分析

目前许多搜索引擎都是使用基于关键字查询的检索算法和技术,返回的页面数量成千上万.顾客需要花费大量时间和精力进行浏览筛选有用信息,筛选过程中产生不耐烦情绪,从而转换关键词进行重新搜索.本文针对搜索引擎的服务即时性特点,把顾客因不耐烦进行重试的次数抽象成虚拟顾客,对一个顾客到达服务台引起的系统忙期进行研究.     

主要分布式搜索引擎技术的研究

讨论了当前搜索引擎的主要技术以及这些技术的原理。介绍了基于P2P的搜索技术,以及JAXT搜索框架的基本原理,重点给出了基于Map／Reduce技术分布式搜索引擎的实现。对今后搜索引擎的发展也作出了相应的探讨。     

搜索引擎系统中搜索方法的设计

根据搜索引擎中的快速搜索方法，设计逻辑符号检索词组或短语的内容检索等7大类搜索方法，并用Java语言实现了其中的部分功能。     

天网千帆--一种新型文件搜索引擎

为解决因网络中共享文件大量增加而造成的现有文件搜索引擎查准率和查全率低、查询结果可用性不强的问题,在分析用户查询日志的特征和统计文件服务器文件特点的基础上,提出了一种新的文件搜索引擎实现方案,在查询中使用基于资源的匹配来替代传统的字符串匹配,并对查询结果进行个性化排序,从而有效地提高了查询结果的质量,并提供了自动纠错等功能.在天网千帆文件搜索引擎上通过了该方案的系统实现,实验结果证明了该设计的有效性.     

Improving Performance of a Distributed File System Using a Speculative Semantics-Based Algorithm

File-sharing semantics is used by the file systems for sharing data among concurrent client processes in a consistent manner. Session semantics is a widely used file-sharing semantics in Distributed File Systems(DFSs). The main disadvantage of session semantics is that writes to an open file are visible to the concurrent client processes only during their next session. Recently, linearizability semantics was introduced in Blob Seer DFS, in which a Read Client Process(RCP) can read only a previous version of a binary large object(blob), while update operations are carried out on that blob in a concurrent manner. In this paper, we propose a new type of file-sharing semantics, namely speculative semantics, which permits writes to an open file to be visible to other concurrent processes provided that data consistency is not affected. In addition, we propose a new read algorithm for DFSs based on speculative semantics and a new performance measurement metric called Currency. The experimental results obtained using Blob Seer DFS indicate that the proposed read algorithm performs better than the existing read algorithm of Blob Seer DFS.     

带负顾客的搜索引擎排队模型的性能分析

目前许多搜索引擎都是使用基于关键词查询的检索算法和技术,返回的页面数量成千上万。而且其中包含无效的死链接,顾客需要花费大量时间和精力进行浏览筛选有用信息,筛选过程中产生不耐烦情绪,从而转换关键词进行重新搜索。针对搜索引擎的服务即时性特点,把顾客因不耐烦进行重试的次数抽象成虚拟顾客,无效的死链接看成负顾客,对一个顾客到达服务台引起的系统忙期进行研究。     

CorsairFS:一种面向校园网的分布式文件系统

描述了CorsairFS--一种针对校园网和企业内部网设计的专用分布式文件系统.通过采用可扩展的架构、分块存储方式和基于注册、汇报的自组织机制,系统在满足性能和吞吐量指标的前提下,具有更好的可扩展性和可管理性,能够提供同一数据的多种不同视图,允许在不移动数据的情况下对目录结构进行重构.系统针对大量用户的数据共享和存储的工作负载进行了优化,能有效地处理大量小文件的并发访问,并通过实验说明其能够更有效地利用存储空间,提供更好的数据传输性能,特别是面对大量小文件的情况.     

面向远程教育的搜索引擎系统的开发

搜索引擎是解决网络服务质量问题的一条有效途径,在分析了国内外搜索引擎技术的特点的基础上,根据学生和教师对网上信息的需求,给出了面向远程教育的搜索引擎的开发原理·利用ASP3·0动态网页编程技术,讨论了具体实现中的总体通信原理、教育引擎主页的动态刷新,基于WWW三层架设模式下的教育信息查询与信息源网站的自动连接等关键技术·     

面向BBS的关键词搜索引擎系统的设计

BBS搜索系统是为公安系统等监管部门了解年轻人思想动态,及时发现证据,防止案件发生而建立的.针对如何搜索各BBS上把符合搜索要求的信息检索出来,设计了一个面向BBS的关键词搜索引擎系统.首先从BBS搜索系统的需求分析入手,其次进行技术分析和方案设计,同时提出了一个索引倒排的索引算法,以此并设计了一个检索器将检索结果呈现,最后参考典型搜索引擎的实现,完成了一套小型的针对BBS进行扒取和检索的系统.目前该系统运行良好,结果表明该系统性能高,易于维护,对同类研究有一定借鉴作用