一种变长编码压缩倒排索引算法

全文检索的效率依赖于数据结构-倒排索引,存储倒排索引需要较大的硬盘存储空间。提出了一种新的压缩算法,主要用于倒排索引中文档标识符的压缩。对于给定的文档集合使用信息检索工具Terrier,使用不同的压缩算法压缩倒排索引中的文档标识符,从而生成倒排索引文件,然后比较倒排索引文件的大小。实验结果表明,使用新的压缩算法能够节省倒排索引文件的存储空间。     

基于混合索引树的空间文本匹配算法

针对空间文本对象流和订阅流的匹配,采用一种混合索引树来组织数据对象,包括多叉树空间索引、谓词索引和倒排文件三个部分,其中多叉树空间索引用于空间区域管理,谓词索引和倒排文件用于订阅谓词管理.在此基础上,提出了谓词索引建立算法、空间文本对象与倒排项匹配算法和混合索引树检索算法.与基于空间网格加倒排文件的检索方法进行了对比实验,结果表明:所提出的算法提高了用户的检索效率,并验证了其有效性.     

一种增量倒排索引结构的设计与实现

针对主题爬行器获取网页更新速度快的特点, 提出一种用于网络搜索引擎的增量索引结构. 在建立倒排索引时, 每个词项的记录表以链接块的形式存放于倒排索引文件中, 每次新分配的块大小递增. 该索引结构解决了倒排索引连续存储所带来的难以更新问题. 实验结果表明, 与支持实时更新的传统链表式存储方式相比, 这种索引结构能提供更高效的检索, 采用以空间换时间的方法有效地提高了索引的更新效率.     

自然语言网络答疑系统中倒排索引技术的研究与实现

为了提高自然语言网络答疑系统(Natural Language Web Answer System,简称NLWAS)中问答对的匹配速度和精度,提出了基于倒排词的倒排索引设计方案,详细阐述了索引体系结构,数据结构,匹配策略,动态维护,并对时间复杂度进行了分析.实际应用结果表明,使用倒排索引后系统性能优化效果明显增强.     

中文文本检索系统的设计与实现

中文检索是信息产业中发展较快且很重要的领域,在对全文索引进行深入的理论分析基础上,设计实现了基于倒排索引结构的中文文本检索系统.该系统采用词库匹配法对文本文档进行关键词的切分,并对关键词建立索引,最后通过索引实现对关键词的检索.     

基于位置的web搜索索引研究

针对基于位置的web搜索需要将网页中位置信息和文本信息相结合进行索引的应用需求,提出了先倒排表再R-tree索引和先R-tree再倒排表索引两种混合索引结构,同时处理文本和位置信息.大规模真实数据集上的实验表明,这两种方法在查询效率上明显优于已有的倒排表和R-tree相互独立的索引模式.     

高效FTP搜索引擎的设计与实现

为了解决传统FTP搜索引擎对检索结果优化程度不够而造成的检索质量低的问题,在对FTP用户查询日志进行统计分析的基础上,采用双字节倒排索引、检索结果自动分类以及查询自动纠错等技术设计了一种高性能的智能化FTP搜索引擎.双字节倒排是对文件名中每两个字节建立倒排索引表,自动分类是对检索结果按主题划分为层次结构,查询自动纠错是以用户查询日志中的高频查询词为数据源构建拼写错误词典.试验结果表明,该方案能够有效地提高FTP搜索引擎的文件检索效率与质量.     

一种面向域的高效倒排索引结构及实时更新

倒排索引是搜索引擎的核心组成部分,对搜索的效率与质量有着较大的影响.在一些主题搜索引擎中,关键词被划分为多个域以提高检索质量,针对这种特点,本文提出了一种新的面向域的高效倒排索引结构,以及实时更新倒排索引的算法.实验结果表明,在每个域内索引词项个数接近词典大小的情况下,本文提出的倒排索引结构可以有效地提高搜索引擎的检索效率.     

基于文档重排的索引压缩技术

对于提高网络搜索引擎系统的性能而言,有效的存取倒排索引表和快速的响应搜索操作起着关键的作用,故提出了一种能够有效提高索引压缩率的文档重排算法--Star-Scan算法.该算法是利用聚类算法将相似的文档排列到一起,从而减少编码文档编号(DocID)之间的差值所需要的字节数,达到提高索引压缩率的效果.在TREC12数据集上进行的多个实验表明,与随机排列相比,通过Star-Scan算法重新排列后的倒排表在Delta编码方式上压缩率平均提高了大约30.22%,从而有效地提高了搜索引擎的效率.     

基于综合倒排索引的个性化搜索研究

随着Intemet网络的迅猛发展,个性化信息服务越来越成为信息检索领域的研究热点。本文分析了国内外个性化信息服务研究现状,提出了基于综合倒排索引的搜索思想,从关键词、主题词和评语3个角度出发建立综合倒排索引进行全文搜索;达到用户个性化搜索的目的。     

高性能网页索引器JU_Indexer的实现

高性能网页索引器JU_Indexer用倒排索引表存储网页索引数据, 以多线程并行的方式对网页建立索引数据, 采用经过优化的检索算法实现用户的查询. 首先给出了JU_Indexer的系统框架, 然后描述了索引数据在JU_Indexer中的存储结构、 建立网页索引的算法、 以及实现用户查询的检索算法. 实验结果表明, JU_Indexer能在毫秒级的时间内完成用户的查询, 它采用的经过优化的词组检索算法缩短了词组的检索时间.     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

基于多特征索引和局部约束的服饰检索方法

为弥补传统BoW(Bag of Words)模型缺失的颜色信息和空间信息, 提出了基于多特征索引和局部约束的服饰检索方法。基于BoW 模型分别建立关于颜色特征和SIFT 特征的两种倒排文件索引结构, 检索相似服饰图像, 并提出了局部约束的后验证方法。实验结果表明, 该方法在不同环境采集的服饰数据库的测试中, 得到了理想的检索性能。     

基于XML的搜索引擎倒排索引研究

随着互联网的迅速发展,搜索引擎变得越来越重要,人们对信息检索的要求越来越高.XML不仅仅关注文档结构.而且关注其中的语义内容.而倒排索引则是搜索引擎的核心技术.结合两种技术设计了一个基于XML的检索系统.并对其中的关键技术倒排索引更新优化提出新的方法.     

一类海量数据倒排文件的组织

探讨了一类海量数据的倒排文件组织的理论和技术，以一部１１００余万字的巨著的数据组织为例，阐述了主索引文件的生成、变长记录的处理、记录排序方法及检纠错技术等。     

一个中文全文检索系统的设计与实现

本文主要分析了中文全文检索技术中有关内容,并根据此内容设计实现了一个中文全文检索系统.针对汉语词法的特殊性,在基于词表的全文索引方面,本文应用了一种改进的倒排索引结构,同传统索引结构相比,更便于索引的构建、维护、更新.并根据其特征,设计了优化的查询策略.     

PSP：一种高效的偏序域上skyline查询处理方法

为解决偏序域上的skyline查询问题,本文提出一种高效的偏序域上的skyline查询处理方法,来满足人们对查询效率日益增长的需求.首先,为提高偏序域上skyline的查询效率,将倒排索引引入skyline查询,提出一种基于倒排的索引结构.其次,提出基础算法(Basic Partially-ordered Skyline Processing based on inverted index,PSP_B),PSP_B包含两个阶段:第一阶段,能够通过映射将偏序域转化成全序域,并建立倒排索引;第二阶段,通过倒排索引提前找到扫描结束点,得到最终的skyline结果.再次,在PSP_B的基础上,进一步提出优化算法(Improved Partially-ordered Skyline Processing based on inverted index,PSP_I).PSP_I通过先分组再建索引的方法能够进一步提高计算效率.最后,用大量的实验证明本文所提算法的正确性和高效性.     

基于XML电子病历的索引策略研究与实现

为了提高XML电子病历系统查询和处理时间,采用倒排索引方法,引入LRU替换算法,并引进更新策略。该索引策略花费少量空间索引,但却适应了电子病历的实时更新,大大地提高了查询和处理时间。给出了此策略实现算法的同时,通过实验验证了它的有效性和优越性。     

维、哈、柯全文搜索引擎索引器的设计与研究

本文主要分析研究维、哈、柯全文搜索引擎索引器出现的关键问题，介绍了一系列有效的解决方法．这螳主要包括符合维、哈、柯语言的倒排索引表的结构，检索过程中的计算疗法，更新倒排索引表的措施和处理低频词等等．通过试验和实际应用过程中证明了以上方法很符合处理维、哈、柯全文搜索引擎索引器的出现的关键同题，明显提高维、哈、柯全文搜索引擎索引器的索引功能．     

基于Lucene索引的数据库全文检索

针对传统数据库检索中检索速度较慢、 检索结果不完整、 检索结果排列无序等问题, 基于全文检索工具Lucene索引的结构, 设计一种基于Lucene的数据库索引结构, 并提出记录倒排索引链表的概念, 使网站不用再按照传统顺序查找方式进行检索, 而是以索引库中的关键词进行检索, 提高了检索效率. 实验结果表明, 基于
Lucene的数据库全文检索具有查全率高、 检索结果排列有序等优点.