高性能文本索引系统的设计与实现简

针对传统文本索引技术空间消耗大、分词不准确等问题,设计并实现了高性能文本索引系统。该系统采用压缩的全文自索引算法,节省了空间开销,避免了自然语言分词方法的影响,配合通配符搜索算法扩展了模糊搜索的功能,在众核CPU高性能处理器上可实现多线程并行处理,提高了处理速度,整个系统的实现是基于Web方式的,可以跨平台运行。实验结果表明,该系统将文本索引的空间消耗降为原文本的50％左右,具有较高的实用价值。     

Nutch0.9中二分法中文分词的实现

Nutch是一个优秀的基于Java的开放源码搜索引擎,是以Lucene为基础实现的搜索引擎应用程序,其工作流程和现代商业搜索引擎工作原理一样：文本搜集、建立索引和查询。Nutch0.9较好地处理了英文分词,但对中文分词处理还不够完善。文章介绍了在Nutch0.9中实现索引及检索的二分法,提出在中文分词上的改进。     

支持多语言的自然语言倒序分词最大成词算法

提出一种支持多语言的分词算法,该算法可以按照以下层次来理解：首先,对不同编码的源词库文件编码转换,生成Unicode编码的源词库文件;然后,用Unicode编码的词库文件生成Unicode词库索引;最后,将待分词的自然语句转换成Unicode编码的语句并按照索引倒序分词。该算法已经用C＋＋语言实现,基于此算法实现的分析系统能够自动探测词库的更新并确定是否需要更新索引,能够支持多种编码方式,其编码转换和分词代码与平台无关,分词效率在9MB/s以上,正确率在90%以上。     

高性能FTP搜索引擎的设计

FTP(file transfer protcol)搜索引擎的重点在于中文分词技术和检索技术.使用了一种面向FTP搜索优化的最大前向匹配分词算法,并将用户查询作为反馈来更新分词算法中所使用的字典,结合倒排索引技术实现了一个高性能的FTP搜索引擎的原型系统.压力测试结果表明此FTP搜索引擎具有很高的性能.     

一种改进的高效分词词典机制

汉语自动分词是中文信息处理的基础,在中文信息处理系统中具有广泛的应用。作者在研究几种分词词典机制的基础上提出了一种新的分词词典机制,其基本思想是:根据一字词和二字词出现频率高的特点,将词首字和次字组合成Hash索引表,其余字组成剩余结点数组。基于这种分词词典机制设计的组合Hash索引分词算法使得一字词和二字词查询只须在组合hash索引表中一步完成,从而显著提高查询速度。通过真实语料的对比实验,该算法在不降低精度的前提下,处理速度比整词二分平均提高了13.8倍,比TR IE索引树平均提高了2.7倍。结果表明:组合hash索引分词算法是实用有效的。     

中文全文检索系统中基于分词技术的研究

为在保证中文歧义包容和长度限制的同时提高中文全文检索的速率, 在现有中文分词算法的基础上, 提出了一种改进的中文分词算法。通过在算法中建立索引的过程建立文本中相关词与词库的映射, 对词库进行改造, 使之更好地与相关词进行映射, 以便于实现中文分词。实验证明, 改进的中文分词算法能降低检索耗时, 是已有的分词算法的1/2和1/5, 有效提高中文全文检索的速率。     

基于BWC的XML文本数据索引技术

在XML文档中,相当大的部分是由文本数据组成的,针对XML文本数据占用空间较大、对压缩文本数据有效搜索效率较低的难点,基于BWC提出了压缩XML文本数据索引的技术,通过构造全文本数据模型,并利用整体压缩自索引存储XML文档的文本数据,实验结果表明,该技术不仅有效支持XPath查询语言文本搜索,而且内存消耗相对较小,实现了中小规模数据的内存搜索.     

石油勘探开发领域空间信息检索方法

提出了面向石油勘探开发的空间信息检索技术方法,给出了文档空间主题计算模型,设计了支持文本与三维空间查询的高性能索引结构,在原有研究的基础上实现了原型系统PetroScope.经过真实数据的性能测试和比较分析,原型系统的准确度得到了一定程度的提高,性能能够满足该领域空间信息检索的需求。     

基于混合索引树的空间文本匹配算法

针对空间文本对象流和订阅流的匹配,采用一种混合索引树来组织数据对象,包括多叉树空间索引、谓词索引和倒排文件三个部分,其中多叉树空间索引用于空间区域管理,谓词索引和倒排文件用于订阅谓词管理.在此基础上,提出了谓词索引建立算法、空间文本对象与倒排项匹配算法和混合索引树检索算法.与基于空间网格加倒排文件的检索方法进行了对比实验,结果表明:所提出的算法提高了用户的检索效率,并验证了其有效性.     

空间索引技术及其在SircGIS系统中的实现

根据空间索引技术的划分区域是否与空间对象的分布特征有关将现有的空间索引技术进行分类,并介绍了它们的基本思想.全面地讨论了层次网格空间索引技术的基本思想和一些主要方法,及其在SircGIS.NET系统中的实现.     

基于位置的发布/订阅索引结构

为了使空间文本数据的处理更加快捷准确,针对基于位置的发布/订阅提出了将R-tree与布尔表达式有效结合的索引结构TR-tree.TR-tree主要由文本索引与空间索引组成,其中文本索引根据订阅中谓词的数量和不同的关键谓词将空间文本数据进行订阅分组和谓词分组.文本索引中使用了操作符列表储存谓词,以达到避免重复储存谓词、减少内存使用的目的.空间索引根据关键谓词与谓词数量构建不同的R-tree,增强了空间修剪的性能.实验结果表明TR-tree具有高效的匹配能力与较好的内存管理性能.     

达梦数据库全文检索系统

流行的数据库管理系统通常实现了全文检索子系统,从而方便对数据库表中的文本数据建立全文索引,进而借助于这个索引来检索文本数据.达梦数据库管理系统提供多文本数据检索服务.包括全文索引和全文检索.达梦数据库实现了全文检索系统.但是此系统存在着索引膨胀率过高,索引填充时间较长的问题.全文检索,是一门综合性很强的技术.它牵扯到了很多的技术点,主要有分词技术,数据源提取和文档解析技术,相关度计算技术,存储技术.压缩技术等.     

LSI和kNN相结合的文本分类模型研究

针对传统文本分类系统的不足,提出了一种基于隐含语义索引的kNN的文本分类模型。该方法既充分利用了向量空间模型在表示方法上的巨大优势,又弥补了其忽略语义的不足,具备一定的理论和现实意义。     

基于XML电子病历的索引策略研究与实现

为了提高XML电子病历系统查询和处理时间,采用倒排索引方法,引入LRU替换算法,并引进更新策略。该索引策略花费少量空间索引,但却适应了电子病历的实时更新,大大地提高了查询和处理时间。给出了此策略实现算法的同时,通过实验验证了它的有效性和优越性。     

高性能网页索引器JU_Indexer的实现

高性能网页索引器JU_Indexer用倒排索引表存储网页索引数据, 以多线程并行的方式对网页建立索引数据, 采用经过优化的检索算法实现用户的查询. 首先给出了JU_Indexer的系统框架, 然后描述了索引数据在JU_Indexer中的存储结构、 建立网页索引的算法、 以及实现用户查询的检索算法. 实验结果表明, JU_Indexer能在毫秒级的时间内完成用户的查询, 它采用的经过优化的词组检索算法缩短了词组的检索时间.     

基于元素区间编码的GML数据索引方法

根据GML数据查询的需要,在分析XML文档编码和空间索引技术的基础上,提出一种基于扩展的元素区间编码的GML索引方法.首先通过扩展的区间编码方法对GML文档中的元素、属性、文本、几何体等要素进行编码;其次依据元素编码算法并将非空间节点、空间节点、元素节点从GML文档树中分离,产生元素编码序列;在此基础上根据节点类型的不同对属性和文本节点建立B+树索引以实现值查询,对几何体节点建立R树索引以实现空间数据的分析操作,并在查询处理时通过查询优化算法避免不必要的节点的遍历,进一步提高查询效率.实验结果表明,基于元素区间编码的GML数据索引方法是可行的、高效的.     

渐变空间中的动态索引

首先对地理空间的变化进行了研究，发现人们日常所处的空间（如城市）本质上是一个渐变空间，在日常空间管理中，为空间实体建立动态空间索引，融合空间实体的层次关系和邻接关系，即维护了索引的完整性和一致性，又提高了系统的效率，经过对现有空间索引结构的分析和比较，发现它们都缺少邻接关系的表达，只有将R树和Voronoi图结合起来，才能满足建立动态空间索引的要求，最后给出了实现动态空间索引自我维护的插入，删除方法的实现步骤。     

基于虚词切分的藏文分词系统的设计与实现

藏文分词是藏文自然语言处理的基础。根据藏文虚词在藏文文本中的特殊作用以及虚词的兼类性、结合性、黏着变体性和还原特性,设计实现了一个基于藏语虚词切分的正向最大匹配的藏文分词系统,该系统对原始文本进行逐次扫描处理得到分词结果。实验表明,文章提出的藏文分词系统具有较高的切分精度和切分速度。     

一种分布式数据库查询优化算法

在分析分布式数据库查询目标和策略的基础上,提出了一种新的查询优化算法：基于二级索引的查询算法。该算法利用全局和局部二级索引对查询语句进行分析,进而确定最优查询路径。该算法可以有效地减少分布式数据库系统查询过程对带宽的消耗。     

一种基于地理信息元数据标准的空间索引体系

 在分布式空间数据库网络环境下,根据标准《地理信息元数据》,建立属于具体地质调查信息平台的空间数据库级和空间索引图层级两级元数据结构,并依此集成空间数据,构建统一的空间索引数据库;在空间索引范围内通过生成Hilbert空间填充曲线扫描矩阵,得到Hilbert空间排列编码与空间索引信息的一维映射关系,设计出合理、高效的空间索引算法。通过整体规划和设计,构建了统一的运行方式﹑数据集成方法和系统体系结构。试验表明,系统通过直接对关系型数据库级表之间的操作和维护,避免了调用系统依托的ArcGIS开发平台下ArcObjects封装的相关函数,在实现空间索引功能的同时,提高了空间索引效率,为地质调查信息平台建设提供了关键的空间索引体系和良好的数据共享支持。