中文全文检索系统中基于分词技术的研究

为在保证中文歧义包容和长度限制的同时提高中文全文检索的速率, 在现有中文分词算法的基础上, 提出了一种改进的中文分词算法。通过在算法中建立索引的过程建立文本中相关词与词库的映射, 对词库进行改造, 使之更好地与相关词进行映射, 以便于实现中文分词。实验证明, 改进的中文分词算法能降低检索耗时, 是已有的分词算法的1/2和1/5, 有效提高中文全文检索的速率。     

基于重定位的维、哈、柯文Unicode 编码及多文种索引技术研究

没有语言ID的维、哈、柯文部分字母在Unicode代码区域中共享字符代码,因此在信息交换、自动分词和检索应用中,很难区分维、哈、柯文字母.存在语言上的二义性.另外,该区域中字母的顺序符合阿拉伯字母表,维、哈、柯文字母的顺序非常混乱,这对于维、哈、柯多文种数据的索引、排序和查询处理带来了很大困难.针对以上问题,研究了一种内部Unicode编码方法和基于词根的多文种索引技术.研究结果表明,这种方法完全解决了多文种信息的存储、排序等数据库管理问题,大大简化了索引技术及实现难度.     

基于双字词的动态最大匹配分词算法的研究

通过研究和分析现有最大匹配分词算法,词库结构的设计和分词算法直接关系着分词的速度和效率,提出了一种改进的最大匹配分词算法--基于双字词的动态最大匹配分词算法,设计并实现了汉语分词词库和算法.实验结果表明,此算法相对于现有最大匹配分词算法有显著提高.     

Windows环境下蒙古文复杂文本处理的研究

简要介绍了复杂文本和Uniscribe布局引擎,然后介绍一种基于Uniscribe的蒙古文Unicode文本的解释算法,解决Windows环境下字处理软件不支持蒙古文国际标准编码的问题.该算法具有较好的通用性,能够有效处理多种复杂文本语言,在蒙古文字处理软件MWord中的应用说明了该算法的有效性.     

GICDBS:一种支持动态图结构数据更新的索引方式

提出一种基于CDBS编码的索引方式-GICDBS,并详细阐述了其对图结构数据动态更新的支持.实验证明,GICDBS索引结构不仅可以实现线性的可达性查询时间效率和索引空间复杂度,而且能够有效地支持数据的动态更新.     

可缩放矢量格式地图图层定义及模糊查询模型

根据图层定义,提出了针对可缩放矢量图形(SVG)格式地图的模糊查询模型.通过构建模糊查询词库来储存模糊查询相关词和模糊查询匹配模式.在此基础上,提出了分词子算法,将查询语句分解为词串.据此给出了语义分析子算法,将分词子算法产生的词串转化成模糊查询匹配模式,并与SVG格式地图相关层(一层或多层)中的元素关联以实现模糊查询.最后实验验证证明了该模型的有效性.     

一种OA系统主题词提取算法设计

设计了一种用于OA系统主题词提取算法,该算法包括单句聚类、抽取代表句、代表句分词和主题词提取几个步骤。采用层次凝聚法作为单句聚类算法,研究公文句子的特点,设计了代表句抽取算法,根据公文群体较为单一的特点,建立主题词词库以及主题词提取规则库,对机械分词法进行改进,设计了代表句的分词算法,实现了公文搜索主题词的自动生成。     

Unicode及中文到Unicode转换

Unicode给每个字符提供了一个唯一的数字,不论是什么平台,不论是什么程序,不论什么语言。Unicode使用全16位元字元集。这使得Unicode能够表示65,536个不同的字符。所以这是一个最佳的国际解决方案。Unicode标准已经被工业界的领导们所采用。本文主要介绍Unicode产生的背景、Unicode的编码机制及中文到Unicode的转换。     

Nutch-0.9中JE中文分词的实现

Nutch是一个开放源代码的Web搜索引擎,基于开源搜索框架Lucene,扩展性较好。Nutch是针对英文开发的,对中文只进行单字切分。通过分析Nutch的语言分析器结构,结合基于词库的正向最大匹配分词算法的JE分词,实现了Nutch的中文分词。     

向LUCENE搜索引擎中加入中文同义词查询

本文深入研究了Lucene的分词机制,提出了中文同义词索引原理,实现了一种基于词典的正向最大匹配分词算法,并在此基础上,实现了能够同时处理中英文的同义词分词器。     

高性能文本索引系统的设计与实现简

针对传统文本索引技术空间消耗大、分词不准确等问题,设计并实现了高性能文本索引系统。该系统采用压缩的全文自索引算法,节省了空间开销,避免了自然语言分词方法的影响,配合通配符搜索算法扩展了模糊搜索的功能,在众核CPU高性能处理器上可实现多线程并行处理,提高了处理速度,整个系统的实现是基于Web方式的,可以跨平台运行。实验结果表明,该系统将文本索引的空间消耗降为原文本的50％左右,具有较高的实用价值。     

数据库受限汉语自然语言查询的分词研究与实现

对数据库受限汉语自然语言查询语句进行分渊处理．分词算法分为两个部分,第一部分对最大匹配法进行改进,改进的核心思想足体现整句长词优先的原则,改进后的算法能够减少切分歧义;第二部分根据实例数据库的查询需要处理姓名和不稳定的属性值两类未登录词,未登录词的识别对后续句子的理解起着至关重要的作用．     

深度学习源代码缺陷检测方法

针对由于传统的源代码缺陷分析技术依赖于分析人员的对安全问题的认识以及长期经验积累造成的缺陷检测误报率、漏报率较高的问题,提出了一种深度学习算法源代码缺陷检测方法.该方法根据深度学习算法,利用程序源代码的抽象语法树、数据流特征,通过训练源代码缺陷分类器完成源代码缺陷检测工作.其依据的关键理论是应用深度学习算法及自然语言处理中的词嵌套算法学习源代码抽象语法树和数据流中蕴含的深层次语义特征和语法特征,提出了应用于源代码缺陷检测的深度学习一般框架.使用公开数据集SARD对提出的方法进行验证,研究结果表明该方法在代码缺陷检测的准确率、召回率、误报率和漏报率方面均优于现有的检测方法.      

一种Hash高速分词算法

对于基于词的搜索引擎等中文处理系统,分词速度要求较高。设计了一种高效的中文电子词表的数据结构,它支持首字和词的Hash查找。提出了一种Hash高速分词算法,理论分析表明,其平均匹配次数低于1．08,优于目前的同类算法。     

一个基于Dublin Core元数据的超文本查询引擎

传统的WEB查询是基于HTML文档中的全文信息的，只要文档中包含某一待查询的词语，文档就会被选中，而不管该单词在文档中的作用和地位如何．提出了一种基于文档的Dublin Core元数据的查询方法，首先从HTML文档中提取出相应的Dublin Core元数据放入索引库中．当用户提出查询请求时，在索引库查找与用户请求相匹配的文档条目，然后将它们返回给用户．由于元数据是对文档资源的精确描述，因此这种查询方法得到的文档具有较高的相关性，避免了出现大量无关的查询结果．     

基于改进的正向最大匹配中文分词算法研究

中文自动分词技术在中文信息处理、Web文档挖掘等处理文档类研究中是一项关键技术,而分词算法是其中的核心.正向最大匹配算法FMM( Forward Maximum Match)具有切分速度快、简洁、容易实现等优点,但是还存在分词过程中设定的最大词长初始值固定不变的问题,带来匹配次数相对较多的弊端.针对此问题提出了根据中文...     

基于Lucene的全文检索系统模型的研究和开发

设计实现了一个基于Lucene的全文检索系统模型.在该系统模型中,针对中文分词实现了基于词库的采用正向最大匹配算法的中文分词模块;针对多种格式文档的处理采用接口实现的方式和动态实例化的方法,实现了可以有效地处理txt、xml、html、pdf、doc和rtf等常见格式文档.     

"元数据模型"在数据提取中的实现

大量分散的形式及不同格式的数据给现代数据处理带来了越来越大的困难.为统一数据形式以利于数据操作和处理,讨论了将形式多样的数据格式转换成统一的XML(extensible Markup Language)格式的问题.在计算机网络中,应用"元数据模型"技术,对数据源中不同格式文件数据,按照预先定义的XML模板,以格式说明文件结构统一描述,并提取数据或作进一步的处理,最后转换为XML格式输出.设计了具体的实现策略以及实现流程:实现了从TXT文件格式数据中提取数据转换成XML格式的代码,将TXT文件数据提取成XML格式的数据;完成了数据说明文件格式的设计,数据路径选择工具的开发,语言分析工具的设计开发等工作.结果表明:能满足同类产品的按行(line)为单位的源数据结构形式处理,还具有同类产品不具备的非行(字符串和关键字)提取处理功能.