基于词汇坐标的语料库文本处理模型:原理及方法

介绍基于词汇坐标的语料库文本处理模型,并对英语文本词汇坐标思想进行详细阐述.对语料库文本进行词汇坐标化处理从本质上讲就是从字母串到数字串的映射实现过程.基于词汇坐标的文本处理模型改变了传统的语料库检索模式,从一定程度上适应了当前超大型语料库建设的需要.     

细粒度语义网检索

语义网的有向标记图数据模型决定其在内容检索方面与纯文本、超文本或半结构化文档检索存在较大差异.现有检索模型和相似度计算方法不能完全满足对语义网的检索和评价.该文以资源这种较细粒度作为检索单元,考虑查询关键字在资源内容中的频率和结构分布,提出一个细粒度语义网检索模型,并扩展了相似度计算公式和倒排索引结构.在语义网挖掘系统(semantic web aiding rich miningsystem,SWARMS)中实现了该模型及相关算法.在SourceForge和DBLP两个测试集上的实验表明,该模型能够结合语义网结构查询与基于关键字的内容查询,在相同查全率下查准率是单独应用结构或内容查询的两倍左右.     

一种基于同义词词典的模糊查询扩展方法

在信息检索系统中,查询扩展是一种非常有效的改进检索性能的方法. 为此,提出一种基于同义词词典的模糊查询扩展方法. 该方法中的同义词词典是基于著名的语义词典WordNet中的同义词集合建立的,同义词之间的贴近度[0, 1]使用Tanimoto系数获得. 利用该词典,能够进行较好的查询扩展. 将该方法与向量空间模型结合应用于文本信息检索系统中,所构造的检索模型相当于一种简单的语义模型,并且可以根据阈值来控制查询扩展的程度. 所得试验结果表明,使用该查询扩展方法的信息检索系统较常规信息检索系统的检索性能有一定改善.     

基于智能聚类的相关度内容检索方法

为了提高内容检索的相关度与检索效率,基于信息系统理论与自组织神经网络理论,提出基于智能聚类的相关度检索方法,并设计了检索算法.经过训练的自组织神经网络通过对查询需求进行聚类,使得内容的检索只在与查询需求同类的文本内容中进行,提高了检索效率,并通过在同一个向量空间对查询向量与文本内容的语义向量进行相似度衡量,为用户选择更相关的内容提供依据.设计开发了基于智能聚类的内容检索试验平台,验证了该方法的有效性.     

混合语义模型的产品知识文档检索

为解决产品知识文档检索过程中遇到的问题,提出一种基于混合语义模型的检索方法.该方法将传统的用户查询需求扩展为用户偏好、语境和用户查询混合而成的语义集合,并对知识文档和用户需求进行基于本体的模糊概念表达.对于知识文档,选择领域本体的叶节点来构造文本概念向量,根据概念在本体图中的深度、携带的信息量,及出现在文档与语料库中的频度来计算权重.同样采用本体表达知识语境与查询语义,建立用户偏好模型.针对检索模型的不同组成,阐述了相应的相似度计算方法,采用概念的语义距离计算用户当前语境和文档语境之间的相似度,用余弦法计算查询语义、用户偏好与文档的相似度.最后用实验验证了该方法的检索效果优于传统的向量空间方法.     

基于文本概念化的观点检索方法

观点检索是自然语言处理领域中的一个热点研究课题。现有的观点检索模型在检索过程中往往无法根据上下文将词汇进行知识、概念层面的抽象,这种稀疏空间下的检索方式影响了观点检索模型的性能。文章提出一种基于文本概念化的观点检索方法,通过知识图谱计算概念空间下不同文本之间的相似度以改善特征空间的稀疏问题。这一方法首先利用知识图谱分别将用户查询和文本概念化到概念空间,同时在概念空间计算查询与文本的主题相似度,接着基于词典计算文档的观点得分,最后将相关度得分与文本的观点得分二次组合成相关观点得分并用于观点检索。实验表明,在两个数据集上,本文方法相比基准工作在MAP评价指标上分别提升了4.2%和12.6%。     

采用向量空间模型的个性化信息检索方法

为了提升检索结果与用户个性化需求的符合程度,依托向量空间模型提出一种新的检索方法.将用户查询关键词和语料库内的文本信息都映射为向量,从而把检索过程转化为向量相似性的比对.在比对过程中,通过关键词权重突出用户个性化需求,通过余弦相似度判断符合程度.实验结果表明:文中方法的检索结果与用户需求的符合程度明显提高.     

基于知识图谱的文本观点检索方法

文本观点检索旨在检索出与查询主题相关并且表达用户对主题观点的文档。由于用户查询时输入通常很短,难以准确表示查询的信息需求。知识图谱是结构化的语义知识库,通过知识图谱中的知识有助于理解用户的信息需求。因此,提出了一种基于知识图谱的文本观点检索方法。首先由知识图谱获取候选查询扩展词,并计算每个候选词扩展词分布、共现频率、邻近关系、文档集频率,然后利用4类特征通过SVM分类得到扩展词,最后利用扩展词对产生式观点检索模型进行扩展,实现对查询的观点检索。实验表明,在微博和推特两个数据集上,与基准工作对比,所提出的方法在MAP、NDCG等评价指标上均有显著的提升。     

一种基于词向量的模糊查询扩展方法

在中文文本信息中,同一个语义往往有多种不同的表达方法,不同的个体对同一个词语理解也会有一定的偏差,这将导致在信息检索时,出现查询项与检索数据"词不匹配"的问题.虽然,模糊检索是改善这一问题的有效方法之一,但仅仅利用已知信息进行模糊检索,已不能满足充斥着大规模无标定文本信息的网络时代的检索需要.提出一个基于词向量的模糊检索查询扩展方法,通过词向量计算查询项的相似词,进而进行查询项扩展.相比与传统的模糊检索方法,在同一测试集中,基于词向量的模糊查询扩展方法测评出的查全率、查准率以及两者的调和平均数均得到了有效提升.     

一种社交网络环境下并行短文本查询算法

随着移动社交网络的迅速发展,如何从海量带有时间属性和地理位置属性的短文本信息中快速查询到有效信息具有重要意义.社交网络环境下传统短文本查询算法忽略时间维度,并且在海量数据下无法满足用户快速响应的需求.针对以上问题,提出一种社交网络环境下并行短文本查询算法.提出的算法设计了基于MapReduce模型下的查询框架,该框架使用了基于滑动窗口下的多版本时空索引(MVSTR-tree),保证了查询过程中融合了时间和空间属性,实现了对海量数据高效查询的目标.最后,通过真实数据集的实验证明该算法能有效缩短查询时间.     

浅析文本检索关键技术

文本检索技术是重要的现代信息检索技术之一。以文本信息检索过程的文本处理、搜索模型、查询处理和用户界面4个主要环节为基础,简单归纳、分析了文本检索各技术环节的具体内容及其特点。     

基于一种文档表示模型的站内搜索引擎设计与实现

根据全信息理论,认识论信息是语法信息、语义信息和语用信息的三位一体．在信息检索的过程中加入语用信息能有效的提高信息检索的质量．基于查询与内容的文档表示模型较好的利用了语用信息,对站内搜索引擎的查准率的提高有着很好作用;Lucene是一个用java语言开发的开源的全文搜索引擎架构．本文利用Lucene设计和实现一个基于查询与内容的文档表示模型的站内搜索引擎,实验结果表明该模型能有效的提高信息检索的查准率．     

一种基于语义Web的信息检索模型研究

提出一种基于语义Web的信息检索模型,它能够实现准确高效的网络信息检索,克服传统信息检索的局限。介绍了语义Web、本体以及Lucene全文检索技术,详细阐述该模型的六大模块,其中在本体基础之上充分利用Jena查询和推理技术进行查询扩展,以及Lucene技术来建立索引和检索,改进排序算法使得返回结果更加满足用户需求。     

基于语义Web的多功能情报信息自适应检索技术

为了解决传统依据关键字、概念和属性值等检索技术没有考虑不同主体中情报信息间的语义关系,无法提供令用户满意的情报检索结果问题,通过语义Web方法研究了多功能情报信息自适应检索技术。设计基于语义Web的多功能情报信息自适应检索模型,检索模型包括人机交互层、知识处理层以及知识存储层。在知识存储层建立本体语义模型。在知识处理层,从检索的多功能情报信息关键词中推断和其语义有关的概念,依据概念有关词汇对原始查询进行扩展,对语义相似度进行计算。在人机交互层,将用户反馈情况看作判断检索结果优劣的衡量因素,依据相似关键词获取相似结果集,按照反馈因子完成对所有相似结果的排序,把排序结果发送给用户,实现多功能情报信息自适应检索。结果表明,所提方法能够同时保证召回率与精度;排序误差率低;检索结果和用户查询结果最相符,检索结果准确,可令用户满意。可见所提方法检索性能强。     

基于门户网站的全文信息检索系统研究

分析了门户网站全文信息检索系统的功能,对该系统的结构（包括数据采集引擎、索引数据库、索引引擎、文本分析引擎、数据查询引擎）进行了研究,重点讨论了数据采集引擎中的数据库采集器和HTML采集器.统一整合频道后建立的全文信息检索系统,能够提供高效、便捷的信息检索服务,提高用户对网站内容的搜索效率.     

一种改进的Lucene语义相似度检索算法

 Lucene的基础上,结合检索词项的语义信息,利用外部词典Wordnet分析检索词项与被检索文档中词项的语义相似度,在此基础上实现对文档语义信息的检索。通过分析现有的相似度量函数的核心特征,选择合适的语义相似度量方法,提出了一种新的词项语义相似度检索函数,该函数能够对检索文档按照语义相似度进行排序。实验结果表明,所提出的方法能够有效地提升文献检索的准确度。     

数据库模糊查询结果自动排序方法

数据库模糊查询会产生多个查询结果,因此有必要将查询结果按照用户需求进行排序.首先根据元组对模糊查询的隶属度,将查询结果中具有不同隶属度的元组分开.然后,利用PIR改进模型和历史查询记录来分析元组中被查询指定的属性值与未指定的属性值之间的关联程度,从而获得用户偏好并以此对具有相同隶属度的元组进行排序.在此基础上,提出了模糊查询下的DPR自动排序方法.实验及分析证明,提出的模糊查询结果自动排序方法能够极大地提高排序质量.     

图书馆书目查询系统模糊检索接口的设计与实现

分析了基于RDBMS开发的图书馆书目查询系统的不足及其原因,提出一种利用全文检索技术与代理技术来完善该书目查询系统检索功能不足的方法,并介绍了用该方法的详细设计与实现过程.同时对该方法的性能进行了对比与分析.该方法可用于解决图书馆书目模糊查询,以及旅游地址模糊查询、网上书城模糊检索等一类问题.图1,表2,参7.