基于句法特征的冗长查询处理技术

将传统的"词袋"思想进行扩展,把文档看成由句子组成的"句袋",通过依存句法分析得到"句袋"与查询中词间的依存关系。利用两者依存关系的匹配程度,计算冗长查询和初次检索返回文档之间的相似度,对初始检索结果进行重排序。通过在TREC标准数据集上的实验,证明该方法能够较有效地解决查询的冗长导致偏离查询主题和低召回率情况下相关文档排序靠后的问题。特别是对于低召回率的情况,检索结果的MAP值和P@N都有显著提高。     

基于自动查询扩展的专利文档检索方法

针对现有专利检索中的用户意图理解及查询扩展不足问题,提出了一种基于自动查询扩展的专利文档检索方法。首先结合专利文档特点,采用基于改进TF-IDF公式的专利领域词表提取方法,构建专利领域词表。在检索阶段,对查询输入串进行分析得到查询关键词汇,同领域词表相结合,确定查询所在领域及查询扩展难度。利用基于伪相关反馈的自动查询扩展技术,根据伪相关文档的术语分布差异分析,生成查询扩展项并排序,最后将扩展项与原始查询条件相结合,重新组成查询条件,完成专利查询。实验结果表明,该方法具有较高的召回率和平均准确率。     

基于词映射构建伪查询改善低资源跨语言信息检索研究

拟基于词映射实现跨语言沟通,缓解缺乏查询-文档语料及语言差异给检索带来的影响,提出一种基于双语交互注意力机制的伪查询句融合方法,通过词映射构造伪查询句,并基于双语交互注意力机制获取跨语言特征表示来实现跨语言信息检索(Cross-language information retrieval,CLIR)。主要包括以下三个部分:首先基于词映射分别构造伪查询句;其次,基于共享Transformer获取查询、伪查询及文档的上下文表示,同时借助查询与伪查询之间的双语交互注意力机制获得查询的跨语言特征表示;最后利用双语交互排序获得查询和文档的匹配分数实现跨语言信息检索。基于英菲、英斯两种低资源CLIR公共数据集和本文构建的汉越数据集的实验结果表明,本文方法相比跨语言检索基线方法,MAP指标分别提升了1.5%和5.4%。     

基于文档关系改进的向量空间模型

由于用户查询信息不足而导致传统向量空间模型检索结果不够准确,针对此问题,提出了一种基于文档关系改进的向量空间模型.改进模型将初始检索结果中排名靠前的高相关文档组成基准集,通过计算初始检索结果集中每篇文档与基准集的相似度,来修正原模型中文档与查询的相似度,实现对检索结果的重排序,从而实现对向量空间模型的改进.实验结果表明:与传统向量空间模型相比,改进模型使得相关文档排名更合理,在保证召回率的条件下提高了准确率.     

基于Markov网络的检索模型

基于Markov网络的信息检索模型提出一种贝叶斯网络推广的检索模型，该模型利用词项在文档集中的共现信息来构造Markov网络，通过该索引项子Markov网络来加载附加查询证据源，计算文档与查询之间的相关性概率，由此概率进行文档排序. 实验结果表明,本文提出的Markov网络模型比其他传统的检索方法具有更优的检索性能.     

一种基于约束的半监督聚类查询扩展方法

针对伪相关反馈模型反馈文档信息质量差和扩展词选择不适产生的漂移现象等问题,提出了一种基于约束的半监督聚类查询扩展方法。该方法对初检结果的前k个文档进行人工标注,分成相关文档与不相关文档两类;并利用一种半监督聚类算法对初检结果的前”个文档进行分析,提取出与查询相关的文档作为反馈文档。该方法通过对少量标注文档与查询相关性的学习,能够较准确地估计出大量未知文档与查询的相关性,提高反馈文档的质量,从而有效提高检索的查全率和查准率。实验结果表明,该方法比传统的伪相关反馈和基于无监督聚类的伪相关反馈有更优的检索性能。     

基于搜索日志与局部上下文的查询扩展方法

当搜索日志存在查询词稀疏性和时效性问题时,基于搜索日志的查询扩展方法无法保证查询扩展的质量,无法满足具有时效性查询请求的需求.提出了基于搜索日志与局部上下文的查询扩展方法,通过发掘搜索日志中用户查询词和相关文档的关联关系,抽取查询扩展词,并用局部上下文从相关文档集中提取出频率较大,同时具有时效性的查询扩展词.通过对查询扩展词的查询性能和时效性的计算,该方法为原始查询补充更高质量的查询扩展词.实验结果表明,该方法能够有效地提升准确率和召回率,使原始查询获得更好的查询性能.     

面向证券领域的本体建模及资源检索框架

为了提高专业领域内信息检索的查准率，使检索结果在语义层面能够重新进行排序以去除非相关条目，利用语义Web中的本体技术和本体标准描述语言OWL建立了证券领域本体，并且基于证券领域本体提出了面向专业领域的信息资源检索系统IRS—SA，该系统有助于机构或者个人投资者获得及时有效的证券信息．系统接受输入检索关键词从而利用查询转化器自动构造或扩展用户查询，将自然语言查询转化为系统内部的格式后，使检索获得的结果按照本体中定义的概念及关系进行语义再排序，并将最后所得结果返回给用户，提高了文档语义相关性程度．     

融合语义特征与偏序关系的生物医学文档检索

近年来，基于深层语义信息表征的pointwise重排序策略存在忽略被检索文档之间的偏序关系的问题，并且，患者病例查询的内容表征也需要满足生物医学领域的特定需求。针对以上问题，本文提出了一种基于生物医学预训练语言模型（BioBERT）的偏序文档检索方法，该方法基于BM25召回文档，对待排序文档依次使用pointwise与pairwise提取特征，其中，pointwise方法能够获取待排序文档的全局位置特征，而引入查询特征的pairwise方法可以学习待排序文档之间的相对偏序关系。在TREC 2019 Precision Medicine Track数据集上的实验表明，该方法在p@10指标中，相比于最优的基准方法提升了3.3%。     

基于语义Web的多功能情报信息自适应检索技术

为了解决传统依据关键字、概念和属性值等检索技术没有考虑不同主体中情报信息间的语义关系,无法提供令用户满意的情报检索结果问题,通过语义Web方法研究了多功能情报信息自适应检索技术。设计基于语义Web的多功能情报信息自适应检索模型,检索模型包括人机交互层、知识处理层以及知识存储层。在知识存储层建立本体语义模型。在知识处理层,从检索的多功能情报信息关键词中推断和其语义有关的概念,依据概念有关词汇对原始查询进行扩展,对语义相似度进行计算。在人机交互层,将用户反馈情况看作判断检索结果优劣的衡量因素,依据相似关键词获取相似结果集,按照反馈因子完成对所有相似结果的排序,把排序结果发送给用户,实现多功能情报信息自适应检索。结果表明,所提方法能够同时保证召回率与精度;排序误差率低;检索结果和用户查询结果最相符,检索结果准确,可令用户满意。可见所提方法检索性能强。     

基于SVM的以词性和依存关系为特征的句子倾向性判断分析

将句法平面词的词性特征、依存关系、依存关系中的词性特征、邻接依存关系、邻接依存关系中的词性特征与倾向性词汇和倾向性搭配作为支持向量机（SVM）分类器的特征集,以句子为单位对多个领域的文本进行倾向性判断．通过交叉验证的方式,估计出分类器的精度为95．6％．据此提出句子倾向性分析可不以句子倾向性判断为前提．     

依存语法概述

依存语法是一种诞生于1959年的基于词间关系的形式语法,它强调以动词为句子中心,其他词汇依存于动词。依存语法具有形式简单、更适合于处理自由语序的语言、与语义关系接近等优势,使得其在处理汉语句子时具有优势。     

基于细粒度依存关系的中文长句相似度计算

长句是中文书面语的常见现象,其由于结构复杂在计算句子相似度时难度较大。综合考虑依存关系中的关键元素,对中文依存句法树进行研究和分析,提出了一种细粒度依存关系的相似度计算方法。通过研究依存句法树中的各节点的词语、词性以及它们之间的依赖关系及其重要性权重等多个特征量,给出了两个依存句法树的相似度计算方法;基于该算法实现中文长句的相似度计算。实验结果表明该方法用于计算中文长句相比较其他算法有更高的准确率。     

中文微博观点句识别及评价对象抽取方法

根据微博文本中句子的依存关系和情感词在依存关系中的位置来提取特征,将特征应用于最大熵模型来预测句子的情感倾向(褒义、贬义或中性)。并在此基础上,将词、词性和词在句法结构中的成分作为特征,训练条件随机场统计模型以此预测评价对象。实验结果表明,将句法依存关系作为特征应用到中文微博观点句识别中能够取得不错的效果,明显提高了中文微博观点句的识别率。     

基于改进的TF-IDF与隐朴素贝叶斯的情感分类研究

为了提高情感分类准确率,提出了一种基于改进的TF-IDF与隐朴素贝叶斯的情感分类研究。通过改进的TF-IDF算法提取文本特征词,并根据属性之间的依赖关系添加隐藏的父节点,增强了属性之间的依赖关系,提高了情感分类的准确性。实验结果表明,在平均宏查准率、宏查全率和宏F1值在改进之后的算法分别提高了5%、8%和6%。     

基于词性标注规则的马铃薯文献信息抽取方法

马铃薯育种领域积累有大量尚未结构化处理的育种文献文本,人工整理文献内的种质资源数据费时费力。为了快速、准确地从育种文献中提取种植资源数据,使用基于词性标注规则和预设词的方法抽取文献数据。文献格式为PDF文档,对于不能直接获取文档文本的情况,使用游程平滑算法和光学字符识别（Optical Character Recognition, OCR）获取文本内容。采用用户可灵活建立的关键词库保存抽取项,通过正则表达式获取关键词所在语句,并利用自然语言处理工具对语句进行分词与词性标注,根据规则抽取目标词,同时采用基于关键词与预设词距离的信息抽取方法,实现将育种文献从自由文本转化为结构化数据。对115篇文献的1490个抽取项进行信息抽取,实验表明,该方法的准确率为82.97%,召回率为99.72%,F值为90.58%,能以较高的准确率和召回率对马铃薯育种文献种质资源进行抽取,可为构建马铃薯遗传育种数据库提供数据基础。     

基于拼音图的两阶段关键词检索系统

针对当前关键词检索系统中单阶段系统检索速度慢,基于大词汇量连续语音识别(LVCSR)的两阶段系统又不够稳健的现状,提出一种新的基于拼音图的两阶段检索系统以满足快速、稳健检索的需要。两阶段分为预处理阶段和检索阶段。预处理阶段将语音数据识别成具有高覆盖率的拼音图。检索阶段响应用户的频繁查询,在拼音图中查找出与关键词拼音匹配的拼音串,并采用基于N元拼音文法的前后向算法计算置信度以实现对检索结果的筛选。实验表明:系统的二字词召回率及正确率可达72.19%和72.68%,三字词召回率及正确率可达73.51%和82.98%,均优于LVCSR系统,且检索阶段仅需0.01倍实时,具有良好的实用价值。     

基于神经网络的中文姓名抽取技术

设计了一个中文姓名抽取系统, 该系统采用神经网络进行汉语句子的分词处理, 根据姓名后置特征词进行姓名的抽取, 成功解决了尾字和下文成词的姓名抽取问题. 以1998年1月份《人民日报》语料库中含有此类姓名的语句作为测试数据,结果表明, 姓名抽取的召回率和精确度较现有方法都有很大提高.     

《战国策》中委婉语的语言透视

委婉语就是表达同一内容或同一意思的相对委婉的说法,这种说法没有固定的格式或标志,它可以由一个词或短语构成,也可以由一个句子构成,甚至可以由一个段落构成。根据构成委婉语的语言片段的长短,《战国策》中的委婉语的范围大致可分成三个等级：即词语委婉、句子的委婉和段的委婉。     

结合语义的位置语言模型

针对位置语言模型没有考虑词与词之间语义关系的问题, 提出一种结合语义的位置语言模型。首先采用高斯核函数来度量词与词之间的位置关系; 然后提出一种平滑互信息的技术来度量词与词之间的语义关系, 证明了平滑互信息能够有效解决大量词对之间无法通过互信息来计算转移概率的问题; 还证明了位置语言模型是结合语义位置语言模型的一个特例; 最后将结合语义的位置语言模型应用于信息检索, 得到一个基于该模型的检索模型。实验结果表明, 基于该模型的检索模型在性能方面要优于基于位置语言模型的检索模型。