基于特定领域的加权语义相似度算法研究

信息检索模块是自动问答系统中的主要组成部分.实现问题检索的关键问题是句子相似度计算问题.提出的基于特定领域的加权语义相似度算法,首先计算FAQ库中某问句关键词的权重,再利用语义相似度方法,分别计算目标问句各分词与FAQ库问句关键词的相似度矩阵,最后求得2个句子的最终相似度.逐一计算和比较目标问句与FAQ中每个问句的相似度,在大于一定阈值时,最大相似度所对应问句答案输出给用户.由于考虑词语语义和权重2方面信息,实验表明其具有较好的匹配效果.     

基于语义的信息检索的查询扩展模型

针对目前信息检索存在的不足,把概念图和知网结合起来进行相似度的计算并进行信息检索的查询扩展,提出基于语义的信息检索模型的查询扩展方法,通过把自然语言形式化,以概念图的形式实现语义检索,充分提高查全率和查准率．     

多特征融合的中文问答系统答案抽取算法

随着互联网的迅速发展和Web2.0概念的提出,问答系统以直接返回给用户精确的答案而逐渐成为一种新的信息检索技术.由于问句都是自然语言的形式,涉及到对问句的语义理解及相似度的判断.本文提出了一种基于问句的表层和语义相似度计算方法,通过聚类去除冗余信息,再通过熵的特征计算权值,最后融合多种特征计算问句相似度,进行答案抽取....     

基于本体的图书检索系统的研究

针对传统图书检索系统只是基于关键字的检索,无法进行语义扩展,存在查全率和查准率不高的问题,将具有良好概念层次结构和对逻辑推理支持的本体引入到图书检索中,并设计了语义扩展算法和相似度算法,实现语义分析、语义扩展和相似度计算等功能,建立基于本体的图书信息检索的系统模型．结果表明,该系统能够在一定程度上增强检索系统的语义处理能力,改善传统检索系统的漏检、无效检索和检索结果过于无序和冗杂的缺点,使检索效率得到了改善．     

基于向量空间模型的路径相似度蚁群算法研究

针对如何根据用户的检索状况来提高信息检索的反应速度及查询的准确性的问题,利用向量空间模型信息检索与路径相似度蚁群算法中利用同一方式——相似度来决定下一步方向的共同特点,提出将一种基于路径相似度的蚁群算法应用于信息检索的方法。采用这种算法在性能和收敛性速度上优于常规算法。     

基于情感依存元组的新闻文本主题情感分析

以情感依存元组(EDT)作为中文情感表达的基本结构,把新闻文本主题情感倾向性判别任务分成主题识别、情感倾向性分析和主客观分类三个逐层递进的子任务。在主题识别前先对TF-IDF方法进行改进,再结合基于交叉熵方法提取主题特征词,同时考虑了新闻文章标题的主题表征作用,将标题词纳入主题特征集;然后基于空间向量模型计算句子与主题特征向量的相似度,在此基础上考虑句子位置、长度及句子与标题的相似度,计算句子的主题相关度以抽取主题句;最后建立情感依存元组判别模型计算主题句的情感,采用主、客观分类规则筛选出新闻倾向关键句。本方法在COAE 2014评测中各项指标皆逼近最好成绩,表明基于情感依存元组的分类方法具有较高的分类性能。     

基于贝叶斯网络的集中化IT运维信息检索算法

为适应集中化IT系统运维管理形式,提高用户检索正确率,增强用户服务质量,提出了基于贝叶斯网络的集中化IT运维信息检索算法.从运维战略、模式、流程等方面分析IT运维体系架构,明确用户提交检索申请到结果反馈的整体流程;对文本信息做预处理,实现用户浏览内容结构化显示,计算用户特征矢量;利用有向图表示贝叶斯网络拓扑结构,通过获取术语节点与文件节点的先验概率,推理文件与检索之间的概率关系,过滤冗余信息;建立样本空间,将信息检索问题变换为在样本空间中的概念匹配问题,获取文件和检索的关联函数表达式,并对其做简化处理,完成运维信息检索模型构建.仿真实验表明,该方法可提高信息检索的查全率与查准率,减少网络负载.     

基于词语情感倾向的问句相似度计算

问句相似度计算是FAQ问答系统的核心问题,直接关系到FAQ问答系统的准确率。对义或反义的词语有着很高的词语相似度值,如果直接用于问句相似度计算中,有可能导致相反的两个问句有着很高的相似度,因此,本文提出了一种基于词语情感的问句相似度计算方法,采用了负加权法降低相反的问句成为相似的问句的可能,实验结果验证了该方法有助于提高问句相似度计算的准确度。     

一种基于二进制语义特征向量的协同过滤方法

提出了一种图像检索新方法,通过用高层语义描述图像,用二进制特征向量判断语义特征是否存在,由向量计算若干图像相似的可能性(即概率),再根据概率值判断图像的相似度值.通过收集每一次检索时用户的反馈信息,采用协同过滤技术挖掘以往用户的反馈信息,同时给数据库中每幅图像分配一个领域,若检索中图像代码相同则提高它们的相似度.通过比较查全率和查准率,证明该方法优于传统的基于内容的图像检索方法.     

基于句法特征的冗长查询处理技术

将传统的“词袋”思想进行扩展, 把文档看成由句子组成的“句袋”, 通过依存句法分析得到“句袋”与查询中词间的依存关系。利用两者依存关系的匹配程度, 计算冗长查询和初次检索返回文档之间的相似度, 对初始检索结果进行重排序。通过在TREC标准数据集上的实验, 证明该方法能够较有效地解决查询的冗长导致偏离查询主题和低召回率情况下相关文档排序靠后的问题。特别是对于低召回率的情况, 检索结果的MAP值和P@N都有显著提高。     

基于平滑逆频率和依存句法的句子相似度计算方法

综合考虑关键词、词向量及句法结构对句子相似度计算的影响,将平滑逆频率(smooth inverse frequency,SIF)与依存句法相结合以提高句子相似度计算的精准性。SIF的核心思想为利用加权和去除非信息噪音得到的句向量来计算句子相似度。借助哈尔滨工业大学的语言技术平台,将句子的结构信息添加到句子相似度计算中,通过句子中"词语依存关系"三元组的相似性来度量句子间的相似度。实验结果表明,基于SIF和依存句法的句子相似度计算方法所得的反映准确率和召回率平衡度的指标为84. 4%,与同类的句子相似度计算方法相比,能更为有效衡量句子间的相似程度。     

基于细粒度依存关系的中文长句相似度计算

长句是中文书面语的常见现象,其由于结构复杂在计算句子相似度时难度较大。综合考虑依存关系中的关键元素,对中文依存句法树进行研究和分析,提出了一种细粒度依存关系的相似度计算方法。通过研究依存句法树中的各节点的词语、词性以及它们之间的依赖关系及其重要性权重等多个特征量,给出了两个依存句法树的相似度计算方法;基于该算法实现中文长句的相似度计算。实验结果表明该方法用于计算中文长句相比较其他算法有更高的准确率。     

Automatic Question Answering from Web Documents

A passage retrieval strategy for web-based question answering （QA） systems is proposed in our QA system. It firstly analyzes the question based on semantic patterns to obtain its syntactic and semantic information and then form initial queries. The queries are used to retrieve documents from the World Wide Web （WWW） using the Google search engine. The queries are then rewritten to form queries for passage retrieval in order to improve the precision. The relations between keywords in the question are employed in our query rewrite method. The experimental result on the question set of the TREC-2003 passage task shows that our system performs well for factoid questions.     

基于句法依存卷积神经网络的句子相似度计算

句子相似度计算是自然语言处理的一项基础任务,其准确性直接影响机器翻译、问题回答等下游任务的性能。传统机器学习方法主要依靠词形、词序及结构等浅层特征计算句子相似度,而深度学习方法能够融入深层语义特征,从而取得了更好效果。深度学习方法如卷积神经网络在提取文本特征时存在提取句子语义特征较浅、长距离依赖信息不足的缺点。因此设计了DCNN （dependency convolutional neural network）模型,该模型利用词语之间的依存关系来解决该不足。DCNN模型首先通过依存句法分析得到句子中词语之间的依存关系,而后根据与当前词存在一跳或者两跳关系的词语形成二元和三元的词语组合,再将这两部分信息作为原句信息的补充,输入到卷积神经网络中,以此来获取词语之间长距离依赖信息。实验结果表明,加入依存句法信息得到的长距离依赖能有效提升模型性能。在MSRP （microsoft research paraphrase corpus）数据集上,模型准确度和F1值分别为80.33%和85.91,在SICK （sentences involving compositional knowledge）数据集上模型的皮尔森相关系数能达到87.5,在MSRvid （microsoft video paraphrase corpus）数据集上模型的皮尔森相关系数能达到92.2。     

基于网页分割的语义信息检索研究

如何准确表达用户意图,判断网页与用户需求的相关性是信息检索技术研究的重要方向。本文提出了一种基于网页内容分割的语义信息检索算法。该算法根据网页半结构化的特点,按照HTML标记和网页的内容将网页进行区域分割。在建立HTML标记树的基础上,利用内容相似性和视觉相似性进行节点的整合。根据用户的查询,充分利用区域信息来对相关的检索结果进行排序。实验表明,本文提出的方法可以显著地提高搜索引擎的查询效果。     

采用向量空间模型的个性化信息检索方法

为了提升检索结果与用户个性化需求的符合程度,依托向量空间模型提出一种新的检索方法.将用户查询关键词和语料库内的文本信息都映射为向量,从而把检索过程转化为向量相似性的比对.在比对过程中,通过关键词权重突出用户个性化需求,通过余弦相似度判断符合程度.实验结果表明:文中方法的检索结果与用户需求的符合程度明显提高.     

基于文档关系改进的向量空间模型

由于用户查询信息不足而导致传统向量空间模型检索结果不够准确,针对此问题,提出了一种基于文档关系改进的向量空间模型.改进模型将初始检索结果中排名靠前的高相关文档组成基准集,通过计算初始检索结果集中每篇文档与基准集的相似度,来修正原模型中文档与查询的相似度,实现对检索结果的重排序,从而实现对向量空间模型的改进.实验结果表明:与传统向量空间模型相比,改进模型使得相关文档排名更合理,在保证召回率的条件下提高了准确率.     

基于句型系统的中文问题理解研究

提出了一种基于向量空间模型的句型识别方法,该方法通过基于句型模式的问句句法树规约,得到句子关于句型模式的句型结构,再计算句型结构与句型模式之间的相似度来实现问句的句型识别.并在汉语疑问句句型系统的基础上,通过句型识别实现了对问题的分类和问题理解.测试结果表明,该方法提高了问题理解的准确度.     

基于语义Web的多功能情报信息自适应检索技术

为了解决传统依据关键字、概念和属性值等检索技术没有考虑不同主体中情报信息间的语义关系,无法提供令用户满意的情报检索结果问题,通过语义Web方法研究了多功能情报信息自适应检索技术。设计基于语义Web的多功能情报信息自适应检索模型,检索模型包括人机交互层、知识处理层以及知识存储层。在知识存储层建立本体语义模型。在知识处理层,从检索的多功能情报信息关键词中推断和其语义有关的概念,依据概念有关词汇对原始查询进行扩展,对语义相似度进行计算。在人机交互层,将用户反馈情况看作判断检索结果优劣的衡量因素,依据相似关键词获取相似结果集,按照反馈因子完成对所有相似结果的排序,把排序结果发送给用户,实现多功能情报信息自适应检索。结果表明,所提方法能够同时保证召回率与精度;排序误差率低;检索结果和用户查询结果最相符,检索结果准确,可令用户满意。可见所提方法检索性能强。     

面向自动问答系统的问句相似度计算研究

结构化自动问答系统采用传统方法缺少对词汇、词序和结构的划分,导致语句相似度较低,为了解决该问题,提出了基于Web语义的混合问句相似度计算方法。根据结构化自动问答系统结构,设计系统语句分析模型,通过正向匹配方法,对模型专业词库中的用户输入自然语句进行分词处理,并对字符串之间的关系展开分析。采用非恒定相似度系数来描述2个字符串的相似情况,并由此分析词形、词序和结构相似度,完成不同语句相似度的计算。通过实验对比可知,文章提出的基于Web语义的混合问句相似度计算方法最高计算精准度可达到96%,可提升自动问答系统的整体性能。