基于低维语义向量模型的语义相似度度量

语义相似性度量能够提高信息检索的准确性和效率,已成为文本处理中的一个核心任务.为解决一词多义等词汇歧义问题,提出一种基于低维向量组合的语义向量模型.该模型引入了知识库与语料库的多语义特征的融合,主要的语义融合对象包括连续的分布式词向量和从WordNet结构中的语义特征信息.首先利用深度学习技术中的神经网络语言模型,预先从文本语料中学习得到连续的低维词向量;然后从知识库WordNet中抽取多种语义信息和关系信息;再将多语义信息融入词向量进行知识扩展和强化,生成语义向量,从而实现基于向量空间的语义相似性度量方法.在基准测试集上的实验结果表明,该方法优于基于单一信息源(知识库WordNet或文本语料)的语义相似性度量方法,其皮尔森相关系数比基于原始词嵌套向量的方法提高了7.5%,说明在向量特征层面上的多语义信息的融合有助于度量词汇间的语义相似性.     

基于向量空间模型的中文问答系统研究与实现

基于传统向量空间模型的问答系统在向量维数较大时所需的时间开销较大。为了尽可能地减少所需时间,利用数据库SQL语句及视图来统计词在句子中出现的频率和词对句子的分辨能力。实验结果表明,随着向量维数的增大,该方法在时间开销上优于传统的处理方法。     

用不同语义单元度量的句子相似度计算

提出了一种基于不同语义单元度量的句子相似度计算方法.将句子按词块分割为对应的公共词块和非公共词块,利用外部语义资源进行同义词替换和语义消歧处理.分别用词、词块和字为语义单元度量句子相似度,以不同的权重调节各语义单元对句子相似度的贡献.实验结果表明,该方法综合考虑的因素更加全面,有较高的准确率.     

用不同语义单元度量的句子相似度计算

提出了一种基于不同语义单元度量的句子相似度计算方法.将句子按词块分割为对应的公共词块和非公共词块,利用外部语义资源进行同义词替换和语义消歧处理.分别用词、词块和字为语义单元度量句子相似度,以不同的权重调节各语义单元对句子相似度的贡献.实验结果表明,该方法综合考虑的因素更加全面,有较高的准确率.     

基于平滑逆频率和依存句法的句子相似度计算方法

综合考虑关键词、词向量及句法结构对句子相似度计算的影响,将平滑逆频率(smooth inverse frequency,SIF)与依存句法相结合以提高句子相似度计算的精准性。SIF的核心思想为利用加权和去除非信息噪音得到的句向量来计算句子相似度。借助哈尔滨工业大学的语言技术平台,将句子的结构信息添加到句子相似度计算中,通过句子中"词语依存关系"三元组的相似性来度量句子间的相似度。实验结果表明,基于SIF和依存句法的句子相似度计算方法所得的反映准确率和召回率平衡度的指标为84. 4%,与同类的句子相似度计算方法相比,能更为有效衡量句子间的相似程度。     

基于语义空间的抽取式单文档摘要方法

目前的抽取式单文档摘要方法未考虑原文中句子和原文语义信息相关度,针对该问题,提出一种基于语义空间的抽取式单文档摘要方法.首先,利用Word2Vec训练词向量以获取语义空间,并基于该语义空间表示句子和原文;然后,基于余弦相似度计算句子与原文相似度值,并使用TextRank和词频-逆文本频率指数(TF-IDF)模型计算原文中句子的权重;最后,将相似度值与权重相结合得到句子的最终权重值.实验结果表明,该模型摘要质量优于基于深度学习的基线系统.     

基于文本蕴含的选择类问题解答技术研究

利用选择类问题具有明确候选项的特点, 简化问题分类过程, 并针对长文本语义蕴含短文本语义的语言现象, 提出一种根据文本蕴含强度大小对候选答案进行排序的方法。在没有大规模问答对的情况下, 采用维基百科中文语料库, 以全国各省市高考地理选择题作为实验数据, 通过句子相似度和文本蕴含两种方法来解答地理选择题。实验表明, 基于文本蕴含方法的准确率为36.93%, 比基于词嵌入的句子相似度方法提高2.44%, 比基于向量空间模型的句子相似度方法提高7.66%, 验证了该文本蕴含强度计算方法的有效性。     

一种新的基于距离度量的近似推理方法

对常用的近似推理方法如合成推理方法（CRI）和基于相似度量的近拟推量方法（AARS）进行了研究,指出了它们存在的缺陷;在此基础上,提出了基于距离度量的近似推理方法,该方法较好地解决了CRI和AARS方法的中的问题。     

一种新的词语相似度计算方法

提出了一种新的词语相似度计算方法.该方法利用词语关联分布规范化因子,对互信息中目标词和基词的关联度度量方法进行了修正,通过计算目标词和基词的关联度,构造目标词的属性向量,由目标词的属性向量,利用夹角余弦法计算出目标词语相似度.实验结果验证了该方法的有效性.     

社会化标签语义相似度的协同过滤算法

为解决传统的协同过滤算法不能准确理解用户的喜好,影响推荐准确率和推荐效果,提出基于社会化标签语义相似度的协同过滤算法.算法以标签语义相似度为基础,将项目资源和相关标签的语义信息纳入,显著提高了推荐系统的预测性能.研究结果表明:与以具体评分数据为基础的算法相比,该算法较好地解决了词相似度和句子相似度计算问题,推荐准确度和性能较以往的协同过滤算法有明显提高,改善了推荐效果.     

基于增强字向量的微博观点句情感极性分类方法

针对微博观点句识别及情感极性分类任务,提出了基于增强字向量的微博观点句情感极性分类方法.使用单字作为句子表示的基本单元,同时在单字中嵌入了该字所在的词信息以及该词的词性信息,以此训练得到字向量替代传统的词向量融合的句子表示方法.使用基于K-means的方法对向量化的句子进行情感判别,仅需要对文本进行分词和词性标注,无需额外的语言学资源.在COAE2015任务2的微博句子数据集上进行测试,取得了较好的结果.     

文本案例相似度计算方法

目的针对常用的向量空间模型忽视了文本中的词序和结构信息,影响文本相似度计算的准确度的缺点,提出新的文本案例相似度计算方法。方法将文本表示粒度由词提高到句子,加入词序信息。结果提出了句子向量空间模型及基于该模型的文本案例相似度计算方法。结论这种方法更符合人类理解的模式,提高了文本案例相似度计算的准确度。     

基于BERT-BiGRU-Attention的在线健康社区用户意图识别方法

针对传统用户意图识别主要使用基于模板匹配或人工特征集合方法导致成本高、扩展性低的问题,提出了一种基于BERT词向量和BiGRU-Attention的混合神经网络意图识别模型。首先使用BERT预训练的词向量作为输入,通过BiGRU对问句进行特征提取,再引入Attention机制提取对句子含义有重要影响力的词的信息以及分配相应的权重,获得融合了词级权重的句子向量,并输入到softmax分类器,实现意图分类。爬取语料实验结果表明,BERT-BiGRU-Attention方法性能均优于传统的模板匹配、SVM和目前效果较好的CNN-LSTM深度学习组合模型。提出的新方法能有效提升意图识别模型的性能,提高在线健康信息服务质量、为在线健康社区问答系统提供技术支撑。     

基于POS-CBOW语言模型的相似词分析

相似词分析是自然语言处理领域的研究热点之一,在文本分类、机器翻译和信息推荐等领域中具有重要的研究价值和应用意义。针对新浪微博短文本的特点,给出一种带词性的连续词袋模型(POS-CBOW)。该模型在连续词袋模型的基础上加入过滤层和词性标注层,对空间词向量进行优化和词性标注,通过空间词向量的余弦相似度和词性相似度来判别词向量的相似性,并利用统计分析模型筛选出最优相似词集合。实验表明,基于POS-CBOW语言模型的相似词分析算法优于传统CBOW语言模型。     

一种改进的基于用户项目喜好的相似度度量方法

针对传统的基于用户共同评分的相似度度量方法不能很准确地衡量用户间的相似性问题,提出了一种基于用户项目喜好的相似度度量方法.实验结果分析表明:使用新度量方法的协同过滤算法较使用传统度量方法的协同过滤算法有更小的平均绝对误差,证明了新的度量方法可以提高推荐的质量.     

语义相似计算驱动领域自动问答

研究实体相似性的认知心理特征和受限领域自动问答(QA)系统的形式特点.基于结构对齐和几何相似模型,把词语概念描述分解为属性部分和语义角色部分,各部分结构分别对齐后,计算对齐义原的关系距离,加权组合计算词语的相似度.该方法也适用于解析成语义向量表示的疑问句的相似度计算.融合通用本体、领域本体和领域知识文本,构造了支持语义计算求解某一银行QA问题的知识库.实验表明,该方法可以提高领域QA系统的用户满意度.     

基于自动编码器的句子语义特征提取及相似度计算

句子特征提取与相似度计算是自然语言处理中的重要问题.目前汉语句子相似度计算方法不能全面考虑句子语义,因而导致相似度计算结果不够准确.提出了基于深层稀疏自动编码器的句子语义特征提取及相似度计算算法.首先将句子表示为高维、稀疏向量,进一步利用深度无监督学习句子非线性特征,即将高维、稀疏向量变换到低维、本质特征空间,此过程是一种更为纯粹的端到端的学习,避免了建立停用词表、分词等工作,最终得到可直接用于句子相似度计算的低维特征表示.实验结果表明,提取到的句子特征应用于句子相似度计算,与基于关系向量模型的句子相似度计算方法相比,提高了相似度计算准确率,计算的时间复杂度仅为O(n).     

一种新的词语相似度计算方法

提出了一种新的词语相似度计算方法。该方法利用词语关联分布规范化因子,对互信息中目标词和基词的关联度度量方法进行了修正,通过计算目标词和基词的关联度,构造目标词的属性向量,由目标词的属性向量,利用夹角余弦法计算出目标词语相似度。实验结果验证了该方法的有效性。     

一种混合型的句子语义相似度计算方法

句子相似度计算是智能答疑等应用领域的关键技术之一,当前相似度计算方法大都对语义因素考虑不全,使得计算的结果准确度差,为此提出了一种混合型句子语义相似度计算方法。首先,通过语义资源得到词间语义相似度;其次,以词之间的相似度为基础,结合词的权重和句型的相似度得到了混合的句子间的语义相似度,避免了单一角度度量相似度带来的偏差;最后,通过对比实验验证了本文提出的混合型计算方法相对传统方法获得了更好的测试结果。     

应对东南亚海域海盗袭击的应急方案选择

为确保遭受海盗袭击后应急响应及时有效,基于案例推理方法提出一种应对海盗袭击事件的应急方案选择方法.针对海盗袭击事件常有的属性信息缺失情况及应急方案可复用程度问题,对传统案例相似性度量模型做出改进,引入"结构相似度"来衡量缺失信息对案例匹配的影响,提出"属性替代性度量"来确定案例属性差异程度.研究结果表明,该方法可确保案例匹配的精确度与应急方案复用的可行性.