面向非受限领域的综合式自动中文文摘方法

讨论了一种面向非受限领域的综合式中文自动文摘方法。其基本思路是 :采用向量空间模型对篇章结构进行自动分析 ,建立基于语义相似度的段落关系图 ,获取段落的重要度信息 ,并使用标题或聚类的方法划分意义段 ;根据词的频度 ,句子位置、提示语等文本形式特征计算句子的权值 ,分别从各意义段中选取高权值的句子作为文摘句 ;对文摘句进行句法和语义分析 ,消除冗余 ,解决指代词悬挂、文摘不连贯等问题 ,最终组成一篇简洁、通顺、可读性好的文摘     

基于有序聚类的文本结构分析方法

讨论了基于关系图的文本结构分析方法,鉴于文章组织的有序性,运用有序聚类的思想建立数学模型,并利用最优K分法构造自动文本结构分析算法,以划分文章意义段.实验结果表明,该文本结构分析方法是有效的.将该方法运用于自动文摘技术,可使文摘获得更好的可读性和完整性.     

多文档文摘提取方法的研究

在深入分析当前流行的自动文摘技术和方法的基础上,将语义方法融入统计算法,提出了一种基于统计的多文档文摘提取方法,描述了它的实现过程.该方法利用文档内和文档之间段落的语义相关性,实现了多文档文摘的自动生成.首先对文档进行分段实现信息分割,再利用聚类技术对文本段进行聚类实现信息合并,最后从类中抽取代表段产生摘要文本.实验结果表明,该方法是一个有效、实用的方法.     

基于语义理解的文本相似度算法

相似度的计算在信息检索及文档复制检测等领域具有广泛的应用前景.研究了文本相似度的计算方法,在知网语义相似度的基础上,将基于语义理解的文本相似度计算推广到段落范围,进而可以将这种段落相似度推广到篇章相似度计算.给出了文本(包括词语、句子、段落)相似度的计算公式及算法,用于计算两文本之间的相似度.实例验证表明,该算法与现有典型的相似度计算方法相比,计算准确性得到提高.     

基于文本聚类和NLU的自动文摘研究

针对当前自动文摘方法的缺陷,提出了基于文本聚类和自然语言理解的自动文摘实现方法.将文本聚类引入自动文摘中,实现多文档的自动文摘.提出了基于标题和段首句的二次自动分词算法.实验结果表明,分词正确率和召回率均在95%以上.实现了面向塑料行业的基于文本聚类和自然语言理解的自动文摘系统,其多文档自动文摘的正确率和召回率都在75%以上.实验表明该方法可行,对自动文摘系统的设计具有借鉴意义和深入研究价值.     

基于互信息的文本自动摘要

现有的文本自动摘要技术大多是运用向量空间模型将文本作为一个整体进行处理,忽略了段落及段落之间的关联程度,导致提取的摘要不能够全面反映所包含的主题,针对这一问题,文章提出了基于互信息的文本自动摘要方法。该方法利用互信息对文本中词语、句子及段落之间的关联程度进行计算,依据关联程度将整个文本划分成包含不同主题的较小单元,并针对每一单元运用优化的句子权重计算方法进行主题句提取,然后利用主题句生成文本摘要。实验验证了方法的有效性,在自动摘要提取方面取得了良好效果。     

基于最大树法的多文档文摘子主题划分

提出一种基于最大树法的生成多文档文摘子主题划分方法.对多文档集合中的句子进行基于语义词典的相似度计算,形成相似度矩阵.提出了将相同或相似的句子通过模糊聚类的方法归并成一类,每一类代表一个子主题,通过抱团结构分析划分出子主题.实验结果表明,生成的多文档文摘覆盖性强,冗余信息少,具有一定实用价值.     

基于句子相似度的自动文摘评价方法

评价是自动文摘研究领域中非常重要的一个环节。针对目前自动文摘内部评价方法存在主观性强,无法体现深层语义的缺陷,提出了一种基于句子相似度的自动文摘评价方法。该方法是利用机器摘要和理想文摘中的句子相似度衡量文摘系统的性能,而不是单纯地利用词频或语句包含关系。实验表明,基于句子相似度的评价方法是一种更接近自然模型的评价方法。     

面向自动文摘的主题划分方法

对当前主题划分方法进行了分类, 对主题划分算法TextSegFault (TSF)做了相关改进。根据文本的类型, 从TSF算法和改进的TSF算法中选择其一来进行主题划分, 以适应自动文摘任务的需要。实验结果表明, 引入本文的主题划分方法能有效地解决传统自动文摘方法造成的主题确实和主要主题冗余的问题, 使文摘的结构平衡化。     

基于相似度融合算法的主观题自动阅卷机制

主观题自动阅卷可以通过计算文本相似度实现.本文从分析文本结构特征的角度出发,在Trie树搜索匹配理论的基础上提出基于相对距离的词序相似度算法,并通过统计回归方法将关键词相似度与词序相似度进行融合得到文本的综合相似度,从而实现主观题自动阅卷.最后,进行了实验,证明通过该方法可以实现在规定场景下基于文本结构特征的主观题自动阅卷.