基于多策略过滤的汉日多词短语抽取和对齐

在跨语言文本分析任务中,多词短语比单个词汇歧义小,语义表达更加准确,有助于提高文本理解的准确性。现有方法主要关注单个词的跨语言对齐。将多词短语抽取和跨语言对齐相融合,提出了一种基于多策略过滤的汉日多词短语抽取和对齐的方法。首先从一个语种出发,通过重复串、左右邻接熵、内部关联度、多词嵌套、停用词等方法提取并过滤得到具备完整语义的多词短语,然后利用平行语料库计算汉日多词短语的相似度,实现跨语言对齐。在整个过程中可结合日语语言规则与特点,根据语料规模、相关领域对过滤阈值进行动态调整,提高了多词短语的领域适用性。实验结果表明,该方法可有效抽取汉日多词短语并进行准确对齐,以多词短语为对齐单元,语义表达更完整,实用价值更大。     

基于关联规则挖掘的汉语语义搭配规则获取方法

针对自然语言处理系统在短语分析时的词汇排歧和结构排歧需要,本文提出了一种基于语料库的汉语短语语义搭配规则自动获取方法.该方法以《知网》为语义知识资源,在标注了句法语义信息的汉语短语熟语料库基础上,先采用数据挖掘中元规则制导的交叉层关联规则挖掘方法,自动发现汉语短语的语义搭配规律,再根据统计结果自动优选后生成语义搭配规则库.实验结果表明该方法是切实可行的.运用该方法自动获取的语义搭配规则具有较好的排歧效果.     

基于短语结构和词语词性相结合的情感分类方法

针对传统文本分类方法忽略词语间的语义特征的问题,并为了改善输入文本的表示质量,提出一种基于短语结构和词语词性相结合的情感分类方法.该方法首先通过短语结构优化分词,可以更好地提取文本特征;其次利用Word2vec工具训练词语和词性相结合的文本语料库得到词向量模型,解决了Word2vec无法识别一词多义的问题;最后通过SVM算法对文本进行情感分类.实验结果表明,该算法能够提高文本情感分类的正确性.该方法对舆情监控、股票市场行情预测和了解消费者对产品的偏好等具有较高的实用性.     

基于规则的汉语短语标注探讨

文章提出了一种基于规则的汉语句法分析方法 ,通过对已进行分词与词性标注的句子进行短语的人工标注形成精确度较高的语料 ,然后提取一些规则分析出短语的结构和功能类型 ,为自然语言的计算机处理提供基础研究服务。     

利用统计量和语言学规则提取多字词表达

基于特定领域的语料库,利用统计和语言学规则相结合的方法提取多字词表达(Multiword expressions)。首先利用领域高频词作为种子词提取候选串,进一步利用各种统计量、多字词表达边界过滤规则对候选串进行噪声剔除,得到多字词表达。实验结果表明,该方法对于处理大规模真实文本效率很高,可以有效提高多字词表达的获取,可以更有针对性地在特定领域提取多字词表达。     

基于类别信息优化的潜在语义分析分类技术

潜在语义索引作为一种公认有效的矩阵降维技术,在关键词检索、文本分类等多种基于统计的机器文本学习任务中被广泛应用.基于专业文献的文本分类任务,结合严格分类体系下同类与不同类文本的特点,以专利文献分类为例,提出了一种基于类别信息优化的潜在语义分析分类技术.该方法根据分类文本各类别的特征信息,将原始文档分解为多种伪文档,强化不同分类的专属特征出现频率,进而优化构建潜在语义空间,提升模型分类性能.实验结果证明,专利文本分类任务结合该方法时,可以有效地提高分类的准确性.     

朝鲜语特殊短语结构的语言特征分析及自动提取

朝鲜语中存在大量特殊短语结构,因此在朝汉翻译中,如何准确翻译这些特殊短语显得尤为重要,此举有利于提高机器翻译的精度与效率。本文基于韩国"世宗计划"标注语料库,通过对特殊短语结构进行语言特征分析,构建规则库,以迭代方式提取特殊短语结构及其分布,并以中心词为""的特殊短语为例,进行自动提取实验,取得满意的效果。     

基于词性标注规则的马铃薯文献信息抽取方法

马铃薯育种领域积累有大量尚未结构化处理的育种文献文本,人工整理文献内的种质资源数据费时费力。为了快速、准确地从育种文献中提取种植资源数据,使用基于词性标注规则和预设词的方法抽取文献数据。文献格式为PDF文档,对于不能直接获取文档文本的情况,使用游程平滑算法和光学字符识别（Optical Character Recognition, OCR）获取文本内容。采用用户可灵活建立的关键词库保存抽取项,通过正则表达式获取关键词所在语句,并利用自然语言处理工具对语句进行分词与词性标注,根据规则抽取目标词,同时采用基于关键词与预设词距离的信息抽取方法,实现将育种文献从自由文本转化为结构化数据。对115篇文献的1490个抽取项进行信息抽取,实验表明,该方法的准确率为82.97%,召回率为99.72%,F值为90.58%,能以较高的准确率和召回率对马铃薯育种文献种质资源进行抽取,可为构建马铃薯遗传育种数据库提供数据基础。     

基于短语级情感分析的不良信息检测方法

针对基于关键词字符匹配和粗粒度情感分析方法的传统不良信息检测方法准确率低的问题,提出一种基于短语级情感分析的不良信息检测方法.该方法制定语法规则来提取敏感词所在短语,结合二次分类的情感词典,通过分析短语的情感倾向来判断表达者对敏感关键词的情感倾向,从而判定内容的敏感性.本文方法克服了字符串匹配方法的缺点,如:传统的字符串匹配方法忽视敏感词上下文,从而导致大量误报的缺点,及粗粒度情感分析方法由于无法准确定位情感对象,只能以文本整体情感倾向代表表达者主观情感,导致不能精准分析与敏感词相关的情感倾向及敏感性.实验表明,本文方法与传统方法相比,准确率有较大的提升.     

基于特征概念自动提取系统的研究

文本分类与文本信息特征概念的提取是当前智能信息服务研究的重点，为自动获取新的特征概念，提出了一种基于特征概念的自动提取系统，该系统包括分词、综合文本词权处理、类别归属和特征概念提取等部分，能有效地从概念上提取文本类特征，提高文本自动分类的准确性．     

基于短语匹配的中文分词消歧方法

在短语结构文法的基础上,提出一种基于局部单一短语匹配和语义规则相结合的消歧方法.通过增加短语间的右嵌套规则和采用有限自动机的实现方式,解决了短语规则中存在冗余项的问题,提高了短语匹配效率和歧义消除类型的针对性.实验结果表明,该消歧方法的平均消歧率约为98%,优于一般未考虑词语间语法和语义消歧模型的处理效果.     

结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果，但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力，使模型做到单词和短语级别的控制生成，但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力，句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合，使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明，本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

一种基于规则与句法合成的层次化语句分析识别算法

首先, 在句子组织信息之间的结合度及基于规则、 词性和词序对句法分析系统影响的基础上, 提出一种基于规则的语句分析识别算法, 能在大量文本中快速识别出正确句式; 其次,在基于语句分析识别算法的基础上, 提出一种基于规则与句法合成的层次化语句分析识别算法, 以提高层次化句式识别检错的精度. 实验结果表明, 该算法平均精确率和平均召回率分别为84.65%和77.15%, 相比于只基于规则的语句识别算法分别提高了11.79%和14.48%, 证明了规则与句法合成的层次化语句分析识别的可行性.     

一种基于规则与句法合成的层次化语句分析识别算法

首先, 在句子组织信息之间的结合度及基于规则、 词性和词序对句法分析系统影响的基础上, 提出一种基于规则的语句分析识别算法, 能在大量文本中快速识别出正确句式; 其次,在基于语句分析识别算法的基础上, 提出一种基于规则与句法合成的层次化语句分析识别算法, 以提高层次化句式识别检错的精度. 实验结果表明, 该算法平均精确率和平均召回率分别为84.65%和77.15%, 相比于只基于规则的语句识别算法分别提高了11.79%和14.48%, 证明了规则与句法合成的层次化语句分析识别的可行性.     

基于中心短语及权值的相似度计算

针对专用于搜索网上Word文档的元搜索引擎,提出一种改进的计算查询式与待选文本间相似度的方法.综合考虑查询词出现频数、中心短语连续同现的权值信息及待选文本长度,克服了单纯词匹配方法的不足,实际测试表明该方法是可行的.     

中英平行短语依存树库构建

提出了面向翻译研究的融合短语结构树和依存分析的短语依存树库(phrase dependency treebank,PDT)的构建思想,阐述了中英平行PDT的构建方法.PDT采用"扁平结构优先"的短语结构树和"基于语义"的依存句法功能标注原则,有别于传统依存分析的完全二分法.大连理工大学中英平行PDT(DUT-CEPDT)的生语料取自文本质量较高的政府工作报告和白皮书及其官方译文.首先,对文本进行分词和词性标注之后,利用专为语言学家开发的辅助工具LingTreeConstructor构建中文和英文的单语PDT;之后,在两个单语PDT之间从篇章到词的节点进行对齐,这种多层次的立体对齐比只有词、短语或句子的单层对齐能提供更丰富的翻译知识;最后,依据FrameNet进行双语平行的框架语义角色标注.DUTCEPDT将为译员培训和机器翻译研究提供所需的标准语料.     

基于主题词权重和句子特征的自动文摘

为获得高质量的自动文摘,在组合词识别算法的基础上,充分考虑词的频率、词性、词的位置、词长等因素,构建了一个词语权重计算公式,该公式能使表达主题的词和短语具有较高的权重.对句子权重的计算,则考虑了句子的内容、位置以及线索词的作用和用户偏好等.摘要的生成充分考虑了候选文摘句的相似性,避免了冗余信息的加入.对摘要的评估进行了从句子粒度到词语粒度的改进,提出了一种基于词语粒度的准确率和召回率计算方法.实验证明,该算法生成的自动文摘有着较高的质量,平均准确率达到77.1%.