基于句法差异的汉-越平行句对抽取

低资源环境下,受限于平行语料的规模和质量,神经机器翻译的效果并不理想.汉-越神经机器翻译作为典型的低资源型机器翻译,同样面临平行语料匮乏的问题.针对这一问题提出了基于句法差异的汉-越平行句对抽取方法.一方面,分析了汉语和越南语间的句法差异,通过词性标签对差异进行表述;另一方面,利用孪生结构的循环神经网络,在编码过程中融入句法差异信息,从句法规则角度更好的指导抽取过程.实验表明,基于汉越可比语料所提方法能够有效地抽取出高质量汉越平行句对.     

结构特征一致性约束的双语平行句对抽取

平行句对抽取是解决低资源神经机器翻译平行语料不足的有效途径.基于孪生神经网络的平行句对抽取方法的核心是通过跨语言语义相似度判断2个句子是否平行,在相似的语言对上取得了非常显著的效果.然而针对英语东南亚语言双语句对抽取任务,面临语言空间和句子长度存在较大差异,仅考虑跨语言语义相似度而忽略句子长度特征会导致模型对仅有语义包含关系但不平行句对的误判.笔者提出一种结构特征一致性约束的双语平行句对抽取方法,该方法是对基于孪生神经网络的双语平行句对抽取模型的扩展,首先通过多语言BERT预训练语言模型在嵌入层将两种语言编码到同一语义空间,以此缩小语义空间中语言的差异.其次分别对两种语言句子的长度特征进行编码,与孪生网络编码后的句子语义向量进行融合,增强平行句对在语义及结构特征上的表示,降低模型对语义相似但不平行句对的误判.在英缅双语数据集上进行实验,结果表明提出的方法相比基线模型准确率提高了4.64％,召回率提高了2.52％,F1值提高了3.51％.     

伪特征值对与伪特征向量对

推广了特征值与特征向量的概念，并讨论了伪特征值对与伪特征向量对的一些性质。     

基于虚词和句尾词特征的藏语句子抽取方法

语料中抽取句子是藏语自然语言处理领域中一项关键技术,在句型研究、句法分析、语义分析、语用分析、问答系统和机器翻译等很多领域都有广泛的应用前景.文章在分析藏语句尾词性和虚词特征的基础上,提出了一种基于虚词和句尾词特征的藏语句子抽取方法,即从文本串的单垂符或双垂符开始,通过逆向搜索虚词的位置节点和句尾词性抽取藏语句子.实验表明,该方法抽取藏语句子的准确率可达98.9%以上,抽取句子的数量明显提高.     

基于最大熵的泰语句子级实体从属关系抽取

采用基于最大熵模型的方法对泰语句子级实体从属关系的抽取方法进行了研究.针对泰语句子中实体关系抽取的研究进程中语料库较为匮乏的问题,首先使用汉泰双语平行句对作为中间桥梁,将中文研究领域中相对成熟的分词、词性标注和实体识别等成果,通过汉泰双语词典映射到与中文句子相对齐的泰语句子上,对泰语句子进行必要的数据处理操作,并进行一定量的人工校正和人工实体关系标注工作;进而构建基础的泰语实体关系训练语料库.在语料库的基础上,将泰语实体关系抽取问题转化为分类问题,同时结合泰语语言本身的特点,选取合适的上下文特征模板,使用最大熵模型算法对训练语料进行学习训练,构建分类器,对泰语句子中的候选实体关系三元组进行识别,最终达到实体间从属关系自动抽取的目的.实验结果显示该方法可使F值相对于已有的泰语实体关系抽取研究方法提升8%左右.     

基于图的新闻事件主题句抽取方法

新闻事件主题句识别任务是一项基于文本内容进行语义分析的自然语言处理技术。为准确计算新闻事件文本中与新闻主题语义最相关的句子,提出一种基于图的新闻事件主题句抽取方法。首先利用描述事件特征的触发词及命名实体构建候选新闻事件句子抽取模板,然后,计算候选事件句之间的关联关系构建事件关系无向图,最后基于TextRank算法思想将图中任意顶点的权值表征为与其有关联的顶点权值的加权和,并按权值进行排序实现事件主题句抽取。实验结果表明,提出的方法优于基于TFIDF和基于标题的事件主题句抽取方法,F值分别提升了6.26%和2%。     

基于最大熵模型的英柬双语平行句对获取

英语-柬埔寨语双语平行语料库资源是柬埔寨语信息处理的一项基础资源,对于促进柬埔寨语言信息处理技术的发展具有非常重要的研究意义。在得到平行的双语网页之后,将平行句对的获取问题看作是对候选平行句对的分类问题。为了从候选平行句对中识别出平行句对,构造了二分类的最大熵分类器。采用句子长度特征、词汇化比例特征、句子位置特征、符号特征等进行英柬双语句对分类器的训练。最后利用该分类器对英柬候选平行句对进行分类,从而确定出英柬双语平行句对资源。实验结果表明通过加入不同的特征进行比较,最终的准确率和召回率达到了90%以上,证明利用该分类器进行平行句对识别取得了比较好的效果。     

一种基于词典和长度相结合的汉-维句子对齐算法

提出了一种汉-维句子对齐混合算法,它是以基于词典的方法为主、基于长度的方法为辅的一种混合对齐算法.目的在于建立一个以汉文-维文平行语料库及面向政府文献的汉-维机器翻译为应用背景的,实用汉-维句子对齐系统.     

基于综合方法的文本主题句的自动抽取

提出了基于综合方法的主题句的提取方法,并着重讨论了文本主题概念的提取以及相应的权值体系.根据概念间的相互关系,对同义概念进行语义归并,对上下位概念进行语义聚焦,模拟人工标引专家在分析文本主题时的“兼顾各个方面的主题,同时又有所侧重”的原则.在调整文本主题上下位概念的权值时,既考虑下位概念对上位概念的增强作用,同时又考虑到这种调整不影响整个文本主题的分布,从而更精确地抽取出文本的主题概念.采用多种权重度量方式,综合评估句子反映主题的价值.在此基础上,采用主题句选择算法将文本的主题数与所抽取的主题句的数量关联在一起,保证每一个主要的主题都有对应的主题句被选中,并解决主题句的去重问题,从而进一步提高所抽出主题句的主题覆盖性和概括性.     

基于汉维医疗平行语料的双语术语抽取研究

为提高汉语和维吾尔语医学领域机器翻译质量,解决人工提取和翻译大量医学术语耗时费力的问题,提出基于词向量表示的双语术语抽取方法,并与传统统计短语对齐抽取进行对比.首先,自建45216句汉语医疗语料,人工翻译获得23996句维语语料,人工采集汉语医学词汇65394条,翻译获得31421条维语术语,对汉语语料分词,对维语语料形态切分,获得实验数据;其次,使用词向量方法,设计了基于词向量表示的双语术语抽取实验,准确率为25.12%;并将传统统计短语对齐抽取技术应用于汉维医疗平行语料,准确率为27.28%;实验结果表明,新方法更需要大量平行语料支持,但是两种方法都有助于提高汉维医学领域机器翻译质量,使提取和翻译大量医学术语自动化.     

切触伪度量流形的特征向量场

设M2n+1为切触伪度量流形,ξ为M2n+1的特征向量场,主要研究切触伪度量流形的ξ-截曲率.当ξ为共形Killing向量场时,给出了M2n+1为K-切触流形的充要条件.     

基于Bi-LSTM和Max Pooling的答案句抽取技术

针对传统问答系统答案抽取方式对答案片段的分词和上下文语义理解准确性的依赖严重,抽取过程耗费大量的人力和时间的问题,提出采用分步抽取答案的方法,先从答案片段中抽取包含答案的句子,再从提取的答案句中进行最终答案的抽取方式。在答案句抽取过程中使用Bi-LSTM( Bi-directional Long Short-Term Memory)和Max Pooling 结合的方法构建答案句抽取模型。实验结果表明,在答案句的抽取中,该模型的MＲＲ( Mean Average Precision) 指数接近0． 75。     

中文句子评价对象抽取的特征分析研究

针对中文的语料,采用基于条件随机场的方法,在词、词性特征的基础上结合最近名词、句法依赖关系和句子倾向性等特征,分析不同特征对于评价对象抽取的影响.实验结果表明,结合了词、句子倾向性、词性、语法依赖关系、邻近名词等特征的条件随机场方法对于中文句子评价对象的抽取更有效.     

汉腔英语句子的节奏表征

英语汉腔的主要表现是句子节奏的非英语式异化。本文通过实验收集汉腔英语句子样本,归纳其与英语重读实词、弱读虚词的节奏规律的差异,侧重分析目前缺少研究的方面,提炼汉腔英语句子的节奏表征。     

基于深层神经网络(DNN)的汉-越双语词语对齐方法

针对汉-越双语因语言特点差异较大而导致难以实现词语自动对齐的问题,提出了一种基于深层神经网络(deep neural network,DNN)的汉-越双语词语对齐方法。该方法先将汉-越双语词语转化成词向量,作为DNN模型的输入,再通过调整和扩展HMM模型,并融入上下文信息,构建DNN-HMM词语对齐模型。实验以HMM模型和IBM4模型为基础模型,通过大规模的汉-越双语词语对齐任务表明,该方法的准确率、召回率较两个基础模型都有明显的提高,而词语对齐错误率大大降低。     

基于句义三维模型的汉语句子相似度计算

通过对句子语义表示的深入分析,提出汉语句义的三维表示模型,并在此基础上提出一种基于句义三维表示模型的句子相似度计算方法.该方法从义面、义原、义境三个侧面来综合描述句子的语义,并通过迭代求解各方的权重,从而使计算结果达到最优.与传统的方法相比,更加全面、准确地衡量句子之间的相似度,取得了较好的实验结果.     

浅析汉越数词的异同

汉越两国民族有不同的思维方式、文化传统、生活习俗。民族思维规律的不同导致汉越数词在用法上有异同。文章通过对比分析，让大家对汉越数词用法有更深的了解。     

结合领域知识的中文句子评价对象抽取

针对评价对象存在领域相关性这一特点,在条件随机场模型中结合领域词词典特征进行中文句子评价对象的抽取,然后利用领域规则对抽取结果进行处理.针对COAE2011任务三标注语料的抽取实验结果表明,结合领域词词典和领域规则对于利用线性链、跳跃链和层叠条件随机场模型的中文句子评价对象抽取方法可以有效地提高抽取的精度,并抽取出更多的评价对象.     

论英语句子语法性对句中信息冗余的制约

语言中信息冗余按照其呈现的方式可分为复现型信息冗余和蕴涵型信息冗余。根据英语句子语法性对句中信息冗余的制约程度，信息冗余可分为语法性要求的信息冗余，语法性容许的冗余信息和语法性禁止的信息冗余三大类,从信息冗余出现的句法条件和语用功能看，在一个英语句子的任一管辖范畴内，一个虚词的语法意义与另一个虚词或语法范畴的标记式的语法意义之间不容许存在信息冗余。     

融合上下文语义信息的汉越平行短语对抽取方法

越南语是一种典型的资源稀缺型语言,汉越平行语料较为稀少,但在如维基百科、双语新闻等网站上存在大量的汉越可比语料.而从可比语料中抽取平行短语对任务能够有效缓解低资源机器翻译中面临的数据稀疏性问题.考虑到上下文语义信息对抽取高质量的双语短语对有重要支撑.提出了融合上下文语义信息的汉越平行短语对抽取方法.首先使用汉、越单语语...