民汉稀缺资源神经机器翻译技术研究

该文介绍了中国科学院自动化研究所参加第15届全国机器翻译大会(CCMT2019)翻译评测任务总体情况以及采用的技术细节.在评测中,中国科学院自动化研究所参加了3个翻译任务,分别是蒙汉日常用语机器翻译、藏汉政府文献机器翻译以及维汉新闻领域机器翻译; 阐述了参评系统采用的模型框架、数据预处理方法以及译码策略; 最后给出了不同设置下评测系统在测试数据集上的表现,并进行了对比和分析.     

多种数据泛化策略融合的神经机器翻译系统

在Transformer模型的基础上,该文从数据泛化、多样化解码策略和后处理方法3个方面进行改进.多种数据泛化策略融合方法对不同种类的稀疏词语进行识别、泛化和翻译,减少错译现象.利用检查点平均和模型集成等多样化解码策略进一步提升翻译效果.在CCMT 2019中英新闻领域翻译任务上的实验结果显示,改进后的方法在基线系统上的BLEU-SBP值提升了约1.85%.     

基于迁移学习的汉越神经机器翻译

针对汉语-越南语(简称汉越)平行语料受限的问题,提出了一种基于迁移学习的汉越神经机器翻译(TLNMT-CV)模型.在训练汉语-英语、英语-越南语的翻译模型的基础上,通过迁移学习方法,利用训练得到的汉语端编码器和越南语端解码器,分别对汉越翻译模型的编码器与解码器参数进行初始化,并使用小规模汉越语料进行微调优化,得到TLN...     

人口增长率的非参数自回归预测模型

针对传统的人口增长预测模型不能理想地捕获我国人口增长率数据的非线性性特征，本文基于局部线性非参数估计理论，对我国建国以来的年人口增长率建立了非参数自回归NAB．（1）模型，并对2000年-2003年的年人口增长率进行了预测，计算结果表明，相对于参数自回归模型而言，非参数自回归模型能够很好地解决人口增长预测这一非线性问题，预测精度较高．     

融入规则信息的神经机器翻译

为了将统计机器翻译技术中的规则信息引入到端到端的神经网络模型中,提出了一种将规则信息转化为近似等价的序列信息的方法.在此基础上,提出了两种融入规则信息的神经机器翻译模型,并在基于注意力机制的循环神经网络(RNN)模型上进行了验证.相对于未融入规则信息的基准模型在美国国家标准与技术研究院(NIST)评测集上的评测结果,上述两种模型的双语互译评估(BLEU)值均有所提高.实验表明,将规则等外部知识融入到神经机器翻译系统中是提升模型翻译质量的一种有效途径.     

低资源维汉神经机器翻译研究

该文介绍了在第15届全国机器翻译大会的机器翻译评测项目中苏州大学的参赛情况,主要介绍参评系统使用的神经机器翻译模型基准结构以及采用的策略、方法,并介绍该系统在评测数据上的实验性能.     

基于数据增强及领域适应的神经机器翻译技术

近年来,基于深度学习的神经机器翻译已经成为机器翻译的主流方法.神经机器翻译模型比统计机器翻译模型更依赖于大规模的标注数据.因此,当训练语料稀缺或语料领域不一致时,翻译质量会显著下降.在藏汉翻译中,训练语料大多为政府文献领域且数据稀缺;在汉英语音翻译中,训练语料大多为书面语领域且噪音语料稀缺.为了提高神经机器翻译模型在这2个任务上的表现,该文提出了一种噪音数据增强方法和2种通用的领域自适应方法,并验证了其有效性.     

基于样本难度的神经机器翻译动态学习方法

近年来,神经机器翻译模型已经成为机器翻译领域的主流模型,如何从大量的训练数据中快速、准确地学习翻译知识是一个值得探讨的问题.不同训练样本的难易程度不同,样本的难易程度对模型的收敛性有极大影响,但是传统的神经机器翻译模型在训练过程中并没有考虑这种差异性.本文探究样本的难易程度对神经机器翻译模型训练过程的影响,基于“课程学...     

对数函数自回归模型的自回归分析

将回归模型的回归分析推广到对数函数自回归模型的自回归分析,获得了对数函数自回归模型参数的估计公式、估计标准误公式、变量的点估计与区间估计公式、总体自回归系数的检验统计量.     

线性自回归模型的自回归分析

将回归模型的回归分析推广到线性自回归模型的自回归分析,获得了线性自回归模型参数的估计公式、估计标准误公式、变量的点估计与区间估计公式、总体自回归系数的检验统计量。     

幂函数自回归模型的自回归分析

将回归模型的回归分析推广到幂函数自回归模型的自回归分析,获得了幂函数自回归模型参数的估计公式、估计标准误公式、变量的点估计与区间估计公式、总体自回归系数的检验统计量.     

多语言的无监督神经机器翻译

依赖于大规模的平行语料库,神经机器翻译在某些语言对上已经取得了巨大的成功.然而高质量平行语料的获取却是机器翻译研究的主要难点之一.为了解决这一问题,一种可行的方案是采用无监督神经机器翻译(unsupervised neural machine translation,UNMT),该方法仅仅使用两门不相关的单语语料就可以进行训练,并获得一个不错的翻译结果.受多任务学习在有监督神经机器翻译上取得的良好效果的启发,本文主要探究UNMT在多语言、多任务学习上的应用.实验使用3门互不相关的单语语料,两两建立双向的翻译任务.实验结果表明,与单任务UNMT相比,该方法在部分语言对上最高取得了2～3个百分点的双语互译评估(BLEU)值提升.     

基于深度可分离卷积的汉越神经机器翻译

在汉越神经机器翻译中,由于汉越平行语料稀少,使得数据稀疏问题十分严重,极大地影响了模型的翻译效果.为了提升数据稀疏情况下的汉越神经机器翻译性能,提出一种基于深度可分离卷积的汉越神经机器翻译方法.该方法根据越南语的语言特点,将越南语切分为词、音节、字符、子词4种不同的粒度并利用深度可分离卷积改进神经机器翻译模型,通过增加深度可分离卷积神经网络,对模型输入的不同粒度序列进行卷积运算,提取更多的特征数据,相比传统卷积降低了模型的理论计算量.实验结果表明,该方法在越南语4种不同翻译粒度上均取得最佳效果,一定程度上提升了汉越神经机器翻译性能.     

基于倒谱的非因果自回归系统自适应辨识

为解决信号处理中非因果自回归（ＡＲ）系统的自适应辨识问题，本文提出了一种利用倒谱进行ＡＲ系统辨识的新方法。这一方法在倒谱域内把非因果ＡＲ系统辨识问题转化为非最小相位有限冲激响应（ＦＩＲ）系统辨识问题，因此可以利用现有的基于倒谱的ＦＩＲ系统辨识算法构造非因果ＡＲ系统辨识算法，从而实现了非因果ＡＲ系统的自适应参数辨识，并解决了以往文献中未曾解决的非因果ＡＲ系统阶次自适应确定问题。另外，本算法可以保证估计出的ＡＲ模型是稳定的。数值仿真结果证明了本算法具有很高的估计精度。     

自回归模型的自回归分析及其应用

将线性回归分析推广到7种自回归模型的自回归分析,获得自回归模型参数的估计公式、估计标准误公式、变量的区间估计公式、总体自回归系数的检验统计量.通过实例分析论证了自回归模型的应用.     

融合数据增强与多样化解码的神经机器翻译

基于神经机器翻译模型Transformer,提出一种融合数据增强技术和多样化解码策略的方法来提高机器翻译的性能.首先,对训练语料进行预处理和泛化,提高语料质量并缓解词汇稀疏的现象;然后,基于数据增强技术使用单语句子构造伪双语数据,扩充双语平行语料以增强模型;最后,在解码阶段融合检查点平均、模型集成、重打分等策略以提高译...     

神经机器翻译的词级别正则化

由于神经机器翻译模型具有大规模参数且其性能极大地依赖大规模高质量平行语料,当训练数据规模小于模型复杂度时,模型易出现过拟合问题而泛化能力不足.针对此问题,研究了词级别的正则化技术,通过对模型输入句子中的单词进行随机干扰,以此削弱数据的特异性,从而抑制模型对于数据的过度学习,防止过拟合,提高模型的泛化能力.通过Trans...     

指数自回归模型的辨识的研究

本文讨论了指数自回归模型的辨识问题，证明了该模型的最小二乘问题的非凸性，并给出其保证凸性的条件，最后运用混合算法，辨识了该模型，并用数值算例加以说明。     

基于单词领域特征敏感的多领域神经机器翻译

鉴于现有基于单词的领域特征学习方法在领域识别上的精度较低,为提高领域判别和提供准确的翻译,提出一种单词级别的领域特征敏感学习机制,包括两方面:1)编码器端的上下文特征编码,为了扩展单词级别的领域特征学习范围,引入卷积神经网络,并行提取不同大小窗口的词串作为单词的上下文特征;2)强化的领域特征学习,设计基于多层感知机的领域判别器模块,增强从单词上下文特征中获取更准确领域比例的学习能力,提升单词的领域判别准确率。在多领域UM-Corpus英–汉和OPUS英–法翻译任务中的实验结果显示,所提方法平均BLEU值分别超过强基线模型0.82和1.06,单词的领域判别准确率比基线模型分别提升10.07%和18.06%。对实验结果的进一步分析表明,所提翻译模型性能的提升得益于所提出的单词领域特征敏感的学习机制。     

S型曲线自回归模型的自回归分析

将回归模型的回归分析推广到S型曲线自回归模型的自回归分析,获得了S型曲线自回归模型参数的估计公式、估计标准误公式、变量的点估计与区间估计公式、总体自回归系数的检验统计量.