结合BERT数据增强的基于词切分的蒙汉神经机器翻译系统

神经机器翻译是目前机器翻译领域主流研究方法,但是蒙汉平行语料的稀缺使得蒙汉神经机器翻译性能难以提升.本文针对基于Transformer的蒙汉神经机器翻译系统,利用深度学习模型对蒙古文词切分方法进行研究,分析了蒙古文部分切分、BPE子词切分和BiLSTM-CNN-CRF神经网络切分方法对于蒙汉机器翻译模型的影响,并在此基础上利用基于BERT(bidirectional encoder representations from Transformers)中文语义相似度计算的数据增强技术去扩充蒙汉机器翻译训练数据.在CCMT2019提供的数据集上进行对比实验,实验结果表明,数据增强方法的BLEU值相较于基线实验提升显著,且BLEU4值达到了75.28%.     

一种基于聚类分析的3MAD-MMMD过失误差侦破方法

软测量建模时所使用的数据集中若含有过失误差,将在很大程度上影响所建模型的精确度.因此,在建模之前,针对建模所使用的数据集,提出了基于聚类分析的集成3MAD-MMMD过失误差的侦破方法.在采集无缝钢管穿孔过程中不同变量不同时刻的数据后,将其排列成数据矩阵.首先运用3MAD算法剔除其中的单变量大误差得到新的数据矩阵,之后采用欧氏距离公式求得新矩阵中同一变量的数据到其最近点的距离,最后以所有变量最近距离的中位值dmed为检测标准,对新的数据矩阵进行过失误差侦破处理.实验和仿真图表明,3MAD-MMMD侦破方法有效地剔除了采集数据中的过失误差.