基于增量式自学习策略的多语言翻译模型

针对源语言到目标语言缺乏平行语料的情况,提出了一种基于增量式自学习策略的多语言翻译模型,即利用中介语双语语料训练源语言到目标语言的翻译模型.在Transformer架构下,相比于基于中介语和直接在伪平行语料上训练的普通双语翻译模型,使用该方法在第十四届全国机器翻译研讨会(CWMT 2018)多语言翻译评测数据集上的机器双语互译评估(BLEU)值提升了0.98个百分点.在此基础上,还对比了不同的预处理方法、训练策略以及多模型的平均和集成策略,其中多模型集成策略的BLEU值上可在多模型策略的基础上进一步提升0.53个百分点.     

基于BERT-Transformer的跨语言文本摘要技术研究

自动生成技术在信息提取任务中具有重要作用,为此研究设计了基于双向Transformer编码器(Bidirectional Encoder Representation from Transformers, BERT)的摘要生成模型.模型的掩码方式由casual改为了seq2seq,模型使用改进的随机集束搜索算法(Random Beam Search Algorithm, RBSA)作为解码算法.实验结果显示,RBSA的多样性百分比最高为69.20%,高于对比算法.摘要模型的覆盖度分数为30.12,生成的摘要在数据集1上的ROUGE-1、ROUGE-2、ROUGE-L数值分别为39.11、17.20、29.71,在数据集2上分别为41.21、18.70、38.29,均优于对比模型,可以自动生成中文和英文文本摘要,通过快速提取原文信息提高翻译效率.     

多层信息融合的神经机器翻译

现有最先进的神经机器翻译模型大都依赖于多层神经网络结构,针对多层网络结构易导致信息退化的问题,提出通过融合层与层之间的输出信息来改善各个层之间的残差连接关系的方法,从而使得层与层之间联系更紧密.相比于原来的残差网络连接,进一步优化了深层网络的信息流动结构,使得整个结构有效信息流动更充分.在Transformer模型和序列到序列的卷积(convolutional sequence to sequence,Conv S2S)模型上进行相关实验,大规模中-英翻译任务的实验结果表明,该方法提高了Transformer和Conv S2S的翻译性能.     

面向维汉神经机器翻译的双向重排序模型分析

在维吾尔语到汉语等低资源语料库上, 神经机器翻译的拟合训练容易陷入局部最优解, 导致单一模型的翻译结果可能不是全局最优解。针对此问题, 通过集成策略, 有效整合多个模型预测的概率分布, 将多个翻译模型作为一个整体; 同时采用基于交叉熵的重排序方法, 将具有相反解码方向的翻译模型相结合, 最终选出综合得分最高的候选翻译作为输出。在CWMT2015维汉平行语料上的实验结果表明, 与单一的Transformer模型相比, 改进后的方法提升4.82个BLEU值。     

基于改进Transformer的生成式文本摘要模型

基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息。实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性。     

利用对话模型引导的对话生成推荐

对话推荐技术旨在通过与用户的对话交互完成高质量的信息推荐.针对已有研究存在的对话目标预测准确性不高的问题，提出一种利用对话模型引导的对话生成推荐(dialogue guided recommendation of dialogue generation， DGRDG)模型.首先，利用对话模型生成对话目标，通过经典的Seq2Seq模型融合输入的对话历史、用户画像以及知识信息来生成对话目标；其次，提出目标重规划策略(goal replan policy， GRP)来修正生成的对话目标，以提高对话目标预测的准确率.在DuRecDial数据集上进行实验的结果表明，对话目标生成模块在引入目标重规划策略后，对话目标预测的准确率提高了3.93%；总体模型在BLEU，DISTINCT，F1以及人工评价指标上具有较好的效果.     

深度学习在实测沉降数据预处理中的应用研究

基于深度学习中的长短期记忆网络LSTM,通过搭建Seq2Seq模型,提出了可对实测沉降数据进行预处理的新方法.Seq2Seq可通过观测大量有效的测点数据来自动学习沉降发展规律,并在训练完成后能对异常测点沉降进行重新计算,可有效避免异常数据对后续沉降预测的干扰.以某机场多个区域的实测沉降数据为背景,通过将Seq2Seq模型重计算出的沉降值与实测值对比,验证了该模型的可靠性.结合超参数与数据集等参数分析,研究了提升模型学习能力的影响因素.研究结果表明:在训练集选取40个测点、测试集选取15个的条件下,模型重计算值与实测值全过程平均误差3 cm.增大训练集与数据特征,且减小训练集与测试集之间的偏差时,模型的精度提升明显,误差缩小到2 cm.     

基于多种知识的盲文翻译的研究

盲文到汉字的转换研究 ,分为盲文到拼音和拼音到汉字的转换研究。论文通过引入音码表 ,很好地解决了盲文到拼音转换中的歧义问题。对于拼音到汉字的转换 ,采用Markov模型 ,使用平滑算法解决此模型中的数据稀疏问题 ,并且对通常使用的字级别二元模型的平滑算法进行了改进以适应词级别二元模型。为每一个拼音句子建立一个拼音到汉字转换多部图 ,并在此转换多部图中使用 Viterbi算法搜索一条具有最大似然度的汉语句子 ,或使用 N - Best算法搜索具有头 N大似然度的 N个汉语句子。同时研究了从 1选到 N选的转换判据 ,以进行自动的 N - Best转换。实验表明 ,盲文到汉字转换系统的转换正确率为 94.38% ,若剔除专有名词 ,转换正确率还可上升 2个百分点。对 N - Best搜索算法的测试表明 5选正确率比 1选正确率提高了 3个百分点     

基于多任务损失附加语言模型的语音识别方法

针对Attention过于灵活的对齐方式在复杂环境中适应性差、简单端到端模型对语言特征利用不充分的问题,研究了基于多任务损失附加语言模型的语音识别方法.通过分析语音信号特征,训练中选用包含更多信息的特征.以基于Attention的Conformer端到端模型为基础,采用CTC损失辅助纯Conformer (Attention)的多任务损失训练模型,得到Conformer-CTC语音识别模型.在Conformer-CTC模型基础上,通过分析对比部分语言模型的特点与效果,将Transformer语言模型通过重打分机制附加至上述模型的训练中,最终得到Conformer-CTC-Transformer语音识别模型.在AISHELL-1数据集上对上述模型进行了试验.结果表明：Conformer-CTC模型相对于纯Conformer (Attention)模型在测试集上的字错率(character error rate,CER)降低了0.49%,而Conformer-CTC-Transformer模型相对于Conformer-CTC模型在测试集上的CER又降低了0.79%.CTC损失可以改善Att...     

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。     

基于Transformer的自动驾驶交互感知轨迹预测

针对自动驾驶运动规划中预测周围交通参与者(如车辆、自行车、行人)未来轨迹的问题,提出了一个基于Transformer的轨迹预测模型(Trajectory Prediction Transformer,TPT)来帮助自动驾驶车辆预测周围交通参与者的未来运动轨迹。首先,为了有效地考虑交通参与者和交通环境之间的交互信息,将交通参与者建模为交通智能体。并将交通智能体的历史运动轨迹和周围交通环境信息编码为多通道图,作为模型的输入。然后,利用改进的Transformer对交通环境进行建模,并捕捉交通智能体与交通环境之间值得关注的交互信息,预测其未来运动轨迹。最后,在大规模自动驾驶数据集Lyft进行的实验表明,TPT模型能够在不同预测时长下取得优于其他对比模型的预测结果,且用时更短。     

一种改进CCDOS V2.0／2.1操作系统的汉字输入方案

1 拼音编码的弊病 当前,我国现有的汉字编码方案有几百种,但是,归纳起来,可以分为3大类;(1)音符类,(2)形符类,(3)音形结合类.所谓音符类,即单纯以汉字的读音编码,如:双拼、全拼,有的在拼音的后面加上音调码,以区分同音字,减少同码字.这类编码好学,容易掌握,只要学会了拼音,就会输入汉字.但是,我国汉字数量多,就国家公布的《信息交换用汉字编码字符集——基本集》中所收字量也有6763     

区分冗余序列的抽象文本摘要

序列到序列模型已经被广泛用于抽象文本摘要中,主要将源端语句的词序列通过神经网络生成摘要的词序列.在生成过程中,源端语句所携带的信息被编码,继而由解码器生成摘要.源端句子中包含有两种类型的信息,一类是与摘要有关联的信息,另一类是与摘要无关的冗余信息.为了区分这两类信息,提出了一种新的模型架构,在序列到序列模型的目标端加入冗余序列信息,通过解码器分别生成摘要文本以及冗余文本.将该模型应用于Gigaword英文测试集和LCSTS中文测试集,测试结果表明:相对于基准系统Transformer模型,加入冗余序列的Transformer模型在评估指标ROUGE-1(recall-oriented understudy for gisting evaluation-1)下的得分提高了0.7个百分点,证明该模型能够生成更高质量的抽象文本摘要.     

融合词汇特征的生成式摘要模型

生成过程中利用词汇特征(包含n-gram和词性信息)识别更多重点词汇内容,进一步提高摘要生成质量,提出了一种基于sequence-to-sequence(Seq2Seq)结构和attention机制的、融合了词汇特征的生成式摘要算法。算法的输入层将词性向量与词向量合并后作为编码器层的输入,编码器层由双向LSTM组成,上下文向量由编码器的输出和卷积神经网络提取的词汇特征向量构成。模型中的卷积神经网络层控制词汇信息,双向LSTM控制句子信息,解码器层使用单向LSTM为上下文向量解码并生成摘要。实验结果显示,在公开数据集和自采数据集上,融合词汇特征的摘要生成模型性能优于对比模型,在公开数据集上的ROUGE-1,ROUGE-2,ROUGE-L分数分别提升了0.024,0.033,0.030。因此,摘要的生成不仅与文章的语义、主题等特征相关,也与词汇特征相关,所提出的模型在融合关键信息的生成式摘要研究中具有一定的参考价值。     

基于随机增强Swin-Tiny Transformer的玉米病害识别及应用

针对图像识别中获取全局特征的局限性及难以提升识别准确性的问题,提出一种基于随机增强Swin-Tiny Transformer轻量级模型的图像识别方法.该方法在预处理阶段结合基于随机数据增强(random data augmentation based enhancement, RDABE)算法对图像特征进行增强,并采用Transformer的自注意力机制,以获得更全面的高层视觉语义信息.通过在玉米病害数据集上优化Swin-Tiny Transformer模型并进行参数微调,在农业领域的玉米病害上验证了该算法的适用性,实现了更精确的病害检测.实验结果表明,基于随机增强的轻量级Swin-Tiny+RDABE模型对玉米病害图像识别准确率达93.586 7%.在参数权重一致,与性能优秀的轻量级Transformer、卷积神经网络(CNN)系列模型对比的实验结果表明,改进的模型准确率比Swin-Tiny Transformer, Deit3＿Small, Vit＿Small, Mobilenet＿V3＿Small, ShufflenetV2和Efficientnet＿B1＿Pruned模型提高了...     

UConvTrans:全局和局部信息交互的双分支心脏图像分割

心脏核磁共振成像(MRI)具有噪声多、背景和目标区域相似度高、右心室形状不固定、呈月牙形或扁圆形等特点，虽然基于卷积神经网络的U型结构在医学图像分割中表现出色，但由于卷积本身的局部运算特性，提取全局信息特征能力有限，所以很难提升在心脏MRI上的分割精度.针对上述问题，提出一种全局和局部信息交互的双分支网络模型(UConvTrans).首先，利用卷积分支和Transformer分支提取局部特征和建模全局上下文信息，能够保留细节信息并抑制心脏MRI中噪声和背景区域的干扰.其次，设计了融合卷积网络和Transformer结构的模块，该模块将二者提取的特征交互融合，增强了模型表达能力，改善了右心室的分割精度，而且避免了Transformer结构在大规模数据集上预训练，可以灵活调节网络结构.此外，UConvTrans能有效地平衡精度和效率，在MICCAI 2017 ACDC数据集上进行验证，该模型在模型参数量、计算量仅为U-Net的10%、8%的情况下，平均Dice系数比U-Net提高了1.13%.最终，在其官方测试集上实现了右心室92.42%、心肌91.64%、左心室95.06%的Dice系数...     

一种基于深度学习的中文生成式自动摘要方法

针对中文的象形性和结构性特点,本文提出了一种新的生成式自动摘要解决方案,包括基于笔画的文本向量生成技术和一个生成式自动摘要模型。基于笔画的文本向量方法针对组成汉字的最小粒度笔画进行编码,增强了通过Skip-Gram模型得到对应的中文词向量语义信息;然后通过对Seq2Seq模型进行优化,使用Bi-LSTM解决长序列文本信息丢失以及逆向信息的补充问题;并在编码端加入Attention机制以计算不同输入词对解码端的影响权重,在解码端加入Beam Search算法优化生成序列的流畅度。基于LCSTS数据集实验表明,本文提出的模型在中文文本摘要生成质量和可读性上有所提升。     

从粗粒度到细粒度的神经机器翻译系统推断加速方法

近年来,Transformer模型中多层注意力网络的使用有效提升了翻译模型的译文质量,但同时大量注意力操作的使用也导致模型整体的推断效率相对较低.基于此,提出了从粗粒度到细粒度(coarse-to-fine,CTF)的方法,根据注意力权重中的信息量差异对信息表示进行细粒度压缩,最终达到加速推断的目的.实验发现,在NIST中英和WMT英德翻译任务上,该方法在保证模型性能的同时,推断速度分别提升了13.9%和12.8%.此外,还进一步分析了注意力操作在不同表示粒度下的信息量差异,对该方法的合理性提供支持.     

融入规则信息的神经机器翻译

为了将统计机器翻译技术中的规则信息引入到端到端的神经网络模型中,提出了一种将规则信息转化为近似等价的序列信息的方法.在此基础上,提出了两种融入规则信息的神经机器翻译模型,并在基于注意力机制的循环神经网络(RNN)模型上进行了验证.相对于未融入规则信息的基准模型在美国国家标准与技术研究院(NIST)评测集上的评测结果,上述两种模型的双语互译评估(BLEU)值均有所提高.实验表明,将规则等外部知识融入到神经机器翻译系统中是提升模型翻译质量的一种有效途径.     

基于Swin Transformer和CNN的汉字书法教学系统

针对日益增长的汉字书法学习需求,将滑动窗口自注意力(Swin Transformer, ST)模型和卷积神经网络(Convolutional Neural Network, CNN)模型相结合,提出手写体汉字识别ST-CNN模型,进而开发了汉字书法教学系统。实测结果表明,ST-CNN模型识别准确率约为91.6%,较传统的ST模型提升了约0.5个百分点,较传统的CNN模型与ST模型,在收敛速度上分别提升了约10和30个百分点,开发的汉字书法教学系统性能良好。