基于半监督学习的小语种机器翻译算法

近年来,基于神经网络的机器翻译取得了快速发展,然而由于它需要大规模的平行语料库,所以对于资源稀缺的小语种的翻译往往显得效果不佳.在分析编码-解码框架和注意力机制的基础上,基于对偶学习的思想,提出了一种面向小语种翻译的半监督神经网络模型.该模型利用较大的单语语料库与少量平行语料库来实现小语种翻译.实验结果表明,当平行语料资源不足以训练一个普通神经网络模型时,使用半监督网络模型能够取得较好的结果,但所采用的半监督学习模型对单语语料库的数量要求非常高,要达到一定数量级才能达到良好效果.     

融合注意力机制下的弱监督目标检测

针对现有的弱监督目标检测算法由于缺乏实例级类别的注释,易出现局部定位的问题,提出一种基于空间-通道注意力机制与多实例优化回归网络相结合的弱监督目标检测算法。通过在特征提取网络中引入注意力模块,发掘出更为优质的初始伪真值标签,有效地提取了隐含的位置信息。在网络训练阶段引入自适应的策略挖掘出训练细化分支的有效监督,实现对卷积神经网络中实例分类器的优化,同时以端到端的方式进行模型的训练,避免网络过多地关注目标的显著区域而不是整个对象,从而使模型跳出局部最优,提升模型的检测性能。在PASCAL VOC 2007和VOC 2012大规模数据集上的实验结果表明,提出的算法拥有比近几年主流方法更好的检测性能,有效缓解了局部定位的问题。     

基于对比自监督的遥感图像场景分类

基于视觉Transformer的自监督模型掩码自编码器因其优秀的全局特征捕捉能力，被广泛应用于遥感图像分类领域。但该模型存在图像重建训练时局部上下文语义信息易丢失从而限制其分类精度的进一步提升。针对以上问题，本文提出了融合掩码重建和对比学习的三阶段自监督遥感图像分类新模型——对比掩码自编码器。第一阶段进行掩码重建预训练，以提取遥感图像全局特征；第二阶段则通过对比学习中的正负样本补充第一阶段掩码建模过程中丢失的局部上下文信息；最后通过训练线性分类器完成特征分类。在公开遥感图像数据集AID和NWPU-RESISC45上将本文方法与主流自监督分类方法、监督分类方法进行对比实验。实验结果表明，该模型在两个数据集上分类精度分别达到95.37%和95.14%,性能优于DINO、MoCo、SSGANs等主流自监督模型，接近GLANet、CANet、MG-CAP (Sqrt-E)等主流监督模型，具有良好的应用价值。     

基于语义模式的半监督中文观点句识别研究

大规模和高质量的标注语料是进行监督算法分类器训练的重要前提,而进行大规模的语料标注是一项费时费力的工作,并且针对特定的领域还需要该领域专家的介入.提出一种基于语义模式的半监督中文观点句识别方法,可以通过小规模语料的训练识别出中文观点句.首先,通过语义模型提取算法从训练集当中识别出观点句语义模型和非观点句语义模型;然后,将两种模型转化为语义特征,并且加入词汇特征和词性特征两方面特征,通过BootStrapping对小规模标注语料进行训练,得到朴素贝叶斯分类器;接着,使用朴素贝叶斯分类器对大规模未标注的语料进行分类,将可信度高的样本加入训练模型迭代进行训练,直到无样本加入;最后经过多轮迭代得到最终的分类器.实验表明,该方法在只具备少量样本的情况下就可达到83.7%的准确性,证明了该方法的有效性.     

基于CTC-GRU模型的长沙方言识别

为了识别大词汇量下连续长沙话方言语音,提出了基于CTC算法的门控线性单元神经网络模型.先通过梅尔倒谱系数提取语音的特征参数,再把提取的特征参数输入门控线性单元神经网络,用CTC算法进行训练优化,得到输入序列整个的预测标签.最后在自建的长沙话方言语料库上,以词错率作为评价指标,对CTC模型、GRU模型和CTC-GRU模型进行对比,结果表明CTC-GRU模型相对于其他2个模型收敛速度更快,结果更精准.     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

面向大语料库的语音合成方法研究

针对几百小时粗标注大语料库, 提出一种新颖的语音合成系统构建方法。首先, 借助于语音识别、文本对齐和句法分析等技术实现大语料库的自动筛选与标注。 然后, 为了有效解决大语料库声学模型训练中存在的内存空间以及计算时间开销过大等问题, 优化了传统的训练流程, 在不损失声学模型准确性的前提下, 显著提高了模型的训练速度。主观实验表明, 与具有精标注的小语料库相比, 引入粗标注的大语料库可以带来0.5分左右的MOS提升。     

基于有效特征选择的高价值移动通信用户预测方法

高价值移动通信用户预测是电信客户关系管理中的一项重要内容。针对建立预测模型时遇到的高维、大规模、类不平衡等数据处理问题,提出了一种基于有效特征选择的预测方法。利用欠采样方式从初始不平衡数据集提取多个平衡训练集,使用结合Pearson相关性分析和随机森林特征重要性评估的特征选择策略,在集成学习方法中嵌入加权和投票机制获得最优的特征子集,最后采用随机森林算法建立预测模型。实验结果表明,该预测模型可以有效降低特征集的维度并提升对高价值移动通信用户的预测性能。     

基于BERT模型的司法文书实体识别方法

采用手工分析案件卷宗，容易产生案件实体遗漏现象及提取特征效率低下问题.为此，使用基于双向训练Transformer的编码器表征预训练模型.在手工标注的语料库中微调模型参数，再由长短时记忆网络与条件随机场对前一层输出的语义编码进行解码，完成实体抽取.该预训练模型具有巨大的参数量、强大的特征提取能力和实体的多维语义表征等优势，可有效提升实体抽取效果.实验结果表明，本文提出的模型能实现89%以上的实体提取准确度，显著优于传统的循环神经网络和卷积神经网络模型.     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。