面向Mashup的质量感知Web API推荐

近年来，网络中Web API的数量日益增多，如何面向Mashup应用推荐合适的高质量Web API已成为研究的热点问题，现有的方法忽略了Web API质量信息对推荐的影响从而制约了其性能.深度学习技术为进一步提高Web API推荐的准确性提供了新的解决方案，如何利用Web API质量信息并结合深度网络模型进行高精度推荐也成为关键问题.为此，提出了一种Web API质量感知的深度推荐模型.首先，使用BERT预训练模型作为文本编码器对Mashup和Web API的文本描述特征进行提取；然后，借助自注意力机制对Web API的质量信息进行融合，并利用所得的Web API质量增强特征进行推荐.基于真实数据集的实验结果表明，对比基线方法，该模型在Web API推荐任务的top-1准确率、召回率和归一化折损累积增益指标上分别提高了3.97%、3.45%和3.97%.     

基于改进的稀疏降噪自编码网络的三维模型识别方法

针对海量数据挖掘中三维模型特征识别准确率较低的问题, 提出一种改进的稀疏降噪自编码神经网络模型. 先基于改进的稀疏降噪自编码方法构建深度神经网络模型, 再利用无监督预训练方法及受限的拟牛顿计算方法对自编码神经网络进行训练, 最后采用softmax回归和得到的特征训练最终的分类器. 结果表明: 该方法对有噪声的三维模型特征信息具有较好的鲁棒性; 与栈式自编码神经网络和自学习神经网络相比, 该方法识别率较高.     

基于BERT与法条知识驱动的法条推荐方法

针对传统法条推荐方法知识利用不足的问题,结合预训练BERT模型,提出了一种基于司法领域法律条文知识驱动的法条推荐方法。首先基于BERT预训练模型对法条知识和案件描述分别进行表征,并基于双向LSTM对案件描述文本进行特征提取,然后基于注意力机制提取融合法条知识的案件描述文本特征,最终实现法条智能推荐。该方法在法研杯公共数据集上,法条推荐F₁值达到0.88,结果表明,融合法条知识的BERT模型对法条推荐具有显著提升作用,并且可以有效地解决易混淆法条推荐问题。     

开放域对话系统的抗噪回复生成模型

为缓解输入语句中噪声对回复生成模型的干扰,提出一个基于编码-解码框架的抗噪模型.首先,在训练集输入序列中随机加入模拟噪声字符;然后,在编码端输出层训练噪声字符识别,提升模型对噪声特征的提取能力;最后,在编码端输出层融合预训练语言模型,扩大模型对噪声的覆盖面.为验证该模型的抗噪效果,构建首个带真实噪声的单轮开放域闲聊系统...     

基于特征迁移的在线教育导师推荐方法

在推荐系统中,数据稀疏和数据冷启动问题一直是待解决的重要难题。针对推荐系统中用户数量过少、评价数据稀疏、模型启动困难等问题,以及针对在线教育领域存在特征关联的特性,提出了一种全新的基于特征迁移的导师推荐方法。为了迁移出更多有用的信息,该方法基于有限的领域特征,在目标领域和训练领域之间建立了一个基于特征相似度的桥梁。首先,获取训练领域和目标领域的推荐矩阵。然后,向量化用户和项目的特征空间,计算目标领域和训练领域之间特征的相似度。最后,构建特征迁移模型对目标领域进行迁移,得出目标推荐矩阵。研究结果表明,提出的方法能够很好地解决在线教育导师推荐领域中数据冷启动以及数据稀疏问题,与传统的推荐方法相比取得了很好的效果。     

基于预训练语言模型的语法错误纠正方法

自然语言处理中的语法错误纠正(GEC)任务存在着低资源性的问题,学习GEC模型需要耗费大量的标注成本以及训练成本.对此,采用从掩码式序列到序列的预训练语言生成模型(MASS)中的迁移学习方式,充分利用预训练模型已提取的语言特征,在GEC的标注数据上微调模型,结合特定的前处理、后处理方法改善GEC模型的表现,从而提出一种新的GEC系统(MASS-GEC).在两个公开的GEC任务中评估该系统,在有限的资源下,与当前GEC系统相比,达到了更好的效果.具体地,在CoNLL14数据集上,该系统在强调查准率的指标F_0.5上表现分数为57.9;在JFLEG数据集上,该系统在基于系统输出纠正结果与参考纠正结果n元语法重合度的评估指标GLEU上表现分数为59.1.该方法为GEC任务低资源问题的解决提供了新视角,即从自监督预训练语言模型中,利用适用于GEC任务的文本特征,辅助解决GEC问题.     

面向中文语音情感识别的改进栈式自编码结构

为进一步提高汉语语音情感识别率,基于深度学习中的自编码、降噪自编码及稀疏自编码的网络结构,提出了一种改进的栈式自编码结构.该结构第1层使用降噪自编码学习一个比输入特征维数更大的隐藏特征,第2层采用稀疏自编码学习稀疏性特征,最后使用softmax分类器进行分类识别.训练过程首先采用逐层预训练的方法,达到网络参数全面初始化的目的,然后对整个网络进行微调.在中文语音库上的情感识别实验显示,相较于单独使用栈式降噪或稀疏自编码,所提结构具有更好的识别效果.此外,基于CASIA库的对比实验显示,该结构比K近邻算法、稀疏表示方法、传统支持向量机和人工神经网络识别率分别提高了53.7%,29.8%,14.3%和1.9%.在自行录制的语音库中,该结构的识别率比人工神经网络提高了1.64%.     

一种融合关系抽取的推荐系统

针对现有基于内容的推荐方法中存在的知识利用不充分问题,提出了一种融合关系抽取的推荐系统,在用word2vec模型对物品知识进行编码的基础上,用补充模板特征的关系抽取模型对物品知识进行了更深层次的挖掘,构建了增强知识图谱,进而获得增强实体特征,与文本特征、基础实体特征融合后构建物品特征.实验证明,融合关系抽取的推荐系统推荐效果优于同类模型,并且各个部分的改进都是有效的.     

基于ChineseBert的中文拼写纠错方法

中文拼写错误主要集中在拼音相似和字形相似两个方面，而通用的预训练语言模型只考虑文本的语义信息，忽略了中文的拼音和字形特征.最新的中文拼写纠错（Chinese Spelling Correction,CSC）方法在预训练模型的基础上利用额外的网络来融入拼音和字形特征，但和直接微调预训练模型相比，改进的模型没有显著提高模型的性能，因为由小规模拼写任务语料训练的拼音和字形特征，和预训练模型获取的丰富语义特征相比，存在严重的信息不对等现象.将多模态预训练语言模型ChineseBert应用到CSC问题上，由于ChineseBert已将拼音和字形信息放到预训练模型构建阶段，基于ChineseBert的CSC方法不仅无须构建额外的网络，还解决了信息不对等的问题.由于基于预训练模型的CSC方法普遍不能很好地处理连续错误的问题，进一步提出SepSpell方法 .首先利用探测网络检测可能错误的字符，再对可能错误的字符保留拼音特征和字形特征，掩码对应的语义信息进行预测，这样能降低预测过程中错误字符带来的干扰，更好地处理连续错误问题.在三个官方评测数据集上进行评估，提出的两个方法都取得了非常不错的结果 .     

基于学术社区的科技论文推荐方法

现有科技论文推荐方法的推荐质量以及效率仍有不断提高的需要,同时海量虚拟网络社区的用户信息为进行协同推荐提供了新的方式,为此提出一种以学术社区服务系统为基础,面向学术社区用户的新型科技论文推荐方法. 该方法可充分利用社区用户信息改善科技论文推荐质量以及效率. 对该方法所涉及的学术社区服务系统设计、网络社区发现以及基于网络社区的协同推荐算法等关键问题的实现思路进行了详细阐述. 实际应用表明,该方法可为科研用户提供更准确、更可信的论文推荐服务.     

基于ProtBert预训练模型的HLA-Ⅰ和多肽的结合预测算法

针对现有的第Ⅰ类HLA(HLA-Ⅰ)分子与多肽结合亲和力预测算法在特征构造时依赖传统序列评分函数的问题,为突破用经典机器学习算法构造氨基酸序列特征的局限性,提出一种基于蛋白质预训练模型ProtBert的HLA-Ⅰ与多肽的结合预测算法ProHLAⅠ.该算法利用生命体语言与文本语言在组成上的共性,将氨基酸序列类比句子,通过整合ProtBert预训练模型、 BiLSTM编码和注意力机制的网络结构优势,对HLA-Ⅰ序列和多肽序列进行特征提取,从而实现HLA-Ⅰ独立于位点的多肽结合预测.实验结果表明,该模型在两组独立测试集中均取得了最优性能.     

基于实体信息和图神经网络的药物相互作用关系抽取

药物相互作用是指药物与药物之间相互促进或抑制.针对现有的药物关系抽取方法利用外部背景知识和自然语言处理工具导致错误传播和积累的问题，以及现有大多数研究在数据预处理阶段对药物实体进行盲化，忽略了有助于识别关系类别的目标药物实体信息的问题.论文提出了基于预训练生物医学语言模型和词汇图神经网络的药物相互作用关系抽取模型，该模型通过预训练语言模型获得句子的原始特征表示，在基于数据集构建的词汇图上进行卷积操作获得与句子相关的全局特征信息表示，最后与药物目标实体对特征进行拼接从而构建药物相互作用关系提取任务的特征表示，在获得丰富的全局特征信息的同时避免了使用自然语言处理工具和外部背景知识，提升模型的准确率.论文的模型在DDIExtraction 2013数据集上的F₁值达到了83.25%,优于目前最新方法2.35%.     

一种基于用户信息映射的跨领域推荐算法

冷启动问题一直是推荐系统中的一大难点,而跨领域推荐可以通过迁移其他领域的信息缓解这个问题．本文提出一种基于用户信息映射的跨领域推荐算法,它可以在具有少量标记数据的情况下有效地学习跨域关系,并利用标签提高用户和物品编码的准确性．首先学习用户和物品的潜在向量,并改进降维方法将其处理成低维稠密向量;然后生成用户种群,利用偏好不同的用户种群训练映射函数,通过映射函数映射用户信息提高推荐效果．通过实验探究各个参数对实验结果的影响,验证了本文模型对重叠用户数量的依赖更低,相较于基准实验,有更好的推荐准确性,同时表明本文方法有更好的推荐效果．     

基于条件变分自编码器的问题生成方法

将条件变分自编码器作为辅助模块,引入预训练语言模型的编码解码过程,通过数据增强(潜在的语义扩充)以提高模型的鲁棒性。通过建立陈述句与疑问句之间的高维分布联系,由分布采样实现一对多的问题生成。结果表明,融合条件变分自编码器不仅能生成多样性的问题,也有助于提升问题生成的模型性能。在基于SQuAD数据集划分的2个答案可知问题生成数据集Split1和Split2上,BLEU-4值分别被提升到20.75%和21.61%。     

基于迁移学习的适用法条推荐模型

本文提出了一个基于法律事实的适用法条推荐模型.作为应用,本文选取了刑事诈骗罪和民事离婚纠纷两个案由的裁判文书数据集,使用FastText模型,并基于迁移学习方法从预训练的通用词向量出发训练法律词向量,再以此为基础进行文本分类.结果显示,经过迁移学习后,无论诈骗罪案件还是离婚纠纷案件均能做到对案情描述文本全面、准确地推荐适用法条,特别是具有针对性的法规、司法解释等.随着迁移学习模式的不断完善,本文研究的方法还应该可进一步用于证据推送、量刑预测等.     

基于seq2seq模型的标签推荐方法

针对NPM平台上存在大量的软件包没有标签或标记不完善的问题, 提出一种基于seq2seq模型的深度学习方法为软件包推荐标签. 首先, 利用ECMAScript工具分析软件包的源码构建出包的函数调用图, 遍历函数调用图从而将软件包转换成一组具有包语义信息的函数调用序列; 其次, 训练seq2seq模型, 并将训练好的模型用于软件包的标签推荐工作, 该模型能将包的函数调用序列映射到一组预测的标签序列上, 从而完成软件包的标签推荐. 实验结果表明, 该方法能为软件包推荐一组合理的标签, 准确率达82.6%.     

融合分类与协同过滤的情境感知音乐推荐算法

针对用户情境信息,提出一种融合分类与协同过滤的情境感知音乐推荐算法. 首先,通过计算用户情境信息的相似度,由协同过滤算法得到初始音乐推荐列表;然后通过机器学习算法训练分类模型,得出用户在特定情境下的音乐类型偏好;最后将协同过滤得到的推荐列表与分类模型得到的音乐类型偏好进行融合,为特定情境的用户提供个性化音乐推荐. 该算法不仅有效地降低了推荐过程的复杂度,还使传统的协同过滤推荐算法具备了情境感知的能力. 实验结果表明,该方法可以有效地提高个性化音乐推荐系统的性能.     

基于双注意力深度学习的在线资源推荐

为了提高在线资源推荐的性能，采用深度学习卷积神经网络(Convolutional neural network, CNN)进行资源推荐，同时对资源-用户特征进行双注意力机制特征提取，以进一步提高推荐精准度。对资源-用户特征进行编码并初始化，分别进行通道注意力机制运算和空间注意力机制运算。将两个注意力机制的运算结果加权求和得到新的用户-资源特征。建立基于CNN的在线资源推荐模型，并以资源和用户的最小特征差作为损失函数进行迭代优化，从而求解出CNN网络参数。通过双注意力机制的用户-资源特征输入到CNN模型，并执行训练以获得符合用户需求的推荐结果。试验结果表明，通过合理设置双注意力机制通道数及卷积核尺寸等参数，可以有效提高双注意力CNN的推荐性能。与常用资源推荐算法相比，所提算法在推荐准确度及稳定性方面均具有一定的提升。     

结构特征一致性约束的双语平行句对抽取

平行句对抽取是解决低资源神经机器翻译平行语料不足的有效途径.基于孪生神经网络的平行句对抽取方法的核心是通过跨语言语义相似度判断2个句子是否平行,在相似的语言对上取得了非常显著的效果.然而针对英语东南亚语言双语句对抽取任务,面临语言空间和句子长度存在较大差异,仅考虑跨语言语义相似度而忽略句子长度特征会导致模型对仅有语义包含关系但不平行句对的误判.笔者提出一种结构特征一致性约束的双语平行句对抽取方法,该方法是对基于孪生神经网络的双语平行句对抽取模型的扩展,首先通过多语言BERT预训练语言模型在嵌入层将两种语言编码到同一语义空间,以此缩小语义空间中语言的差异.其次分别对两种语言句子的长度特征进行编码,与孪生网络编码后的句子语义向量进行融合,增强平行句对在语义及结构特征上的表示,降低模型对语义相似但不平行句对的误判.在英缅双语数据集上进行实验,结果表明提出的方法相比基线模型准确率提高了4.64％,召回率提高了2.52％,F1值提高了3.51％.     

基于情感分析和Word2Vec的图书推荐方法

为能够向广大读者精准推荐所需图书,达到节省搜寻精力和时间的目的,在传统图书推荐方法的基础上,将读者评论中的情感因素考虑在内,提出了一种基于情感分析和Word2Vec的图书推荐方法:抓取豆瓣网上的图书数据,构建专有特征数据集;针对情感词典设计了相应的情感计算规则,利用训练好的Word2Vec模型扩充情感词汇;通过情感词典完成对读者评论的情感分析,并将提取到的情感特征加入特征集内;采用随机森林算法对其进行口碑分类.研究发现,该方法优于基于原始特征集的方法,实验准确率和F值均有一定提升,是向读者实现图书精准推荐的有效途径,具有一定的实用价值和应用前景.