基于BERT与法条知识驱动的法条推荐方法

针对传统法条推荐方法知识利用不足的问题,结合预训练BERT模型,提出了一种基于司法领域法律条文知识驱动的法条推荐方法。首先基于BERT预训练模型对法条知识和案件描述分别进行表征,并基于双向LSTM对案件描述文本进行特征提取,然后基于注意力机制提取融合法条知识的案件描述文本特征,最终实现法条智能推荐。该方法在法研杯公共数据集上,法条推荐F₁值达到0.88,结果表明,融合法条知识的BERT模型对法条推荐具有显著提升作用,并且可以有效地解决易混淆法条推荐问题。     

一种基于迁移学习的学习资源推荐方法

移动互联网技术的飞速发展和智能终端设备的广泛普及为支持泛在学习(U-Learning)提供了可能.泛在学习是一种随时随地都能发生的在线学习.当前,互联网涌现了一大批可供学习的平台和资源,类似平台包括网易云课堂、Coursera、知乎网、简书网等.手动检索和个性化推荐是在线学习系统提供给用户获取学习资源的常用方式.个性化推荐因其能主动建模学习者偏好,为学习者提供个性化的学习资源推荐服务而受到了广泛关注并成为在线学习领域的研究热点.本文在传统协同过滤个性化推荐系统的基础上提出一种基于迁移学习的学习资源的推荐方法,该方法从已有的数据中学习知识,然后迁移到目标任务中,解决了目标任务中数据过少从而导致学习特征的能力不足的问题.     

基于特征迁移的在线教育导师推荐方法

在推荐系统中,数据稀疏和数据冷启动问题一直是待解决的重要难题。针对推荐系统中用户数量过少、评价数据稀疏、模型启动困难等问题,以及针对在线教育领域存在特征关联的特性,提出了一种全新的基于特征迁移的导师推荐方法。为了迁移出更多有用的信息,该方法基于有限的领域特征,在目标领域和训练领域之间建立了一个基于特征相似度的桥梁。首先,获取训练领域和目标领域的推荐矩阵。然后,向量化用户和项目的特征空间,计算目标领域和训练领域之间特征的相似度。最后,构建特征迁移模型对目标领域进行迁移,得出目标推荐矩阵。研究结果表明,提出的方法能够很好地解决在线教育导师推荐领域中数据冷启动以及数据稀疏问题,与传统的推荐方法相比取得了很好的效果。     

基于迁移学习的实时多类别文本分类方法研究

在实时文本分类任务中经常会有新类别出现,传统的文本分类方法通常难以利用实时的小规模样本学习新类别的模型。提出了一种基于迁移学习的新类别模型训练方法。首先将迁移学习技术和LS －SVM 算法结合,设计正则化项以控制源模型的迁移量及新模型与源模型的相似度,达到增量迁移。其次具体讨论了正则化项的学习方法。实验结果显示该方法相对同类算法有更好的分类性能,可以更高效地完成各种实时文本分类任务。     

一种基于主题模型与迁移学习的文本分类方法

为了消除传统机器学习中分类方法的限制,提出一种基于主题模型与迁移学习的文本分类方法.将文本集合成由共同主题和特定主题所联合起来的混合模型;然后,通过这两类主题相关性推断出不同领域之间主题的映射关系;最后,融合共同主题以及映射后的特定主题形成一个新的特征空间,并在此特征空间中完成文本的分类.实验结果表明,相较于其他分类方...     

基于目标迁移的文本分类技术

本文给出了一种基于目标迁移学习的文本分类方法,用于解决在分类目标发生变化时的训练集重复标注和分类模型重复训练的问题。该方法通过引入一个中间类别体系层作为桥接,首先在中间层类别和目标类别之间建立映射关系,分类时将文本分到中间层类别上,然后根据中间层和目标层的映射来确定目标类别。     

一种基于领域语义相关性挖掘的迁移学习方法

针对基于特征的迁移学习方法 TPLSA只考虑领域共享主题而忽略领域独有主题的不足,提出一种基于领域语义相关性挖掘的迁移学习方法.首先,挖掘领域共享主题与独有主题;然后,构造新特征空间,将源领域、目标领域文本在新特征空间中进行表示;最后,在新特征空间中对目标领域的文本进行分类.实验结果表明该方法具有优越性.     

倾向性文本迁移学习中的特征重要性研究

针对网上电子商务平台不断涌现出的倾向性评价文本,很多迁移学习的方法被提出,用于解决数据不满足独立同分布的问题。本文提出了一种研究不同领域文本特征重要性的框架,并将其嵌入目前的领域迁移学习算法。试验结果表明了这一框架能有效提高现有迁移学习算法的效果,同时说明了特征重要性的研究在迁移学习中的必要性。     

多步桥接精化迁移学习

传统机器学习方法假设训练数据和测试数据分布一致,但在许多实际应用中这个假设并不能得到满足.针对该情况,文中提出了一种非参数化的迁移学习算法--多步桥接精化算法.首先构造一系列中间模型来建立不同领域之间的桥梁,然后在近邻的模型间进行标签传播,实现从源领域到目标领域的判别信息迁移.实验结果表明,分布相近的模型使迁移变得平滑...     

结合表示学习和迁移学习的跨领域情感分类

针对现有跨领域情感分类方法中文本表示特征忽略了重要单词与句子的情感信息, 且在迁移过程中存在负面迁移的问题, 提出一种将文本表示学习与迁移学习算法相结合的跨领域情感分类方法。首先, 利用低维稠密的词向量对文本进行初始化, 通过分层注意力网络, 对文本中重要单词与句子的情感信息进行建模, 从而学习源领域与目标领域的文档级分布式表示。随后, 采用类噪声估计方法, 对源领域中的迁移数据进行检测, 剔除负面迁移样例, 挑选高质量样例来扩充目标领域的训练集。最后, 训练支持向量机对目标领域文本进行情感分类。在大规模公开数据集上进行的两个实验结果表明, 与基准方法相比, 所提方法的均方根误差分别降低1.5%和1.0%, 说明该方法可以有效地提高跨领域情感分类性能。     

用于短期风功率预测的历史数据深度迁移模型

随着全球化石燃料短缺日益严重,可再生能源的开发与利用愈发得到重视。风能是被广泛使用的清洁能源之一,在生产工作中,风力发电作为风能的主要利用形式,需要对其功率进行预测。依托风场日常记录的历史数据,传统学习模型可对风功率进行短期预测,但往往仅使用自己域内的历史数据作为分析对象,该类算法导致结果片面,局限性大,不能有效使用类数据中的隐含联系,抑制原始数据缺失或异常值引起的模型性能下降问题。笔者设计一种基于历史数据深度迁移的短期风功率预测模型。首先,使用带降噪处理的自动编码机构建深度神经网络模型。其次,应用深度迁移方法共享隐藏层,挖掘特征之间的隐含联系。最后,从具有相似特征和地理位置的风场数据中迁移重要知识,提高模型准确率和可靠性。实验结果表明,研究方法较之未使用迁移的方法更充分利用现有数据,预测准确率显著提高。     

基于半监督学习的短文本分类方法

随着万维网的快速普及和发展,Web上出现了大量短文本,如科技文献摘要、微博和电子邮件等.短文本内容短小,相互联系,已标注数据获得困难,导致传统分类方法很难取得较高的分类精度.为了解决短文本分类问题,提出了一种基于半监督学习的迭代分类算法(SS-ICA).它使用较少的已标记数据,利用短文本间的关系进行迭代分类.通过与常用分类方法进行对比表明,在标注数据较少的情况下SS-ICA比其他分类器有更高的分类精度.     

一种基于深度强化学习的室内声学行为识别方法

对声学行为识别的研究目前主要依赖于特定用户的数据,且需要过滤异常值,导致较难获取可用于训练的数据集.提出了一种基于梅尔频谱图与Google AudioSet中提取的embedding的新策略,保证了模型的泛化能力,摆脱了依赖特定用户数据的限制.使用深度强化学习方法对11种常见室内行为进行识别,动态控制数据分布,解决数据不平衡问题.总体识别准确率达到87.5%,对每个行为的识别准确率均超过了83%.     

基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

机器学习的研究

本文对机器学习进行了深入研究,从机器学习的发展历程、研究领域、系统构成及其在分类上的应用四个方面论述了机器学习的发展和应用。     

学习资源精准推荐模型及应用研究

根据属性特征推荐资源,由于存在冷启动和稀疏性问题,限制了在线学习资源推荐的性能.基于知识表示和协同过滤,将学习者的学习水平和学习风格等特征融入推荐过程,进行协同过滤个性化推荐,提出了一种学习资源精准推荐模型,构建了学习者和学习资源知识表示模型;通过实验表明知识表示-协同过滤相结合的推荐算法在个性化推荐和推荐准确度方面优于传统的CF算法.     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。