融合对抗训练和CNN-BiGRU神经网络的新闻文本分类模型

以对抗训练和神经网络为核心,构建文本表示与分类的一体化框架BATCBG,利用BERT和对抗训练充分提高文本表示效果,利用CNN-BiGRU集成神经网络对文本高效准确分类.通过对比实验发现,BATCBG在大幅提升文本分类准确率的同时保证了分类效率,对英文长新闻文本的分类效果提升最大.     

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

基于BERT和改进胶囊网络的关系分类方法

针对关系分类主流模型中存在的空间信息丢失和旋转不变性差的缺点,提出一个基于BERT和多头注意机制-胶囊网络(MA-CapsNet)的算法模型.该模型首先在句子的实体两端插入特殊符号,增强模型对实体信息的表示能力,再通过预训练的BERT语言模型获得包含上下文信息的语义向量表示,然后传入改进后的注重空间位置信息的胶囊网络中学习句子的语义特征并分类.同时引入多头注意力机制进一步提升模型的分类效果.在SemEval-2010 task 8关系分类数据集上,该算法模型取得了90.15%的宏F值.实验表明该模型架构能强化对句子语义特征的捕捉,改善关系分类任务的分类效果.     

基于自训练的蛋白质相互作用关系抽取方法

基于有监督机器学习算法的蛋白质相互作用关系抽取方法仍然面临一个问题:标注数据集有限,导致算法无法得到充分学习。该文首先构造了一个丰富的特征空间,包括句法、词汇、词性等特征;然后,该文对不同数据集数据分布的不一致性进行了分析,在此基础上提出了一种基于自训练的数据添加算法,通过不断从未标注数据集中选择置信度高的样本加入到已标注数据集中,扩大数据集规模,提高算法效率。实验结果表明:在5个常用的蛋白质相互作用关系数据集上,该方法均有助于提高抽取性能。     

基于注意力机制归纳网络的小样本关系抽取模型

针对小样本关系抽取问题,提出一种基于注意力机制的归纳网络.首先,利用归纳网络中的动态路由算法学习类别表示;其次,提出实例级别的注意力机制,用于调整支持集,并获取支持集与查询集样本之间的高级信息,进而获得与查询实例更相关的支持集样本.该模型很好地解决了训练数据不足时如何进行关系抽取的问题.在小样本关系抽取数据集FewRel上进行实验,得到的实验结果为：5-way 5-shot情形下准确率为(88.38±0.27)%,5-way 10-shot情形下准确率为(89.91±0.33)%, 10-way 5-shot情形下准确率为(77.92±0.44)%, 10-way 10-shot情形下准确率为(81.21±0.39)%.实验结果表明,该模型能适应任务并且优于其他对比模型,在小样本关系抽取中取得了优于对比模型的结果.     

基于外部知识的药物相互作用关系抽取方法

药物相互作用是指药物之间存在的抑制或促进等作用. 针对目前方法在不同关系类别上的抽取结果差异较大的问题,论文提出了一种利用外部知识的关系抽取模型,该方法首先对外部药物数据库中的信息进行处理,构建带有药物描述信息的数据集,然后在该数据集上进行模型训练,并保存最优模型,最后将该最优模型与药物关系抽取模型相结合,进行药物关系抽取,从而更好的利用了药物数据库中已有的知识,缓解了不同关系类别抽取结果差异较大的问题,提高了抽取效果. 在DDIExtraction 2013数据集上的实验结果表明,论文方法的F1值优于目前最优方法2.47%.     

基于小样本学习的中文文本关系抽取方法

实体关系抽取作为文本挖掘和信息抽取的核心任务,是知识图谱构建过程中的关键一环。然而人工建立大规模有标签的数据耗时耗力。使用小样本学习来进行关系抽取,仅仅需要少量样本实例就能使模型学会区分不同关系类型的能力,从而缓解大量无标签数据带来的标注压力。本文对中文关系抽取数据集FinRE进行了重构使之适用于少样本学习,并引入了语义关系网络HowNet对实体进行更为精确的语义划分,并在此基础上使用双重注意力机制提高句子编码质量,从而提高了模型在面对噪声数据时的效能,减轻了长尾关系的影响。使用本文的方法在该中文数据集进行了评估,与原始原型网络相比,基于句子级别与实体级别的注意力机制的原型网络在抽取准确率上提升了1%～2%的性能。     

足球比赛中对抗特征与对抗训练研究

本文采用文献、影视资料方法，从技术角度对足球比赛中的对抗特征反对抗训练进行研究探讨。结论为：足球比赛的对抗具有综合性、激烈性、协同性和随机性特征；只有严格的、针对性的、针锋相对的对抗训练，才是提高运动员比赛能力的有效途径。     

多信息融合中文关系抽取技术研究

实体关系抽取是信息抽取的重要组成部分.描述了一种融合多信息的实体语义关系抽取方法,充分利用中文的各种特征和信息来提高关系抽取的性能.该方法主要结合特征向量和树核函数两种方法;特征向量表示了文本的语言信息,树核方法表示了文本的结构化信息.并且在2005年的自主内容抽取(automatic content extraction,ACE)基准语料上进行关系检测和6个关系大类抽取的实验.实验结果表明,该方法能识别出大部分的非关系实例,各种关系类型识别的精确率和召回率也有一定提高.     

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.     

基于关系触发词与单层GRU模型的关系抽取方法

基于关系触发词与单层门控循环单元模型进行关系抽取, 以降低关系抽取模型结构的复杂度, 并提高模型的训练效率. 通过计算单词的依存距离与序列距离得到关系触发词, 利用单层门控循环单元模型进行关系抽取, 并在SemEval 2010 Task 8数据集上进行实验. 实验结果表明, 该方法能有效提取出关系触发词, 并具有较高的关系抽取准确率.     

基于局部对抗训练的命名实体识别方法研究

命名实体识别研究中,数据集内普遍存在实体与非实体,实体内部类别间边界样本混淆的问题,极大地影响了命名实体识别方法的性能.提出以BiLSTM-CRF为基线模型,结合困难样本筛选与目标攻击对抗训练的命名实体识别方法.该方法筛选出包含大量边界样本的困难样本,利用边界样本易被扰动偏离正确类别的特性,采用按照混淆矩阵错误概率分布的目标攻击方法,生成对抗样本用于对抗训练,增强模型对混淆边界样本的识别能力.为验证该方法的优越性,设计非目标攻击方式的全局、局部对抗训练方法与目标攻击全局对抗训练方法作为对比实验.实验结果表明,该方法提高了对抗样本质量,保留了对抗训练的优势,在JNLPBA、MalwareTextDB、Drugbank三个数据集上F1值分别提升1.34%、6.03%、3.65%.     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

基于生成式对抗网络的字体风格迁移方法

针对风格多样的中文字体设计和复杂操作的问题,提出一种生成式对抗网络的汉字风格迁移和字库设计方法。将宋体与黑体作为测试数据集,将瑞虎宋体作为目标数据集,通过生成式对抗网络对抗训练方法,使宋体与黑体字风格转换为瑞虎宋体风格。通过实验生成的字体图像轮廓更加平滑和美观,表明本文提出的方法能够显著提高对字形设计的工作效率。     

基于注意力机制语义增强的文档级关系抽取

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制（Attention）语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集（DocRED、CDR、GDA和DWIE）上评估了Att-DocuNet模型并取得了良好的实验结果。     

基于生成对抗单分类网络的异常声音检测

针对正常和异常声音可能具有较大的相似性, 有时无法利用自编码器重构误差大小区分的问题, 提出一种生成对抗单分类网络方法进行异常声音检测, 通过多次训练, 该方法学习正常样本的分布特征. 在测试过程中, 测试正常样本能以极小的误差进行重构, 而异常样本重构效果较差, 在某些频率段会发生畸变, 从而给出判别分类结果. 实验采用UrbanSound8K公开数据集和实测电机声音数据集进行了测试, 获得该方法的准确率分别为86.3%和98.1%, 比卷积自动编码器等主要深度学习方法分别提高了5.0%和3.0%.     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.