基于特征空间嵌入的对比知识蒸馏算法

因能有效地压缩卷积神经网络模型,知识蒸馏在深度学习领域备受关注。然而,经典知识蒸馏算法在进行知识迁移时,只利用了单个样本的信息,忽略了样本间关系的重要性,算法性能欠佳。为了提高知识蒸馏算法知识迁移的效率和性能,文中提出了一种基于特征空间嵌入的对比知识蒸馏（FSECD）算法。该算法采用批次内构建策略,将学生模型的输出特征嵌入到教师模型特征空间中,使得每个学生模型的输出特征和教师模型输出的N个特征构成N个对比对。每个对比对中,教师模型的输出特征是已优化、固定的,学生模型的输出特征是待优化、可调优的。在训练过程中,FSECD缩小正对比对的距离并扩大负对比对的距离,使得学生模型可感知并学习教师模型输出特征的样本间关系,进而实现教师模型知识向学生模型的迁移。在CIFAR-100和ImageNet数据集上对不同师生网络架构进行的实验结果表明,与其他主流蒸馏算法相比,FSECD算法在不需要额外的网络结构和数据的情况下,显著提升了性能,进一步证明了样本间关系在知识蒸馏中的重要性。     

面向中文基础教育知识图谱的关系抽取模型

在构建中文基础教育知识图谱过程中,使用远程监督的方法能够有效解决训练语料匮乏的问题,同时使用神经网络模型能够提升构建过程中关系抽取的准确率.为了缓解远程监督中引入的错误标签带来的影响,模型通过双向门限循环单元(bidirectional gated recurrent unit)获取双向上下文中的语义信息,同时引入句子...     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

基于扩展Span表示的电力变压器运维知识抽取与知识图谱构建

为实现电力变压器运维知识的有效沉淀,以运维文本为研究对象,提出一种融合规则的电力变压器运维知识图谱深度构建框架.首先根据专家指导自顶向下构建知识图谱概念层;然后融合规则和深度神经网络模型抽取知识,构建知识图谱的数据层.针对运维文本中的实体界限模糊和上下文信息利用不充分问题,提出一种通过扩展上下文信息和BERT(bidirectional encoder representations from transformers)获取扩展Span标签的方法,用于实体和关系抽取.算例分析表明,该方法在电力变压器运维数据集中知识抽取效果良好.     

利用关系抽取技术联合识别文本中的方面-极性对

方面级情感分析旨在识别出句子中显式提及的方面及其情感极性,是细粒度情感分析中的重要任务.现有使用序列标注进行方面级情感分析的方法存在当方面(aspect)由多个单词构成时,每个单词的情感极性可能不一致,而基于跨度(span)的方法存在因方面标签和情感标签混合而导致的标签异质问题,同时现有的研究忽略了文本中方面-情感极性对之间的相互关联.为了解决上述问题,受关系抽取技术的启发,本文将方面-情感极性对抽取视作一元关系抽取问题,其中方面看成论元,其对应的情感极性作为关系,通过序列解码捕捉方面-情感极性对之间的关联.本文在3个数据集上进行了一系列实验来验证模型的有效性,实验结果表明,其性能超过了现有的最佳模型.     

基于外部知识的药物相互作用关系抽取方法

药物相互作用是指药物之间存在的抑制或促进等作用. 针对目前方法在不同关系类别上的抽取结果差异较大的问题,论文提出了一种利用外部知识的关系抽取模型,该方法首先对外部药物数据库中的信息进行处理,构建带有药物描述信息的数据集,然后在该数据集上进行模型训练,并保存最优模型,最后将该最优模型与药物关系抽取模型相结合,进行药物关系抽取,从而更好的利用了药物数据库中已有的知识,缓解了不同关系类别抽取结果差异较大的问题,提高了抽取效果. 在DDIExtraction 2013数据集上的实验结果表明,论文方法的F1值优于目前最优方法2.47%.     

基于关系树的知识查询算法研究

在关系模型的语义网知识表示基础上,将关系模型转换成关系树.基于此关系树模型,提出一般直接知识的正向.逆向知识查询算法,对不能直接查询的知识,进一步提出隐含知识查询算法,结果表明,提出的查询算法能有效地解决基于知识库知识查询的相关问题.     

结合编解码器与知识蒸馏的图像超分辨率方法

针对传统的知识蒸馏方法无法在超分辨率网络之间传递有效信息的局限性,提出了一种适用于超分辨率任务的知识蒸馏训练框架。借鉴编解码器的结构特点,使用编码器去捕捉高清图像中的高频信息,利用性能较好的大网络去构建解码器,通过特征知识蒸馏的方式,将大网络中的高频信息传递给性能较弱的小网络,达到无需修改小网络的结构便能有效提升小网络高分辨率图像重建的效果,训练出轻量级的超分辨网络。通过与现有算法进行定量比较可知,提出的算法能在相同计算资源下取得更优的性能表现。     

基于多任务蒸馏的意图识别和槽位填充

BERT等预训练模型在很多NLP任务上取得了良好的效果,但预训练模型参数规模大,运算量大,对硬件资源要求高,难以部署在小型的配置环境中。模型压缩是解决该问题的关键,知识蒸馏是目前较好的模型压缩方法。基于此,提出基于多任务蒸馏的句意图识别和槽位填充联合模型,该模型将ALBERT运用到任务型对话系统中,并利用知识蒸馏策略将ALBERT模型知识迁移到BiLSTM模型。实验结果表明,基于ALBERT的联合模型在SMP 2019评测数据集中的句准确率为77.74%,单独训练的BiLSTM模型句准确率为58.33%,而蒸馏模型的句准确率为67.22%,在比BiLSTM高8.89%的情况下,推断速度约为ALBERT的18.9倍。     

多层次自适应知识蒸馏的轻量化高分遥感场景分类

针对深度神经网络模型计算量大且耗时,而轻量化模型速度快但精度低,二者均无法直接应用在嵌入式设备上的问题,本文提出一种多层次自适应知识蒸馏方法提升轻量化模型的性能。首先,针对遥感影像类别间差异程度不均衡,通过改进输出层知识蒸馏中的温度机制,提出一种自适应温度机制,促进学生模型更好地学习大而深的教师模型的输出层概率分布知识;然后,通过添加辅助卷积块以融入特征层的知识蒸馏方法,使学生模型学习教师模型的多层次知识。在两个高分遥感场景分类数据集上的实验验证本文方法的有效性。     

数据挖掘之道

数据挖掘,就是从大量的数据中,抽取出潜在的、有价值的知识、模型或规则的过程.随着信息技术的迅速发展和企业信息化的深入,企业积累的数据越来越多.数据的背后隐藏着许多重要信息,企业自然希望能够对其进行更高层次的分析,以便更好地利用这些数据.数据库系统可以高效地实现数据的录入、修改、统计、查询等功能,但无法发现数据中存在的关系和规则,无法根据现有的数据预测未来的发展趋势,导致了"数据爆炸但知识贫乏"的现象.     

联合罪名预测的涉案新闻重叠实体关系抽取

涉案新闻重叠实体关系抽取对于构建案件知识图谱有着重要意义。传统的方法通过定位关系指示符来抽取重叠实体关系,在涉案新闻中,预测罪名的关键词可以作为定位关系指示符的重要依据。该文提出一种联合罪名预测的涉案新闻重叠实体关系抽取方法。预测罪名,将罪名向量融入到关系分类和实体标签分类的状态向量中,实现重叠实体关系抽取。为了缓解因联合罪名预测而给重叠实体关系抽取带来的错误传播问题,引入一种分层级联强化学习机制,将整个过程分解为罪名预测层和重叠实体关系抽取层,利用罪名指导重叠实体关系抽取,帮助重叠实体关系抽取层优化强化学习策略。将重叠实体关系抽取结果反馈给罪名预测层帮助罪名预测层优化强化学习策略。试验表明:该文提出的模型相比基线模型的F1指标提升了4%。     

特征图自适应知识蒸馏模型

针对嵌入式和移动设备的计算和存储资源受限, 紧凑型网络优化易收敛至较差局部最优解的问题, 提出一个特征图自适应知识蒸馏模型, 其由特征图适配器和特征图自适应知识蒸馏策略构成. 首先, 特征图适配器通过异构卷积与视觉特征表达模块的堆叠实现特征图尺寸匹配、 教师学生网络特征同步变换及自适应语义信息匹配. 其次, 特征图自适应知识蒸馏策略将适配器嵌入教师网络对其进行重构, 并在训练过程中实现适合用于学生网络隐藏层监督特征的自适应搜索; 利用适配器前部输出提示学生网络前部训练, 实现教师到学生网络的知识迁移, 并在学习率约束条件下进一步优化. 最后, 在图像分类任务数据集cifar-10上进行实验验证, 结果表明, 特征图自适应知识蒸馏模型分类正确率提高0.6%, 推断损失降低65%, 并将收敛至78.2%正确率的时间减少至未迁移时的5.6%.     

基于小样本学习的中文文本关系抽取方法

实体关系抽取作为文本挖掘和信息抽取的核心任务,是知识图谱构建过程中的关键一环。然而人工建立大规模有标签的数据耗时耗力。使用小样本学习来进行关系抽取,仅仅需要少量样本实例就能使模型学会区分不同关系类型的能力,从而缓解大量无标签数据带来的标注压力。本文对中文关系抽取数据集FinRE进行了重构使之适用于少样本学习,并引入了语义关系网络HowNet对实体进行更为精确的语义划分,并在此基础上使用双重注意力机制提高句子编码质量,从而提高了模型在面对噪声数据时的效能,减轻了长尾关系的影响。使用本文的方法在该中文数据集进行了评估,与原始原型网络相比,基于句子级别与实体级别的注意力机制的原型网络在抽取准确率上提升了1%～2%的性能。     

基于知识蒸馏的差异性深度集成学习

深度神经网络模型在图像识别、语音识别等领域表现出了优异的性能,但高性能的模型对计算资源提出了更高的要求,存在难以部署于边缘设备的问题,对此提出一种基于知识蒸馏的差异性深度集成学习。首先对成员模型进行知识蒸馏,然后使用余弦相似度作为损失函数的正则化项对成员模型进行集成,最后得到训练好的模型。在MNIST(Mixed National Institute of Standards and Technology)和CIFAR10(Canadian Institute for Advanced Research)数据集上的试验结果表明,基于知识蒸馏的差异性深度集成学习在压缩模型的同时将模型的分类准确率提升至83.58%,相较于未经蒸馏的原始模型,分类准确率提高了4%,在压缩模型的同时提高模型的泛化性能。基于知识蒸馏的差异性深度集成学习打破了模型的压缩必然以泛化性能为代价这一认知,为模型集成提供了新的研究思路。     

基于知识蒸馏的不平衡数据下入侵检测方法研究

基于深度学习的网络入侵检测模型面临模型结构复杂、部署效率低及流量数据类别不平衡的问题.针对这些问题,提出了1种结合知识蒸馏和类别权重焦点损失的网络入侵检测方法.该方法以精度高、参数量较多的入侵检测模型作为教师模型,与小型学生模型生成蒸馏损失;引入增加类别权重的焦点损失函数作为学生损失;结合蒸馏损失与学生损失生成总的损失函数优化学生模型.实验结果表明,该方法性能相较于非蒸馏模型在各项指标上均有一定提升.     

融合样本相似性的弱监督多标签分类

针对面向实际应用场景中数据标签易残缺导致有监督多标签分类方法可用训练数据量减少，未能利用大量标签缺失数据中蕴含的样本特征空间关联知识以最大化判别间隔，限制多标签分类效果等问题，本文提出一种融合样本相似性的弱监督多标签分类方法.该方法利用标签相关性和样本相似性恢复标签以提高数据利用率，并将标签恢复嵌入到训练过程中以便挖掘标签相关性，通过近端加速梯度法进行参数优化，建立弱监督学习场景的多标签分类模型.在真实数据集上的实验结果表明，该方法能够利用样本相似性有效提升模型在标签残缺时的分类能力，实用价值大.      

基于深度特征蒸馏的人脸识别

在人脸识别系统中,深度学习由于强大的表征能力被广泛应用,但模型推理的高计算复杂度和特征表示的高维度分别降低了特征提取和特征检索的效率,阻碍了人脸识别系统的实际部署.为了克服这两个问题,本文提出一种基于深度特征蒸馏的人脸识别方法,该方法通过多任务学习实现大深度模型知识与领域相关数据信息的蒸馏,从而统一地压缩深度网络参数及特征维度.联合特征回归与人脸分类,以预训练的大网络为教师网络,指导小网络训练,将知识迁移得到轻量级的学生网络,实现了高效的特征提取.在LFW人脸识别数据集上进行了实验,学生模型在识别精度相比教师模型下降3.7%的情况下,模型参数压缩到约2×107、特征维度降到128维,相比教师模型分别获得了7.1倍的参数约减、32倍的特征降维及95.1%的推理复杂度下降,表明了方法的有效性和高效性.     

基于关系模型的不确定性知识表示与推理及其在KMS中的应用

结合产生式规则与关系数据库两者的优点，该文提出1种基于关系模型的不确定性知识表示与推理技术，采用关系数据库存储不确定性知识的产生式规则，使用基于规则的正向推理方法进行推理，并将这种成本低、能快速实现的技术成功应用到Lotus Domino平台的KMS中，结果证明了该方法的可行性。     

面向领域知识图谱的实体关系联合抽取

文本数据中的实体和关系抽取是领域知识图谱构建和更新的来源.针对金融科技领域中文本数据存在重叠关系、训练数据缺乏标注样本等问题,提出一种融合主动学习思想的实体关系联合抽取方法.首先,基于主动学习,以增量的方式筛选出富有信息量的样本作为训练数据;其次,采用面向主实体的标注策略将实体关系联合抽取问题转化为序列标注问题;最后,基于改进的BERT-BiGRU-CRF模型实现领域实体与关系的联合抽取,为知识图谱构建提供支撑技术,有助于金融从业者根据领域知识进行分析、投资、交易等操作,从而降低投资风险.针对金融领域文本数据进行实验测试,实验结果表明,本文所提出的方法有效,验证了该方法后续可用于金融知识图谱的构建.