结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

基于PPYOLOE的师生互助训练半监督目标检测网络

随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力．为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法．首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度．在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...     

半监督分类中的噪声控制及相关算法

为了更好地控制利用伪标签样本学习的这类半监督分类算法中的噪声,针对以往研究中分布噪声难以量化并被忽视的问题,提出一种基于高斯混合模型和伪验证集的噪声量化和分析的新方法.根据噪声下的泛化误差分析,提出一种可回溯的分类器迭代训练策略,可以有效降低伪标签样本带来的噪声影响.通过将该训练策略与集成学习相结合,提出一种ensemble self-learning(ESL)算法,能够进一步提高分类算法的泛化性能.在6个公开数据集上与同类先进算法进行了试验比较.结果表明,所提出的算法取得了最高的平均准确率,并且在75%的试验数据集上都取得了最好的准确率.     

基于特征扰动的半监督专家发现方法

专家可为社区问答提供权威的答复,高效精准的专家发现有助于提升问答社区的服务质量.现有社区用户数据中存在噪声标签数据,且由于专家数量较少造成分类数据不平衡,从而降低了监督学习模型的专家发现精度.针对上述问题,本文提出一种基于特征扰动的半监督专家发现方法.该方法构建了一种无标签数据特征扰动策略,利用Sharpening算法实现无标签数据的伪标签化;基于ADASYN算法,通过构建专家用户邻近样本的方式扩充专家样本数据量,缓解分类数据的不平衡;构建联合损失函数,利用有标签和伪标签数据共同训练分类器,增强模型的泛化性能.实验结果表明,该方法在多个评价指标上优于已有模型和方法.     

基于组对比学习的弱监督三维点云语义分割方法

三维点云语义分割方法,是三维视觉环境感知中的重要任务,被广泛应用于自动驾驶、增强现实、机器人等领域.然而,大多数语义分割方法工作在全监督的模式下,为数据标注带来了极大的压力,为了解决对于大规模点云标注数据的依赖问题,许多工作基于有标签数据训练生成伪标签进一步迭代训练模型,但未考虑到错误伪标签累积所导致的确认偏差.针对该问题,本文提出了一种基于组对比学习的弱监督三维点云语义分割方法,在从伪标签中选择的正例组与负例组之间构造对比学习,令伪标签之间相互竞争,减少错误伪标签的梯度贡献,从而缓解确认偏差.实验结果表明,本文所提出的方法在S3DIS、ScanNetV2、Semantic3D等3个公开数据集上,相较于目前最优方法均取得了更优的精度.     

基于句法结构迁移和领域融合的跨领域情感分类

用于文本情感分析的深度学习模型如递归神经网络等参数较多，因此需要大量高质量标记训练数据对模型进行训练和优化。在实际应用中，特定领域难以获取高质量带情感标签评论数据。在跨领域文本情感分类任务中，针对不同领域数据分布差异性，提出了基于句法结构迁移和领域融合的跨领域文本情感分类方法，可以解决特定领域对带标签数据依赖问题。句法结构迁移方面，将依存语法特征加入到递归神经网络中，设计了一种可迁移的依存句法递归神经网络模型，通过句法结构迁移有效地迁移跨领域结构信息，为情感迁移提供支撑。领域融合方面，在传统的最大均值差异领域度量方法上细化了跨领域同类别距离度量信息。通过约束源领域和目标领域的分布，可以保证2个领域距离在学习过程中尽可能减小，有效地提取领域通用特征。实验结果表明，该方法比已有方法有效提高了跨领域情感分类准确率。     

基于迁移学习的个性化循环神经网络语言模型

针对在小数据集上开发个性化语言模型仍存在的障碍,提出基于迁移学习的个性化循环神经网络语言模型。设计了基于预训练词向量、预训练电影剧本数据集、基于参数微调和特征提取分类器的迁移学习训练模式,在小数据集上建立了具有较高辨识度的个性化语言模型,降低了模型的困惑度,改进了模型的性能。模型的实验以电视剧Seinfeld角色为基础。结果表明:该模型在特定角色测试数据集上的困惑度比其他角色数据集平均低17.65%,证明其已经学会了该角色的个性化风格;迁移学习使得模型最低困惑度平均降低了36.38%,较好地解决了基于小数据集开发个性化语言模型存在的障碍问题。     

变工况及小样本情况下滚动轴承故障迁移学习方法综述

准确预测滚动轴承损伤类型及剩余寿命归于各类旋转机械运行的可靠性和安全性具有重要意义。迁移学习方法通过实验数据使网络模型学习到相关故障类型的知识,训练好的模型可以直接应用到实际工业生产问题当中。突破了传统深度学习方法所需大量有标签数据、模型使用有局限性、通用性差的局限。首先对不同类型的迁移学习方法在滚动轴承故障诊断中的应用进行分析,归纳总结面对不同情况下的迁移学习方法。其次,针对变工况、小样本及一些其他情况下的问题进行总结分析。最后,给出了滚动轴承的迁移学习发展趋势。     

基于迁移成分分析和词包模型的变工况轴承诊断方法

针对不同工况下的数据无法直接训练并用于检测的问题,提出一种基于迁移成分分析和词包模型的诊断算法,对于用作训练的有标签源域数据和用作检验诊断的无标签目标域数据。首先使用短时傅里叶变换将两者转换为频域数据,其次通过迁移成分分析将两者的频谱能量映射到同一分布以建立相应的词包模型作为数据的特征,最后在源域数据的词包模型上训练出合适的分类器从而进行诊断。在西门子SQI-MFS平台实验数据集、凯斯西储大学公开数据集及机械故障预防技术协会MFPT(machinery failure prevention technology)数据集下的实验结果表明该算法是有效的。     

基于模糊度的半监督自步协同下的微信流业务识别

网络数据流的精准业务识别是实现差异化服务的先决条件,常用的监督学习在构建训练数据集时因需要大量人力标注因而难以实施,基于少量标注数据的半监督学习成为研究的热点之一.自步协同训练(self-paced co-training)的半监督框架在处理未标记数据时采用了从易到难、多视角协同的方法,但该方法仅以置信度为选取依据给样本标记伪标签,容易导致多视角的差异性在训练过程中逐步下降,从而引起协同增益下降、模型性能受限等问题.为此面向微信数据流识别问题,提出了一种基于模糊度的自步协同训练模型(fuzziness based self-paced co-training, FBSpaCo),在标注伪标签时进一步引入模糊度评估机制.实验表明,该模型在保证置信度的前提下有效地避免了训练过程中两视角差异性下降,较已有方法较大地提升了识别准确度.     

基于深度卷积神经网络与中心损失的人脸识别

传统人脸识别方法手工设计特征过程复杂、识别率较低,对于开集人脸识别通用深度学习分类模型特征判别能力较弱。针对这两方面的不足,提出了一种以分类损失与中心损失相结合作为模型训练监督信号的深度卷积神经网络。首先,利用构建的应用场景数据集优调从公共数据集获得初始化参数的深度人脸识别模型,解决训练数据过小和数据分布差异问题,同时提高模型训练速度;然后,以传统损失函数和新的中心损失作为迁移学习过程中的监督信号,使得类内聚合、类间分散,提高模型输出人脸特征的判别能力;最后,对人脸特征进行主成分分析,进一步去除冗余特征,降低特征复杂度,提高人脸识别准确率。实验结果表明,与传统人脸识别算法相比该算法可以自动进行特征提取,并且相对于通用深度学习分类模型该算法通过度量学习使特征表示更具判别力。在自建测试集和LFW、YouTube Faces标准测试集上都取得了较高的识别率。     

R-YOLO轨道人员目标检测模型

针对现有铁路人员入侵识别准确率不高、实时性较差的问题，在YOLOv4模型的基础上提出一种R-YOLO轨道人员目标检测模型。首先，用轻量级骨干网络ResNet50代替原有的CSPDarknet53网络，利用深度可分离卷积替代PANet中的标准卷积，减少网络层数以及模型体积，加快模型的识别速度。其次，在加强特征提取网络的3个特征层分别加入有效通道注意力模块，采用K-means++聚类算法重新对数据集进行聚类和分析，提高目标检测模型的精度；在模型训练方面，采用迁移学习和混合数据集联合训练，解决人员识别精度不理想以及误检漏检等问题。最后，利用R-YOLO轨道人员目标检测模型对真实铁路人员入侵数据集进行测试。结果表明，R-YOLO模型在真实铁路人员入侵数据集上的平均识别精度达到了92.12%,较传统YOLOv4算法高出1.89%,帧速率由38.74 f·s^-1提升到47.73 f·s^-1。R-YOLO模型部分解决了铁路入侵人员误检漏检问题，提高了铁路人员入侵识别的实时性和准确率，为铁路安全运行提供了保障。     

基于深度卷积神经网络的三维模型识别

为了进一步提高三维模型的识别精度,提出了一种基于深度卷积神经网络的三维模型识别方法。将点云数据通过占用网格规范化计算转化为二值3D体素矩阵,通过附加正则化项的随机梯度下降算法提取体素矩阵的特征,再通过共享权重的旋转增强对训练集进行数据增广并以此对模型标签进行预测。实验结果表明,该算法在公开数据集ModelNet40及悉尼城市模型数据集上的识别精度均达到85%左右。与基于同类机器学习的三维模型识别算法相比,在相同训练数据集上该方法网络训练时间短,在相同测试数据集上模型识别准确率高,检索速度快。提出的体素占用网格模型的深度卷积神经网络,可以实现三维点云模型数据集及规范化体素模型数据集的识别和分类工作。     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

基于对抗学习的讽刺识别研究

为了避免现有讽刺识别方法的性能会受训练数据缺乏的影响, 在使用有限标注数据训练的注意力卷积神经网络基础上, 提出一种对抗学习框架, 该框架包含两种互补的对抗学习方法。首先, 提出一种基于对抗样本的学习方法, 应用对抗生成的样本参与模型训练, 以期提高分类器的鲁棒性和泛化能力。进而, 研究基于领域迁移的对抗学习方法, 以期利用跨领域讽刺表达数据, 改善模型在目标领域上的识别性能。在3个讽刺数据集上的实验结果表明, 两种对抗学习方法都能提高讽刺识别的性能, 其中基于领域迁移方法的性能提升更显著; 同时结合两种对抗学习方法能够进一步提高讽刺识别性能。     

Action Recognition from Videos with Complex Background via Transfer Learning

Classifier learning methods commonly assume that the training data and the testing data are drawn from the same underlying distribution. However,in many practical situations,this assumption is violated. One example is the practical action videos with complex background and the universal human action databases of Kungliga Tekniska Hgskolan (KTH). When training data are very scarce,supervised learning is difficult. However,it will cost lots of human and material resources to establish a labeled video set which includes a large amount of videos with complex backgrounds. In this paper,we propose an action recognition framework which uses transfer boosting learning algorithm. By using this algorithm,we can train an action recognition model fitting for most practical situations just relaying on the universal action video dataset and a tiny set of action videos with complex background. And the experiment results show that the performance is improved.     

基于改进YOLOv5算法的复杂场景交通目标检测

实时的交通场景目标检测是实现电子监控、自动驾驶等功能的先决条件.针对现有的目标检测算法检测效率不高，以及大多数轻量化目标检测算法模型精度较低，容易误检、漏检目标的问题，本文通过改进YOLOv5目标检测算法来进行模型训练，再使用伪标签策略对训练过程进行优化，然后在KITTI交通目标数据集上将标签合并为3类，对训练出的模型进行测试.实验结果表明，改进的YOLOv5最终模型在该所有类别上的mAP达到了92.5％，对比原YOLOv5训练的模型提高了3％.最后将训练的模型部署到Jetson Nano嵌入式平台上进行推理测试，并通过TensorRT加速推理，测得平均每帧图像的推理时间为77ms，可以实现实时检测的目标.     

基于深层迁移学习的DR胸片肺结核病灶检测

针对基于传统机器学习方法设计的DR胸片肺结核检测器存在着泛化能力不强,实际检测精度低等问题,提出了一种基于Focal Loss的深度学习检测方法Tuberculosis Neural Net(TBNN).医学图像的特殊性,存在带标注的数据量小导致无法充分训练深层网络模型等问题.该方法利用肺炎和肺结核同为呼吸道感染疾病且在DR胸片上有相似表征的特点,基于迁移学习原理训练特征提取子网络,减少肺结核胸片样本不足对模型训练造成的影响.首先在大型的肺炎胸片数据集上训练特征提取网络,以获取DR图像中丰富的深层图像语义信息,然后使用样本较少的肺结核数据集微调网络参数,并将多层卷积的输出作为TBNN分类子网络的输入,得到基于DR胸片的肺结核病灶检测模型.实验结果表明,该方法生成的检测模型在分类精度和性能上均优于基于传统机器学习的肺结核检测器.在同等训练数据量和训练周期下,模型性能高于其他采用传统数据增强方法的深层网络肺结核检测算法,且能标识病灶区域,准度上有不低于放射科阅片医生的表现.     

循环多特征信息融合法： 一种基于深度学习的车道线检测方法

车道线检测是辅助驾驶和自动驾驶的核心技术之一。为了进一步增强车道线特征的提取能力,提出一种基于深度学习的循环多特征信息融合车道线识别算法。针对模型计算效率问题,该算法将车道线检测问题视为基于行选择单元格的分类问题;针对图像中车道信息聚合问题,提出了一种新的循环多特征信息聚合(recurrent multi-feature information aggregator,RMFA)方法,并将该方法与残差神经网络(residual neural network,ResNet)相结合提出融合上下文及多通道信息的车道线识别网络ResNet-RMFA。将该网络模型在Tusimple和CULane公开数据集上进行了性能测试,实验结果表明该模型单帧图像的推理时间可达4.8 ms,在Tusimple数据集上的精确度为96.07%,在CULane数据集上的F1(IoU=0.5)评分为69.3%,达到了速度与精度的良好平衡。     

基于SMOTE和机器学习的网络入侵检测

网络入侵检测已经广泛运用机器学习模型,但是研究者们多关注模型选择和参数优化,很少考虑数据不平衡的影响,往往会导致少数类入侵样本的检测效果较差.针对该问题,以SMOTE （synthetic minority oversampling technique）数据再平衡算法为研究重点,应用入侵检测数据集KDD99作为原始训练集,使用简单抽样和SMOTE算法生成再平衡训练集.采用多种机器学习模型分别在原始训练集和再平衡训练集进行5折交叉验证.实验结果表明,与原始训练集相比,使用再平衡训练集建模能够在不降低甚至提高多数类样本识别效果前提下,使少数类样本的识别准确率和召回率增强10%～20%.因此,SMOTE算法对不平衡样本下的网络入侵检测有显著的提升作用.