多视角半监督分类算法： 最新进展与比较研究

随着科技的发展，数据的获取渠道变得越来越多，所获得的数据也越来越多样化，多视角数据在目前的应用也已经相当普遍. 但是在处理真实世界的问题时，获得的多视角数据一般只带有少量标签，而人工标注的成本比较高昂，因此多视角半监督学习在机器学习和图像处理领域引起了许多学者的关注. 本文总结了近年来发表的多视角半监督分类方法并对这些方法进行了归类，对多视角半监督分类方法所面临的挑战进行了讨论.     

非线性多视角子空间聚类方法

不同视角特征构成的数据比单视角特征具有更多的信息,充分利用多视角特征可以提高聚类效果.由于不同视角空间中的特征不具有可比性,基于线性表示理论的子空间学习方法通过学习表示矩阵挖掘互补信息.但现实数据多是非线性的,线性表示理论不利于发现数据的非线性关系.针对该问题,采用非线性投影及流形正则项来刻画多视角下的非线性数据,实验结果表明,所提方法能够对多视角数据进行有效聚类.     

一种改进的增强组合特征判别性的典型相关分析

典型相关分析(CCA)是一种经典的多视角特征提取方法,可以从2个视角中查找特征集之间的线性相关关系.但CCA在做分类任务时具有多个缺点,一是CCA本身为无监督学习方法,做分类时没有利用样本的类信息,二是CCA仅考虑需要分类的目标数据,而忽略了与目标数据来自同一域的Universum数据的信息.因此人们提出增强组合特征判...     

多视角半监督分类算法比较及研究进展

随着科技的发展,数据的获取渠道变得越来越多,所获得的数据也越来越多样化,多视角数据在目前的应用也已经相当普遍.但是在处理真实世界的问题时,获得的多视角数据一般只带有少量标签,而人工标注的成本比较高昂,因此多视角半监督学习在机器学习和图像处理领域引起了许多学者的关注.本研究对近年来提出的多视角半监督分类方法进行归类,并对多视角半监督分类方法所面临的挑战进行讨论.     

基于结构化约束的多视角人体检测方法

针对单视角下信息量不足以及多视角不同视角间信息关联困难的问题,提出了基于结构化约束的多视角人体检测方法.首先通过基于块的人体检测模型获取人体局部块信息;然后采用空间仿射变换将不同视角下重叠区域通过变换矩阵的映射关系关联起来;最后针对仿射变换后的区域因遮挡或者存在多目标导致多视角目标关联困难的问题,利用人体局部显著块间的结构化约束为多视角目标匹配构造最大后验概率模型,通过最优求解获取多视角目标匹配结果.实验结果表明,该方法能够利用多视角信息来有效弥补单视角下人体检测中出现的遮挡问题,显著提高了人体检测效果.     

基于句法结构迁移和领域融合的跨领域情感分类

用于文本情感分析的深度学习模型如递归神经网络等参数较多，因此需要大量高质量标记训练数据对模型进行训练和优化。在实际应用中，特定领域难以获取高质量带情感标签评论数据。在跨领域文本情感分类任务中，针对不同领域数据分布差异性，提出了基于句法结构迁移和领域融合的跨领域文本情感分类方法，可以解决特定领域对带标签数据依赖问题。句法结构迁移方面，将依存语法特征加入到递归神经网络中，设计了一种可迁移的依存句法递归神经网络模型，通过句法结构迁移有效地迁移跨领域结构信息，为情感迁移提供支撑。领域融合方面，在传统的最大均值差异领域度量方法上细化了跨领域同类别距离度量信息。通过约束源领域和目标领域的分布，可以保证2个领域距离在学习过程中尽可能减小，有效地提取领域通用特征。实验结果表明，该方法比已有方法有效提高了跨领域情感分类准确率。     

一种基于SVM的Web信息自动化抽取方法

针对传统的Web信息抽取方法运算量大、自动化程度低的问题,提出了一种基于SVM的WEB信息自动化抽取方法。利用SVM优秀的分类性能将网页中有用数据和无用数据分类标注,有效地完成Web信息抽取任务,准确地抽取出所需信息,实现数据抽取的自动化。实验结果表明,该方法可以有效地获取网页信息特征,具有较高的召回率和准确率。     

基于矩阵的AdaBoost多视角学习

以往基于矩阵的多视角分类(MultiV-MHKS)是从矩阵的单视角模式Ho-Kashyap(MatMHKS)发展而来的,尽管有些不好的视角可能会拉低分类器的总体表现,但它仍将所有视角都默认为相同的.为保证样本视角的有效性和多样性,提出一种名为AdaMultiV-MHKS的新方法,它充分利用了经典的集成学习方法 AdaBoost的优势,实现了动态过滤和视角权重计算.所提的多视角框架不受限于任何特殊方法,可以应用于大多数基于矩阵的分类器.该方法加入了来自Alternative Robust Local Embedding(ARLE)的正则化项Rgl,用来增强样本之间的结构信息.集成工作和正则化使得不同视角的附加信息更具竞争力,不仅增强了视角的多样性而且改进了最终的分类结果.在UCI数据集和USTC-NVIE人脸图像数据集,尤其是液体数据集上的实验结果证明了所提方法的有效性.     

基于大数据的城市土地利用分类研究——以西宁市为例

以西宁市为例，基于宜出行和兴趣点（points of interest，POI）2类常用大数据以及最大似然、支持向量机和神经网络3种常用分类方法，开展了城市土地利用分类研究．通过对比不同数据与方法组合下的城市土地利用分类精度，确定了提取城市土地利用信息的最优数据组合方式和分类方法．并基于分类结果对西宁市的城市土地利用格局进行了分析．结果显示，基于POI和宜出行数据的神经网络分类方法获取的研究区城市土地利用信息精度最高，总体精度为71.25%，Kappa系数为0.62．主要原因在于综合POI和宜出行可以更加充分地反映不同土地利用类型的特征，而神经网络可以有效综合多源大数据的信息．因此，基于多源大数据和神经网络为快速有效地获取城市土地利用信息提供了有效途径，具有较大的应用潜力．      

基于时空特征学习Transformer的运动想象脑电解码方法

脑电图（Electroencephalography,EEG）可记录来自大脑皮层的电信息，反映了脑活动中神经细胞放电产生的电场变化情况. EEG的空间信息和时间信息对于运动想象脑电（Motor Imagery Electroencephalogram,MI-EEG）解码分类模型学习判别特征至关重要，但过度依赖预处理和手工特征提取，导致对EEG数据进行信号分类较为困难.尽管深度学习已经在很多领域实现了自动特征提取，但脑电图的深度学习尚未完成.提出基于FBCSP (Filter Bank Common Spatial Patterns)和Transformer模型的时空特征学习的运动想象脑电解码方法 .针对FBCSP滤波的脑电信号，依次通过空间维度和时间维度上的注意力转换来获取空间和时间特征，然后通过Softmax函数对不同类别的EEG数据进行分类.实验结果表明，在BCI竞赛数据集IV-2a上，该方法的分类准确率可达84.16%，为MI脑电信号分类提供了新思路.     

高光谱图像半监督局部稀疏嵌入降维算法

针对目前高光谱图像半监督降维算法中基于流形学习的开放性选择近邻参数问题,以及利用传统算法不能有效地获取标签数据的局部信息,提出了一种无需考虑近邻参数的半监督局部稀疏嵌入（SELSE）算法.该算法基于稀疏表示理论,通过求解范数优化问题构建稀疏系数图,并且利用有限的标签数据最大化类间信息,提取高光谱图像的特征.在AVIRIS高光谱遥感图像的Indian Pine数据集上进行仿真实验,结果表明所提出算法在分类精度和计算效率上都有所提高.     

基于联邦迁移学习的应用系统日志异常检测研究

迄今为止，基于日志的异常检测研究已经取得了很多进展，然而，在现实条件下仍旧存在两个挑战：（1） 是日志数据通常以“数据孤岛”形式储存在不同的服务器上，单一公司或组织的日志数据中异常样本量不足，且异常模式较为固定，很难通过这些数据训练出一个准确率高的检测模型. 为了解决这个问题，将不同来源的日志数据整合成更大的数据集可以提高模型训练的效果但可能会在数据传输过程中产生日志数据泄露问题；（2） 是不同应用系统类型的日志数据通常在结构和语法上存在差异，简单地整合并用于训练模型效果不佳. 基于以上原因，本文提出一种基于联邦迁移学习的日志异常检测模型训练框架LogFTL，该框架利用基于匹配平均的联邦学习算法，在保证客户端数据隐私安全的前提下于服务器聚合客户端的模型参数形成全局模型，再将全局模型分发给客户端并基于客户端的本地数据进行迁移学习，优化客户端本地模型针对自身常见异常行为的检测能力. 经过实验表明，本文提出的LogFTL框架在联邦学习场景下效果超过了传统的日志异常检测方法，同时也证明了该框架中迁移学习的效果.     

基于欧式空间-加权逻辑回归迁移学习的运动想象EEG信号解码

基于脑电图（Electroencephalography,EEG）信号的运动想象（Motor Imagery,MI）意图识别是脑机接口（BrainComputer Interface,BCI）研究中的重要问题.然而,EEG信号存在严重的个体性差异,不同被试之间的EEG信号特征空间分布差异很大,不同被试之间的分类模型不能通用.针对这一问题,提出一种基于欧式空间的加权逻辑回归迁移学习方法,算法首先将不同被试的EEG数据进行欧几里得空间对齐,使各信号更加相似,减少差异性,然后计算特定被试共空间模式（Common Spatial Pattern,CSP）获得不同的特征值,并计算这些特征值的KL(Kullback-Leibler)散度,进而利用KL散度调整迁移学习的加权逻辑回归算法,得到分类模型.实验结果表明：对于BCI竞赛IV中的数据集2a,提出的方法可以极大地提升BCI的学习性能,算法分类准确率比基线算法（线性判别分析）高出15%.在数据样本增多的情况下,被试的分类准确性也得到了明显的提升,和同类算法相比,分类准确率提升4%,说明提出的算法能进一步提高BCI的学习性能,改善分类模型的通用性问...     

低秩张量分解的多视角谱聚类算法

针对传统多视角学习算法只关注从多视角中提取共享信息而忽略了各视角的特有信息和高阶关联的问题,提出了一种基于截断核范数的低秩张量分解的多视角谱聚类算法。计算各视角的样本相似度矩阵和转移概率矩阵,构建一个包含各视角马尔可夫转移概率矩阵的张量,从而保留各个视角的信息。采用基于张量奇异值分解的截断核范数约束目标张量的秩。通过最小化张量截断核范数,学习到一个既包含各个视角共享信息又具有高阶关联的张量。利用迭代最优化算法求解目标函数,将求得的目标张量输入谱聚类算法得到聚类结果。在4个不同类型数据集上进行实验并与传统聚类算法进行了对比,结果表明:所提算法在4个数据集上的标准互信息度量值比标准谱聚类算法的分别提高了7.9%、24.9%、29.5%、8.1%,比LT-MSC算法的分别提高了3.4%、18.1%、17.6%、6.6%。通过对非负平衡参数在0.000 1～100之间的测试发现,所提算法表现基本稳定,在非负平衡参数取0.1～1之间表现良好。与传统多视角聚类算法相比,所提算法可有效增强各视角之间的互补性和高阶关联,并且具有良好的准确性和鲁棒性。     

结合主动学习与关系图卷积神经网络的社交机器人检测

社交机器人一直在应用中不断发展，并且为了逃避现有的检测方法，变得更加先进和复杂，较大地影响了原有部分社交机器人检测方法的效果.检测社交机器人成为了一项漫长而又艰巨的工作.在社交机器人检测领域中，目前存在着已公开相关数据集较少的情况，需要人工标注大量的数据.本文提出了一种结合主动学习与关系图卷积神经网络(RGCN)的检测方法——ALRGCN,用以解决人工标注大量数据成本较高的问题.其主要思路是利用主动学习方法来扩充标记数据集，以最大化人工标注的价值.主动学习利用种子选择算法构建初始训练集以及不确定性采样方法筛选出较高信息熵的样本，交由分类模型进行训练，旨在通过专业人员的经验来人工标注一些分类器难以分类的数据.鉴于社交机器人通常以集群的形式出现，本文引入了RGCN来捕捉其网络结构特征.RGCN可以有效地分析节点及其相邻节点的属性，进而帮助该节点进行分类.实验在TwiBot-20数据集上进行，通过对比进行使用的基线实验，ALRGCN在F1上取得了2.83%的提升.实验结果证明，ALRGCN在标注样本更小的情况下可以更有效地检测出社交机器人.     

基于可能性C-均值的鲁棒多视角聚类算法

目前多数多视角聚类算法不考虑噪声问题,为了更有效地分析含有噪声数据的聚簇结构,提出了一种基于可能性C-均值的鲁棒多视角聚类(PCM-RMVC)算法,该算法同时利用多个视角空间中的特征信息,最小化每个视角空间中数据对象与聚簇中心的距离.推导出数据隶属度和每个视角权重的迭代更新规则,设计出聚类过程的迭代算法.实验表明:PCM-RMVC算法对噪声具有较强的鲁棒性,并且聚类效果优于五种有代表性的多视角聚类算法.     

结合CNN和文本语义的漏洞自动分类方法

为解决大规模漏洞分类问题,提出一种基于卷积神经网络（convolutional neural network,CNN）的漏洞自动分类方法,借鉴深度学习的技术思想自动获取漏洞描述的相关局部特征,通过batchnorm规范化数据解决文本训练不稳定问题,进而实现漏洞类型的有效划分.实验表明,与传统方法相比,该方法在漏洞自动分类效率上能够得到显著的提高.      

基于模糊空谱特征的高光谱图像分类

难以兼得高空间分辨率和光谱分辨率的高光谱遥感数据常存在“同物异谱”和“同谱异物”现象，这种光谱异质问题给分类过程带来了一定的不确定性，且现有深度分类网络存在空间信息利用不足和拟合退化问题.提出一种联合空间和模糊光谱特征的双分支高光谱遥感图像分类方法，通过在光谱分支中设计非对称卷积模糊模块增强卷积层的光谱表征能力，解决分类数据中的光谱异质问题，进而对地物特征进行精确的分类描述.采用门控循环单元模型分组获取相邻光谱序列信息，缓解因网络深度增加带来的拟合退化问题，在空间分支中利用波段间的相关性引入卷积长短时记忆模块，充分捕捉空间上下文信息.在三个公开的高光谱数据集上的实验结果表明，双分支结构的模糊分类网络能充分利用光谱和空间包含的细粒度信息，更具判别力的空谱特征有效地克服了光谱异质问题，比流行的深度学习方法取得了更好的分类结果 .     

针对入侵检测的代价敏感主动学习算法

入侵检测系统通过提供可能由恶意攻击导致的告警信息来保护计算机系统.为了能够利用历史数据自动提升入侵检测的性能,机器学习方法被引入入侵检测.但是,高质量训练数据的获取往往需要繁重的劳动或代价昂贵的监控过程.同时,不同类型的误分类导致的代价也是不一样的,入侵检测需要使误分类代价最小.针对这两种需要综合考虑的问题,提出一种基于代价敏感主动学习的入侵检测分类器构造方法ACS.该方法结合代价敏感学习和主动学习方法,其目标为减少学习代价敏感分类器的标注次数,使代价敏感分类器的误分类代价最小.该方法在主动学习的学习引擎中使用代价敏感学习算法替代传统的错误最小学习算法,同时在采样引擎中使用最大误分类代价的采样标准.ACS方法在主动学习中版本空间的构造、更新过程都针对代价敏感环境作了对应的改进,使该算法能够以较高的收敛速度收敛到误分类代价最小的目标函数.在入侵检测数据集KDDCUP99上的的实验表明,ACS方法能够有效地减少学习代价敏感分类器的标注次数.     

基于图自监督对比学习的社交媒体谣言检测

网络社交媒体的快速发展提供了便捷的信息获取方式，但也滋生了谣言和虚假新闻，现有的谣言检测模型在有标注数据充足时能有效解决分类问题，然而谣言可用的标注数据有限，各种针对谣言特点精心设计的模型倾向于过拟合，同时，现有模型的鲁棒性不足，谣言传播者恶意破坏谣言传播结构会使模型出现分类错误.针对以上问题，采用自监督的图对比学习方法，对原始谣言传播图进行不同方式的数据增强来模拟对原图的扰动，建立自监督对比学习任务，使图编码器捕获谣言更趋本质的特征，缓解了过拟合，提高了模型的鲁棒性与泛化性能.在来源于主流社交媒体平台的三个公开数据集Twitter15,Twitter16和PHEME上进行了对比实验，实验结果显示，提出的模型的准确率比基准模型分别提高3.4%,1.8%和1.2%，证实了图自监督对比学习方法在谣言检测任务上的有效性.