图约束的半监督对抗跨模态检索方法研究

跨模态检索是指给定一种模态的查询词,返回与之语义相关的其他模态关联词的一种检索方法。现有工作主要集中监督式跨模态检索方法研究,而实际应用中样本标签少,样本标签获取成本高。为此,提出一种图约束的半监督对抗跨模态检索方法(SS-ACMR)。该方法通过对无标签样本建立图作为约束条件来学习公共子空间表示。具体而言,在对抗学习框架下:1)对无标签样本,根据样本之间欧式距离构建图,希望相似样本的公共子空间表示是相似的; 2)对有标签样本使用传统的对抗跨模态检索方法进行学习; 3)无标签样本和有标签样本在对抗学习框架下共同学习公共子空间的表示。Wikipedia数据集和NUSWIDE-10k数据集上的实验结果表明:本文的方法得到了和现有监督跨模态检索方法相当的检索结果,远好于现有半监督跨模态检索方法。     

基于结构和约束保持的半监督特征选择

针对现有特征选择算法较少同时考虑样本的空间结构和先验知识的不足,提出一种基于结构和约束保持的半监督特征选择方法。该方法采用成对约束作为先验知识,同时考虑局部和非局结构,定义了一种新的特征评价准则——结构和约束保持分值。利用大量的无标记样本来学习样本空间结构,利用少量的成对约束信息来学习类内和类间边缘,所选择的特征子集能较好地保持空间结构信息和类属信息。在多个数据集上的实验结果表明,和现有的几种特征排序选择算法相比,所提方法有较好表现。     

基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。     

基于批损失的跨模态检索

针对跨模态检索中成对或三元组样本的方法构造了高度冗余且信息量少的样本对问题,提出了基于批损失的跨模态检索方法(BLCMR):首先,引入批损失,考虑了嵌入样本的相似性,有效地保持了跨模态样本的不变性;然后,引入迭代方法来修正预测的类别标签,有效地区分了样本的语义类别信息. 在3个公开的数据集(Wikipedia、Pascal Sentence和NUS-WIDE-10k)上的实验结果表明:BLCMR方法能够拉近跨模态样本间的距离,有效地提升最终的跨模态检索精度.     

基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%～4%的准确率。     

基于生成对抗网络的细胞形变动态分类

提出了一种基于生成对抗网络的细胞形变动态分类方法,以活细胞视频中的细胞形变动态为对象,引入分类器辅助的生成对抗网络结构同步训练生成对抗网络和分类网络,通过生成对抗网络产生的数据提高了原本分类网络分辨细胞形变动态的性能.首先,细胞动态图像被用于将活细胞视频中的时间维度进行压缩,使其从视频域映射到图像域以方便生成对抗网络的构建.其次,基于分类器辅助的生成对抗网络结构,将分类网络的分类信息作为辅助信息来改善生成对抗网络对多类样本的生成,同时生成网络生成的多类样本可以反过来优化分类网络对于细胞动态形变的分类性能.在构建的活细胞视频数据库上,可以验证提出方法能有效地捕获细胞视频中的空时细胞形变动态,并且其分类的性能优于其它主流方法.     

鉴别流形敏感的跨模态轴承故障诊断方法

目的 在实际应用中采集的原始多模态故障数据通常是包含大量噪声和冗余信息的非线性数据,如何从不 同故障模态中提取有效的非线性故障特征仍是一个挑战性的问题。 方法 提出了一种鉴别流形敏感的跨模态故障 诊断方法,在该方法中首先借助相关分析理论在跨模态故障空间中构建了不同模态间的相关系数,并通过理论推 导获得了相关系数的等价优化模型,然后利用局部近邻图构建了鉴别流形敏感散布,进而通过最大化不同模态间 的相关性和最小化鉴别流形敏感散布,形成了鉴别流形敏感的跨模态故障诊断模型,并且在理论上推导出了该优 化模型的解析解,从而能够从不同模态的故障数据中学习强鉴别力的非线性故障特征。 结果 在德国帕德博恩轴承 数据集和多模态轴承故障数据集上设计了针对性实验,实验结果显示在少量故障样本用于训练时即可获得良好的 诊断准确性。 结论 提出的方法是一种有效的跨模态故障诊断方法。     

基于特征增强的对抗哈希跨模态检索

在跨模态检索任务中，哈希方法由于其检索效率高效、储存成本低廉而被广泛应用。但是，这些方法很少关注如何去弥补主体网络将高维特征转换为哈希码的过程中所丢失的特征信息。为解决这些问题，本文提出了一种特征增强对抗跨模态哈希（Feature Boosting Adversarial Hashing for Cross-Modal，FBAH）方法。FBAH方法将子空间学习与对抗学习相结合，来减少不同模态数据的差异性。另外，构造一种类残差模块，它可以将筛选出具有区别性的特征绕过主体网络直接输入到哈希空间进行特征增强。这样，生成的哈希码能够具有更多的原始特征信息。最后，通过带有分支网络的线性分类器在标签空间进行两种方式的预测，并最小化与真实标签的差距来保证语义的不变性。本文选择两个跨模态检索任务中常用的大型数据集进行大量实验，结果表明FBAH方法的性能优于目前7种较为先进的跨模态哈希方法。     

基于双语对抗学习的半监督情感分类

提出了充分利用未标注样本的样本信息的双语对抗学习方法。具体而言,中文的标注样本和未标注样本分别通过不同的LSTM进行编码,再经过分类器和判别器进行对抗学习。其中,分类器的作用是使标注样本和未标注样本处于同一分布,而判别器用来区分输入样本是标注样本还是未标注样本。最后,构建一个相同的英文语料的对抗神经网络,通过联合学习中英文对抗神经网络提升半监督情感分类的性能。实验结果表明,所提出的基于双语对抗学习的半监督情感分类方法在不同标注样本数量的训练集上都取得了较好的准确率,与其他基准方法相比有明显提升。     

结构损伤的神经网络定位研究

利用神经网络技术对结构损伤定位进行了研究．用有限元模态分析技术对悬臂梁有、无损伤的情况分别进行了模拟,得到一系列频率变化数据,将这些数据与损伤位置关系作为δ规则下的ＥＢＰ网络学习样本,网络训练好后,取不同损伤位置的频率变化数据输入网络计算,推断损伤位置．发现推断损伤位置与实际损伤位置非常接近,从而证明了损伤前后的频率变化与损伤位置存在比较确定的映射关系,也说明了ＥＢＰ网络具有很强的自组织、自适应和自学习功能,说明了神经网络技术与解析模态分析技术相结合,用于结构损伤定位研究具有良好的前景     

基于局部对抗训练的命名实体识别方法研究

命名实体识别研究中,数据集内普遍存在实体与非实体,实体内部类别间边界样本混淆的问题,极大地影响了命名实体识别方法的性能.提出以BiLSTM-CRF为基线模型,结合困难样本筛选与目标攻击对抗训练的命名实体识别方法.该方法筛选出包含大量边界样本的困难样本,利用边界样本易被扰动偏离正确类别的特性,采用按照混淆矩阵错误概率分布的目标攻击方法,生成对抗样本用于对抗训练,增强模型对混淆边界样本的识别能力.为验证该方法的优越性,设计非目标攻击方式的全局、局部对抗训练方法与目标攻击全局对抗训练方法作为对比实验.实验结果表明,该方法提高了对抗样本质量,保留了对抗训练的优势,在JNLPBA、MalwareTextDB、Drugbank三个数据集上F1值分别提升1.34%、6.03%、3.65%.     

公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题，提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法：首先，利用卷积神经网络提取图像和文本的高级语义特征；然后，接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重；最后，连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明：SPCMR方法能充分利用跨模态间的语义信息，有效提升图文检索的精度。     

基于特征迁移和深度学习的配电网故障定位

故障诊断对电力系统的稳定运行至关重要。当配电网的拓扑结构发生较大变化时,难以获取大量带有标签的暂态数据,导致传统的故障预测模型精度难以提高。针对此问题,提出一种将特征迁移和深度学习相结合的配电网故障诊断新方法。首先,采集配电网不同线路的零序电流构造故障特征集;其次,引入加权半监督迁移成分分析方法(semi supervised migration component analysis,SSTCA),利用混合核函数将不同拓扑结构下的特征样本映射到同一特征空间中,缩小数据间的分布差异性;最后,将映射后的源域样本输入到卷积神经网络中进行分类训练,并测试映射后的目标域样本。通过Simulink仿真表明,在改变配电网拓扑结构的新场景下,文中所提的特征迁移方法与其它方法相比,对目标域故障定位精度最高且达到98%以上。     

表示学习知识图谱的实体对齐算法

与现有的根据知识图谱的结构信息或实体属性特征进行相似度匹配的实体对齐的方法不同,提出了一种基于表示学习的知识图谱实体对齐方法.首先,在低维向量空间下,通过机器学习方法学得实体和关系的语义表示,这种表示形式蕴含了知识图谱的内在结构信息及实体属性特征;其次,将人工标注的实体对作为先验知识,学习知识图谱间实体对的映射关系.经实验验证表明:与基于特征匹配的方法SiGMa相比,本文方法能够有效提高知识图谱实体对齐的精确率,同时保持较高的F1值.     

注意力机制引导的多模态心脏图像分割

为有效挖掘模态间共享与模态特有的信息,本文提出一种注意力机制引导的半孪生网络,用于分割多模态(MRI与CT)心脏图像.具体地,首先运用循环一致的生成对抗网络(CycleGAN)进行双向的图像生成(即从MRI到CT以及从CT到MRI),这样可以解决模态间心脏图像不配对的问题;其次,设计一个新的半孪生网络,将原始的CT(或MR)图像及其生成的MR(或CT)图像进行配对并同时输入,先通过两个编码器(encoders)分别学习模态特有的特征,再经过一个跨模态的注意力模块将不同模态的特征进行融合,最后输入一个公共的解码器(decoder)来得到模态共享的特征,用于心脏图像分割.上述学习过程是端到端的方式进行训练.本文将所提方法在真实的CT与MR不配对的心脏图像数据集上进行实验评估,表明所提方法的分割精度超出基准方法.     

基于邻域信息的网络结构表示学习

针对传统网络表示学习方法无法学习节点网络结构相关性的问题, 提出一种基于邻域信息的网络结构表示学习模型. 该模型首先定义基于邻域信息的节点间结构相似度计算方法, 对不同邻域范围内节点间结构相似度建模； 其次构建深层自编码器, 将节点结构相似度作为监督信息优化网络表示, 在网络嵌入过程中学习节点结构信息. 与node2vec,SDNE,struc2vec三种相关算法进行对比的实验结果表明, 该方法有更好的网络结构识别能力, 能学习到节点间的结构相关性, 所得到的网络表示能适用于角色识别相关任务. 此外, 跨网络分类实验结果还体现了该方法在迁移学习方面的潜力.     

基于生成对抗网络结合Transformer的半监督图像增强方法

针对成对数据集获取成本较高、光照分布不均衡图像增强效果欠佳以及增强结果易产生十字形伪影的问题,提出了一种基于生成对抗网络结合Transformer的半监督图像增强方法。首先,采用Transformer网络架构作为生成对抗网络中生成器的主干网络,提取不同像素块间的依赖关系以获取全局特征,并通过非成对数据集进行半监督学习;其次,使用灰度图作为生成器网络的光照注意力图,以平衡增强结果在不同区域的曝光水平;最后,在生成器和鉴别器网络中交叉使用均等裁剪策略和滑动窗口裁剪策略,增强网络提取特征的能力并解决十字形伪影问题,并引入重建损失来提高生成器对图像细节的感知能力。结果表明：提出方法取得了更好的光照和色彩平衡效果,自然图像质量评估指标平均提升了2.37%;在图像修饰任务中,图像峰值信噪比、相似结构度和感知损失同时达到了最优;在低光照增强任务中,图像峰值信噪比提升了13.46%;充分验证了提出方法在图像增强2个子任务上的有效性。     

基于监督学习的核拉普拉斯特征映射分类方法

提出一种监督学习的核拉普拉斯特征映射方法(supervised kernel Laplacian eigenmap,SKLE),通过非线性核映射将样本数据投影到高维核特征空间,然后将流形结构和样本类别信息进行有效的结合后,提取嵌入在高维数据中的低维流形特征用于分类.实验表明,该方法对新样本具有泛化性,并且能有效提高分类的效能.     

基于生成式零样本学习的未知恶意流量分类方法

未知恶意流量是网络安全的重大安全挑战,对未知恶意流量的分类能够增强网络威胁识别能力,指导网络防御策略.未知恶意流量由于缺乏样本,无法满足现有的深度学习方法对大量数据的需要.本文提出了一种基于生成式零样本学习的未知恶意流量分类方法.从原始的网络流量中提取出关键的恶意流量信息并转化为二维图像,提出将恶意流量的属性信息作为辅助语义信息,利用条件生成对抗网络生成类别样本.同时,本文还添加了类级别的对比学习网络,使得生成的类别样本质量更高并且更具有类间区分度.实验结果表明,该方法在未知恶意流量分类问题上平均准确率能够达到90%以上,具有较高的应用价值.     

基于伪标签回归和流形正则化的无监督特征选择算法

无监督特征选择是无标签高维数据预处理过程中一种有效的数据降维技术，然而大多数无监督特征选择算法忽略了数据样本本身的类簇结构特性，选择具有低判别性信息的特征.基于此，提出一种基于伪标签回归和流形正则化的无监督特征选择算法.具体地，联合伪标签回归和最大化类间散度来保证算法在迭代过程中学习伪标签，同时，自适应学习数据样本之间的局部几何结构，获得更加精准的标签信息和结构信息，进而选择具有高判别性且能保持数据流形结构的特征.在四个公开数据集上的对比实验表明，提出算法的特征选择结果优于现有的一些无监督特征选择算法.