结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果，但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力，使模型做到单词和短语级别的控制生成，但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力，句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合，使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明，本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

一种融合实体关联性约束的表示学习方法

知识图谱的表示学习方法将实体和关系嵌入到低维连续空间中,从而挖掘出实体间的隐含联系.传统的表示学习方法多基于知识图谱的结构化信息,没有充分利用实体的描述文本信息.目前基于文本的表示学习方法多将文本向量化,忽略了文本中实体间的语义关联.针对上述缺点提出一种利用实体描述文本进行增强学习的方法,基于文本挖掘出关联性实体并对关联性进行分级,将关联性作为辅助约束融合到知识图谱的表示学习中.实验结果表明,该辅助约束能明显提升推理效果,优于传统的结构化学习模型以及基于深度学习的文本和结构的联合表示模型.      

基于自监督学习的文本行人检索

基于文本的行人检索任务旨在以文本为查询在大规模数据库中检索出目标行人的图像，在处理社会公共安全问题中具有较高的实用价值．不同于常规的跨模态检索任务，该任务中所有的类别都是行人，不同行人之间的外观差异较小，难以辨别；此外由于拍摄条件的限制图像质量通常较差，因此如何有效地提取更鲁棒、更具有判别性的视觉特征是该任务的一项重要挑战．为了应对这一挑战，设计了一种基于自监督学习的文本行人检索算法，以多任务学习的形式将自监督学习与基于文本的行人检索任务相结合，对两种任务同时进行训练，共享模型参数．其中，自监督任务作为辅助任务，旨在为行人检索任务学习到更鲁棒、更具有判别性的视觉特征．具体来说，首先提取视觉和文本特征，并以图像修复作为自监督任务，旨在学习更丰富的语义信息，且对遮挡数据具有更好的鲁棒性；基于行人图像的特殊性，进一步设计了一种镜像翻转预测任务，通过训练网络预测图像是否经过了镜像翻转学习具有判别性的细节信息，以帮助行人检索任务更好地区分难分样本．在公开数据集上进行的大量实验证明了该算法的先进性和有效性，将行人检索的Top-1准确率提升了2.77%，并且实验结果显示两种自监督任务存在一定的互补性...     

组合多任务与迁移学习的故事发展预测

使用机器挖掘故事中的潜在语义关系从而推断故事发展方向,是当前自然语言处理领域研究的热点之一.现有主流方法存在的共性问题是神经网络理解文本能力有限,模型的关注点均集中在挖掘单个语义信息上,导致模型泛化能力差,使得机器仅能通过单个语义理解文本.针对上述问题,作者提出一种组合多任务与迁移学习的新模型,该模型由共享层、特定任务层、迁移层以及组合层构成.模型的前两层组合语言模型与多任务学习,解决神经网络理解能力不足的问题,第二、三层训练多个语义任务,第四层融合多个语义信息,克服以往模型仅从单个语义理解文本的缺点.对比实验及消融实验表明,新模型预测精度与主流方法相比有较为显著的提升,各特定任务的语义信息有助于预测故事发展方向.     

基于混合机器学习模型的短文本语义相似性度量算法

为提高短文本语义相似性度量准确性,设计一种基于混合机器学习模型的短文本语义相似性度量算法.先对短文本实施预处理,基于混合机器学习模型构建短文本的字词向量模型,对短文本进行特征扩展;然后组合短文本的多样度量特征,对多样度量特征进行维度规约;最后通过构建一个集成学习模型,计算语义相似性结果,实现语义相似性的度量.使用“Quora Question Pairs”比赛数据集测试该方法的性能,测试结果表明,该方法的准确性较高,对数损失和度量均方差均较低,说明该方法的相似性度量准确性较高.     

服务匹配模型中综合语义匹配方法研究

针对目前基于语义的服务匹配系统中的匹配方法存在对同一等级概念区别不清的问题,采用Web Services和语义Web技术,提出了一个基于UDDI和OWL-S的服务匹配模型,即对传统服务匹配模型的UDDI中引入语义化服务描述和基于数值计算的语义匹配功能.并综合利用基于几何距离和基于信息容量两种语义相似度算法的优点,设计了一种综合语义匹配算法,最后通过实验验证了该方法的优越性.     

基于深度监督学习的零样本跨模态检索方法

针对当前零样本跨模态检索的研究中未兼顾类别匹配和对应匹配的问题,提出一种基于深度监督学习的零样本跨模态检索方法。对3种类型的图文数据对进行了区分,分别是来自同一类别并且匹配的数据对,来自同一类别但不匹配的数据对,以及来自不同类别的数据对;在保持图文类别匹配关系的条件下,为了进一步实现两者的对应匹配,构造了两种基于掩码的匹配约束条件,一种是隐藏同一类别但不匹配的另一模态数据,约束不同类别的图文数据之间的匹配关系,另一种是隐藏其他类别的另一模态数据,约束同一类别内的图文数据之间的对应匹配关系;通过对齐视觉空间和语义空间中对应特征的分布结构,再次约束图文间的类别匹配和对应匹配关系;为了增强文本语义的表征能力,以注意力池化从词序列特征中获得语义显著的句子深度表征。实验结果表明,在CUB数据集上,所提方法对图像检索文本和文本检索图像的效果相较基线模型分别提升了5.9%和2.2%;在FLO数据集上的检索效果分别比现阶段表现最佳的方法高4.2%和1.7%。     

基于NMF的潜在语义模型在文本检索中的应用

提出基于NMF潜在语义模型的中文文本信息检索方法。此方法利用NMF提取潜在语义,然后将文本表示成潜在语义的组合,并通过反馈得到的同义词、多义词进行查询扩展,提高检索查准率和查全率,从而解决了简单匹配方法中词的同义与多义带来的问题。与基于SVD潜在语义模型的中文文本信息检索方法相比,NMF方法具有查准率和查全率高、存储开销少、计算速度快、可解释性强等特点。     

无监督的句法可控复述模型用于对抗样本生成

针对使用句法可控的复述生成模型生成对抗样本时模型性能受限于复述平行语料的领域和规模的问题,提出仅需要单语语料训练的无监督的句法可控复述生成模型,用以生成对抗样本.采用变分自编码方式学习模型,首先将句子和句法树分别映射为语义变量和句法变量,然后基于语义变量和句法变量重构原始句子.在重构过程中,模型可以在不使用任何平行语料...     

基于文本内容分析的过滤技术研究

提出一种基于特征词和局部语义分析的文本分类与过滤方法,在基于特征词统计特性分析的基础上,将特征词的知识属性和局部语法匹配引入信息过滤模型,实验结果表明,这种方法对于某些领域的文本信息可以有效地进行识别和过滤.     

基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

精细拓扑结构表示与深度特征融合在多目标图像检索中的应用

空间信息表示是增强图像特征表达性能的重要手段,通过空间关系建模与深度学习方法融合可有效提升深度特征的语义特性,从而提升图像检索性能.首先,针对复杂图像的空间关系表示提出了一种新的精细拓扑结构表示模型,该模型不仅具有完备的拓扑描述性能,还提供了两种拓扑不变量的推理算法,使得拓扑不变量可以由表示模型直接推导而不需要繁复的几何计算;其次,基于精细拓扑结构表示模型,提出了有效的拓扑结构相似性度量方法,为空间关系特征表达奠定了基础;最后,进一步结合卷积神经网络,提出融合复杂空间关系特征与深度特征的多目标图像检索方法.实验结果表明,所提出的拓扑结构表示模型在空间查询中具有良好的性能;所提出的图像检索框架取得优于现有方法的精度,并能够有效地结合手工特征与深度特征各自的优势,为提升深度学习方法的可解释性创造了有利条件.     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.     

基于自监督信息增强的图表示学习

针对图表示学习模型依赖具体任务进行特征保留以及节点表示的泛化性有限等问题,本文提出一种基于自监督信息增强的图表示学习模型(Self-Variational Graph Auto Encoder,Self-VGAE)。Self-VGAE首先使用图卷积编码器和节点表示内积解码器构建变分图自编码器(Variational Graph Auto Encoder,VGAE),并对原始图进行特征提取和编码;然后,使用拓扑结构和节点属性生成自监督信息,在模型训练过程中约束节点表示的生成。在多个图分析任务中,Self-VGAE的实验表现均优于当前较为先进的基线模型,表明引入自监督信息能够增强对节点特征相似性和差异性的保留能力以及对拓扑结构的保持、推断能力,并且Self-VGAE具有较强的泛化能力。     

Self-supervised human semantic parsing for video-based person re-identification

Video-based person re-identification is an important research topic in computer vision that entails associating a pedestrian’s identity with non-overlapping cameras. It suffers from severe temporal appearance misalignment and visual ambiguity problems. We propose a novel self-supervised human semantic parsing approach (SS-HSP) for video-based person re-identification in this work. It employs self-supervised learning to adaptively segment the human body at pixel-level by estimating motion information of each body part between consecutive frames and explores complementary temporal relations for pursuing reinforced appearance and motion representations. Specifically, a semantic segmentation network within SS-HSP is designed, which exploits self-supervised learning by constructing a pretext task of predicting future frames. The network learns precise human semantic parsing together with the motion field of each body part between consecutive frames, which permits the reconstruction of future frames with the aid of several customized loss functions. Local aligned features of body parts are obtained according to the estimated human parsing. Moreover, an aggregation network is proposed to explore the correlation information across video frames for refining the appearance and motion representations. Extensive experiments on two video datasets have demonstrated the effectiveness of the proposed approach.     

基于语义分割深度学习的地基云图分割方法

随着深度学习技术的迅速发展,更复杂更先进的语义分割深度学习模型在地基云图检测分割任务中得到广泛研究和应用。首先开创性地对新发布的地基云图数据集进行整理概括;然后阐述了基于深度学习语义分割模型在地基云图分割方面的研究进展,详细地介绍了典型的语义分割网络模型;接着选取了部分优秀性能的语义分割模型在标准的数据集上训练和验证,系统性评估其在地基云图分割的性能,验证了语义分割模型在地基云图分割领域的适用性;最后提出对基于语义分割的自适应地基云图像素级分割研究的总结和展望。     

基于深度学习的手术场景运动感知

基于术中影像的运动感知是计算机辅助手术系统开发的重要研究内容,能够为运动补偿、软组织形变分析等应用提供有价值的信息,从而提高手术效率并增强手术安全。然而,手术影像中运动器械的遮挡降低了对局部区域估计的准确性。为解决这一难题,提出一种基于光流网络和解耦表示的运动感知方法,并结合自监督学习范式优化模型。制作了神经外科手术数据集,在PyTorch深度学习框架下对模型进行训练和验证。实验结果表明：该运动估计方法在复杂手术场景中具有稳定性强、准确度高的优点,在计算机辅助手术中具有较高的应用价值。     

融合双重自监督信号的图异常检测

图异常检测是网络研究中的一项重要内容。为解决以往工作中常依赖单一自监督信号而不能很好地检测多类型异常的问题,提出一种融合结构和属性的自监督图异常检测模型。首先选取目标节点,再基于图元邻接矩阵采样得到对应的负例节点;其次,构造正负子结构,并基于图卷积网络学习子结构表示以得到结构自监督信号;再次,依托自编码器对属性进行重构以获得属性自监督信号,解决节点匿名化带来的属性平滑问题;最后,通过对比学习对重构前后的正负实例对进行差值学习,以实现异常检测。在4个数据集上进行了3组实验,结果表明模型能够有效检测图中的异常节点。     

基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%～4%的准确率。     

深度学习技术在影像密集匹配方面的进展与应用

在计算机视觉及摄影测量领域中,影像的密集匹配一直是研究的重点与难点之一。它在影像三维重建、数字表面模型生产中都具有不可或缺的作用。近几年来,随着深度学习的快速发展,基于深度学习的影像密集匹配算法也是层出不穷。本文通过对目前具有代表性的技术方法进行回顾,按照基于图像块的相似性度量学习和端对端生成视差图两类研究思路,叙述了深度学习在影像密集匹配中的研究进展与趋势,总结了现有方法的优点与不足,以期为影像匹配的研究提供具有参考价值的文献综述。