Self-supervised human semantic parsing for video-based person re-identification

Video-based person re-identification is an important research topic in computer vision that entails associating a pedestrian’s identity with non-overlapping cameras. It suffers from severe temporal appearance misalignment and visual ambiguity problems. We propose a novel self-supervised human semantic parsing approach (SS-HSP) for video-based person re-identification in this work. It employs self-supervised learning to adaptively segment the human body at pixel-level by estimating motion information of each body part between consecutive frames and explores complementary temporal relations for pursuing reinforced appearance and motion representations. Specifically, a semantic segmentation network within SS-HSP is designed, which exploits self-supervised learning by constructing a pretext task of predicting future frames. The network learns precise human semantic parsing together with the motion field of each body part between consecutive frames, which permits the reconstruction of future frames with the aid of several customized loss functions. Local aligned features of body parts are obtained according to the estimated human parsing. Moreover, an aggregation network is proposed to explore the correlation information across video frames for refining the appearance and motion representations. Extensive experiments on two video datasets have demonstrated the effectiveness of the proposed approach.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于句法依存卷积神经网络的句子相似度计算

句子相似度计算是自然语言处理的一项基础任务,其准确性直接影响机器翻译、问题回答等下游任务的性能。传统机器学习方法主要依靠词形、词序及结构等浅层特征计算句子相似度,而深度学习方法能够融入深层语义特征,从而取得了更好效果。深度学习方法如卷积神经网络在提取文本特征时存在提取句子语义特征较浅、长距离依赖信息不足的缺点。因此设计了DCNN （dependency convolutional neural network）模型,该模型利用词语之间的依存关系来解决该不足。DCNN模型首先通过依存句法分析得到句子中词语之间的依存关系,而后根据与当前词存在一跳或者两跳关系的词语形成二元和三元的词语组合,再将这两部分信息作为原句信息的补充,输入到卷积神经网络中,以此来获取词语之间长距离依赖信息。实验结果表明,加入依存句法信息得到的长距离依赖能有效提升模型性能。在MSRP （microsoft research paraphrase corpus）数据集上,模型准确度和F1值分别为80.33%和85.91,在SICK （sentences involving compositional knowledge）数据集上模型的皮尔森相关系数能达到87.5,在MSRvid （microsoft video paraphrase corpus）数据集上模型的皮尔森相关系数能达到92.2。     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

基于多尺度特征混合注意力的连续帧深度估计

目的 估计获取拍摄物体到相机之间距离的深度信息是单目视觉 SLAM 中获取深度信息的方法,针对无监督 单目深度估计算法出现精度不足以及误差较大的问题,提出基于多尺度特征融合的混合注意力机制的连续帧深度 估计网络。 方法 通过深度估计和位姿估计的两种编码器解码器结构分别得到深度信息和 6 自由度的位姿信息,深 度信息和位姿信息进行图像重建与原图损失计算输出深度信息,深度估计解码器编码器结构构成 U 型网络,位姿 估计网络和深度估计网络使用同一个编码器,通过位姿估计解码器输出位姿信息;在编码器中使用混合注意力机 制 CBAM 网络结合 ResNet 网络提取四个不同尺度的特征图,为了提升估计的深度信息轮廓细节在提取的每个不 同尺度的特征中再进行分配可学习权重系数提取局部和全局特征再和原始特征进行融合。 结果 在 KITTI 数据集 上进行训练同时进行误差以及精度评估,最后还进行了测试,与经典的 monodepth2 单目方法相比误差评估指标相 对误差、均方根误差和对数均方根误差分别降低 0. 034、0. 129 和 0. 002,自制测试图片证明了网络的泛化性。 结论 使用混合注意力机制结合的 ResNet 网络提取多尺度特征,同时在提取的特征上进行多尺度特征融合提升了深度 估计效果,改善了轮廓细节。     

语义相似计算驱动领域自动问答

研究实体相似性的认知心理特征和受限领域自动问答(QA)系统的形式特点.基于结构对齐和几何相似模型,把词语概念描述分解为属性部分和语义角色部分,各部分结构分别对齐后,计算对齐义原的关系距离,加权组合计算词语的相似度.该方法也适用于解析成语义向量表示的疑问句的相似度计算.融合通用本体、领域本体和领域知识文本,构造了支持语义计算求解某一银行QA问题的知识库.实验表明,该方法可以提高领域QA系统的用户满意度.     

基于局部形状约束网络的人脸对齐

基于级联回归的人脸对齐方法已经取得了很大的成就,但是由于复杂的级联回归器设计、人为设计特征等局限性的影响使得人脸对齐没有找到一个性能更好的解决方案,尤其对于大姿态、大表情等条件下的人脸对齐任务.因此,为解决该问题,提出了一种新颖的人脸对齐方法——基于人脸局部形状约束.首先利用卷积神经网络初始化人脸整体形状;然后利用人脸局部区域的同质性,将人脸区域进行划分,对每一个区域定义局部形状约束;最后再由整体形状估计做为全局约束,组合各个面部局部形状约束,对整体面部特征点进行回归.实验结果表明,该方法提高了人脸对齐的精确度且速度上达到了实时.     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

基于双树复数小波四元数卷积网络的Copy-move盲取证算法

随着图像编辑软件的普及与完善,使得人们通过Copy-move操作便可伪造图像,而现有的Copy-move盲取证算法很难提取到彩色图像的一致性特征,且结果依赖于手动调节参数,难以定位到准确的篡改区域.为此,利用四元数卷积网络提取彩色图像空间一致性信息和双树复数小波提取图像局部信息的优势,提出了一种基于双树复数小波四元数卷...     

基于学习体型表征的行人再识别

行人再识别是计算机视觉领域的一项重要任务,但大多数现有模型很大程度上依赖于颜色外观。针对目前很少研究解决目标人物衣服不一致的行人再识别问题,提出一种新的表征学习模型。该模型通过对抗性学习和特征分离来产生不受服装颜色或图案影响的体型特征表示。同时,由于缺乏包含同一个人服装变化的行人再识别数据集,创建了一个合成数据集来模拟服装变化。4个数据集(两个基准行人再识别数据集,一个跨模态行人再识别数据集,合成数据集)的定量和定性结果证实了该方法对几种最先进的方法的鲁棒性和优越性。     

基于CNN的粒子滤波目标跟踪算法研究

针对复杂场景下目标跟踪算法存在的跟踪目标丢失漂移等问题,提出一种粒子滤波框架下基于卷积神经网络（convolutional neural network,CNN）的目标跟踪算法.该算法采用CNN提取跟踪目标的高层语义特征,并引入离线训练方式,提高训练效率以及特征提取的泛化能力;利用粒子滤波算法框架,实现目标运动状态的有效估计;同时采用长时与短时两种更新策略,并引入困难样本挖掘的在线训练方式,以适应目标外观变化与背景干扰等复杂情况.仿真实验结果表明本文算法能有效适应遮挡、光照、剧烈运动等场景.与多个当前的跟踪算法在公开测试样本下进行了结果比较和分析,验证了本算法在解决跟踪目标丢失漂移等问题上的有效性.      

用球面混合曲率图像比较三角网格模型的相似性

针对现有相似性比较算法对模型的局部细节特征描述不足的现状,提出了一种零亏格三角网格模型形状相似性比较的新方法.在对三角网格模型进行姿势配准以后,映射三角网格模型到单位球上,并用多种曲率生成球面混合曲率图像,然后用球面调和函数对其分解,提取一维旋转不变的形状描述子进行相似性比较.实验结果表明,采用球面混合曲率图像可以对三角网格模型中不同类型的曲面进行清楚的区分;文中提出的方法能更细致地区别三维模型,对网格分辨率鲁棒且特征提取稳定,因此可以提高三维模型检索的有效性.     

Land cover classification of RADARSAT-2 SAR data using convolutional neural network

In this paper, we propose a convolutional neural network (CNN) based on deep learning method for land cover classification of synthetic aperture radar (SAR) images. The proposed method consists of convolutional layers, pooling layers, a full connection layer and an output layer. The method acquires high-level abstractions for SAR data by using a hierarchical architecture composed of multiple non-linear transformations such as convolutions and poolings. The feature maps produced by convolutional layers are subsampled by pooling layers and then are converted into a feature vector by the full connection layer. The feature vector is then used by the output layer with softmax regression to perform land cover classification. The multi-layer method replaces hand-engineered features with backpropagation (BP) neural network algorithm for supervised feature learning, hierarchical feature extraction and land cover classification of SAR images. RADARSAT-2 ultra-fine beam high resolution HH-SAR images acquired in the rural urban fringe of the Greater Toronto Area (GTA) are selected for this study. The experiment results show that the accuracy of our classification method is about 90% which is higher than that of nearest neighbor (NN).     

用于肺结节检测和分类的两阶段深度学习方法

针对肺部CT数据具有空间信息的特点, 提出一种基于深度学习的两阶段方法, 即使用两个3D卷积网络有效学习结节特征, 对CT图像中的肺结节进行检测和分类. 该方法的检测器部分采用基于U Net的编码器 解码器结构的3D语义分割模型, 以预测结节的位置、 大小和语义掩码; 分类器部分采用3D双路径网络, 用于特征的汇总和收缩, 并给出分类结果. 为充分利用原始数据中的特征信息, 将检测器的结果应用于对原始数据进行采样和掩码操作, 并通过空间金字塔池化层获得一致的输入尺度. 在公开数据集上的实验结果表明, 该深度学习方法对CT图像肺结节的检测和分类具有良好的性能.     

基于多方向Gabor特征图稀疏表示的鲁棒人脸识别方法

为提高对光照、表情、姿态等可变因素的鲁棒性,提出一种基于多方向Gabor特征图稀疏表示的人脸识别方法.对人脸图像进行多方向多尺度Gabor变换,然后将同一方向不同尺度的Gabor特征进行融合得到多方向特征图,再对每个方向的融合特征图提取Gist特征并赋予自适应权重,接着将所有方向特征图的自适应加权Gist特征串联构成人脸图像特征向量,最后利用稀疏表示分类方法实现人脸识别.实验结果表明,本文算法在Yale、ORL和Extended Yale B人脸数据库上的平均识别率分别达到99.8%、99.7%和100.0%.      

基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型.在该模型中,利用膨胀卷积设计了一...     

Joint learning based on multi-shaped filters for knowledge graph completion

To solve the problem of missing many valid triples in knowledge graphs(KGs),a novel model based on a convolutional neural network(CNN) called ConvKG is proposed,which employs a joint learning strategy for knowledge graph completion(KGC).Related research work has shown the superiority of convolutional neural networks(CNNs) in extracting semantic features of triple embeddings.However,these researches use only one single-shaped filter and fail to extract semantic features of different granularity.To solve this problem,ConvKG exploits multi-shaped filters to co-convolute on the triple embeddings,joint learning semantic features of different granularity.Different shaped filters cover different sizes on the triple embeddings and capture pairwise interactions of different granularity among triple elements.Experimental results confirm the strength of joint learning,and compared with state-of-the-art CNN-based KGC models,ConvKG achieves the better mean rank(MR) and Hits@10 metrics on dataset WN18 RR,and the better MR on dataset FB15k-237.     

基于语义特征提取与层次结构的问题生成方法

针对传统端到端模型在输入文本语义较复杂情况下生成的问题普遍存在语义不完整的情形,提出一种基于语义特征提取的文本编码器架构.首先构建双向长短时记忆网络获得基础的上下文信息,然后采用自注意力机制及双向卷积神经网络模型分别提取语义的全局特征和局部特征,最后设计一种层次结构,融合特征及输入自身信息得到最终的文本表示进行问题生成.在数据集SQuAD上的实验结果表明,基于语义特征提取与层次结构进行问题生成效果显著,结果明显优于已有方法,并且语义特征提取和层次结构在任务的各评价指标上均有提升.     

基于指纹和语义特征的文档复制检测方法

文档复制检测是保护知识产权、提高信息检索效率的有效手段.提出一种基于指纹和语义特征的文档复制检测方法.介绍了指纹提取算法以及相关的重叠度度量,并且以知网的概念描述为基础对文本进行语义分析,利用词类信息和语义规则进行歧义消解,并采用基于框架的层级表示方法描述句子的语义特征.在3种测试集上把该方法与现存的方法在检测准确率上进行比较,实验结果表明该方法能够有效地检测出各种方式的复制文本.