基于生成对抗网络的肺结节良恶性诊断算法

针对实性肺结节CT影像数据量少、人工标注耗时耗力等问题,提出一种结合生成对抗网络和集成学习的实性肺结节良恶性计算机辅助诊断方法.首先,使用基于梯度惩罚的生成对抗网络对肺结节CT影像数据集进行扩充,缓解由数据量少、样本类别不均衡导致的模型过拟合.然后,利用卷积神经网络进行CT影像特征提取,并通过主成分分析对深度特征进行降维.最后,联合CT图像特征和有效临床信息,采用集成学习方法构建分类模型预测实性肺结节良恶性.基于多中心临床数据分析表明,相比于传统卷积神经网络模型,所提出方法有更好的预测性能.     

融合属性信息的知识表示方法

现有的联合知识表示学习模型使用实体描述作为辅助信息来提升表示效果,忽略了互联网中大量有价值的信息。为此,提出一种融合属性信息的知识表示学习方法(AIKR)。首先抓取实体的不同属性,并通过莱文斯坦距离从语料库中匹配属性对应的说明文本;然后利用卷积神经网络对说明文本进行编码;最后将得到的实体属性表示与翻译模型生成的结构表示相结合进行联合学习。实验结果表明,相比仅利用实体描述的方法,融合属性信息的知识表示方法可以学习到更多的语义信息,取得了更好的表示效果。     

基于卷积神经网络的粗粒度数据分布式算法

针对特定运行模式下粗粒度数据存在计算效率较低的问题, 提出一种基于卷积神经网络的数据分布式算法. 首先构建用于粗粒度数据处理的卷积神经网络模型, 给出模型基础连接层神经元网络的连接结构和权重比例, 并训练和池化粗粒度数据； 然后利用训练池化结果求解模型的最小损失函数, 提升模型针对粗粒度数据的分布式计算能力. 实验结果表明, 在单机和集群模式下, 卷积神经网络模型具有更好的计算效率和数据泛化能力.     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

基于卷积神经网络的粗粒度数据分布式算法

针对特定运行模式下粗粒度数据存在计算效率较低的问题, 提出一种基于卷积神经网络的数据分布式算法. 首先构建用于粗粒度数据处理的卷积神经网络模型, 给出模型基础连接层神经元网络的连接结构和权重比例, 并训练和池化粗粒度数据; 然后利用训练池化结果求解模型的最小损失函数, 提升模型针对粗粒度数据的分布式计算能力. 实验结果表明, 在单机和集群模式下, 卷积神经网络模型具有更好的计算效率和数据泛化能力.     

基于句法依存卷积神经网络的句子相似度计算

句子相似度计算是自然语言处理的一项基础任务,其准确性直接影响机器翻译、问题回答等下游任务的性能。传统机器学习方法主要依靠词形、词序及结构等浅层特征计算句子相似度,而深度学习方法能够融入深层语义特征,从而取得了更好效果。深度学习方法如卷积神经网络在提取文本特征时存在提取句子语义特征较浅、长距离依赖信息不足的缺点。因此设计了DCNN （dependency convolutional neural network）模型,该模型利用词语之间的依存关系来解决该不足。DCNN模型首先通过依存句法分析得到句子中词语之间的依存关系,而后根据与当前词存在一跳或者两跳关系的词语形成二元和三元的词语组合,再将这两部分信息作为原句信息的补充,输入到卷积神经网络中,以此来获取词语之间长距离依赖信息。实验结果表明,加入依存句法信息得到的长距离依赖能有效提升模型性能。在MSRP （microsoft research paraphrase corpus）数据集上,模型准确度和F1值分别为80.33%和85.91,在SICK （sentences involving compositional knowledge）数据集上模型的皮尔森相关系数能达到87.5,在MSRvid （microsoft video paraphrase corpus）数据集上模型的皮尔森相关系数能达到92.2。     

基于改进卷积神经网络的短文本分类模型

基于卷积神经网络, 提出一种基于改进卷积神经网络的短文本分类模型. 首先, 采用不同编码方式将短文本映射到不同空间下的分布式表示, 提取不同粒度的数字特征作为短文本分类模型的多通道输入, 并根据标准知识库提取概念特征作为先验知识, 提高短文本的语义表征能力； 其次, 在全连接层增加自编码学习策略, 在近似恒等的基础上进一步组合数字特征, 模拟数据内部的关联性； 最后, 利用相对熵原理为模型增加稀疏性限制, 降低模型复杂度的同时提高模型的泛化能力. 通过对开源数据集进行短文本分类实验, 验证了模型的有效性.     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.     

基于改进卷积神经网络的短文本分类模型

基于卷积神经网络, 提出一种基于改进卷积神经网络的短文本分类模型. 首先, 采用不同编码方式将短文本映射到不同空间下的分布式表示, 提取不同粒度的数字特征作为短文本分类模型的多通道输入, 并根据标准知识库提取概念特征作为先验知识, 提高短文本的语义表征能力； 其次, 在全连接层增加自编码学习策略, 在近似恒等的基础上进一步组合数字特征, 模拟数据内部的关联性； 最后, 利用相对熵原理为模型增加稀疏性限制, 降低模型复杂度的同时提高模型的泛化能力. 通过对开源数据集进行短文本分类实验, 验证了模型的有效性.     

基于视觉的水面背景下目标检测与跟踪算法

为解决清漂船在复杂水面背景下对漂浮物体积较小或被遮挡的检测与跟踪问题,提出了一种基于视觉的水面背景下目标检测与跟踪算法,通过利用YOLO改进的多粒度特征融合方法使得模型在最终检测时所提取的特征向量考虑更多底层的特征,并引入K邻域搜索感兴趣区域模块,与长短期记忆神经网络(long-short term memory, LSTM)相结合,弥补了卷积神经网络的时序关联性差的缺陷,根据目标当前帧语义特征和运动特征预测下一帧中目标所在位置,能够更快地提取目标的特征,并且有效地去除复杂背景的干扰。实验结果表明：该算法的跟踪平均成功率、平均准确率和平均速度分别为57.1%、71.1%、45.4帧/s。较好解决因被检测目标过小的问题,提升在跟踪目标被遮挡的情况下的跟踪性能。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于改进卷积神经网络与动态衰减学习率的环境声音识别算法

环境声音识别在音频检索、监控方面有着广泛的应用,是听觉识别任务中的一个热门研究领域。但由于其声音信号的复杂多变,使得该任务在识别率提升方面依然面临许多挑战。针对这一问题本文提出了基于改进卷积神经网络的环境识别模型（S-CNN）,该模型采用反复堆叠的递减型卷积核提取不同尺度的局部特征,并在每层卷积层后采用Batch Normalization（BN）层对特征进行归一化操作。同时,利用动态衰减的学习率训练模型,以提高模型收敛速度与收敛稳定性。实验结果表明,相比于传统的机器学习与卷积神经网络模型,本文所设计的改进卷积神经网络模型S-CNN具有更好的识别率。在ESC-10环境声音数据库上,识别精度达到91.3%。     

顾及区域信息的卷积神经网络在影像语义分割中的应用

高分辨率遥感影像在实际应用中得到广泛使用。高分影像语义分割方法的研究具有重要实际应用价值。近来基于深度卷积网络的遥感影像标注方法表现出了比传统方法更为优越的性能;然而由于其基于固定感受野大小的上下文信息获取方法没有显式利用像素间约束关系,导致同一地物内部语义标注结果不一致。基于同一区域内部像素属于相同类别概率较大的假定,试图引入图像区域内部语义标注一致性约束,以改善现有深度卷积神经网络描述上下文信息的能力。在现有全卷积网络模型基础上,利用卷积神经网络最后一层特征,引入一个表示区域内部像素特征一致性的损失函数;将该损失函数与softmax损失函数进行联合训练,得到网络模型参数。在ISPRS(国际摄影测量与遥感学会)的Vaihingen 2D语义标注数据集上,对提出的方法进行了实验验证,实验结果表明所提方法在大多数类别上取得了较现有卷积神经网络模型更优的分类结果,总体准确率达85.18%。提出的引入区域内部像素标记一致性的全卷积网络模型,可以有效捕捉区域内部像素特征一致性的上下文信息,能有效纠正全卷积网络模型在区域内部像素分类中的冲突,获得区域一致较好的分类结果,从而改善图像的语义标注效果。     

Fusing Geometrical and Visual Information via Superpoints for the Semantic Segmentation of 3D Road Scenes

This paper addresses the problem of the semantic segmentation of large-scale 3D road scenes by incorporating the complementary advantages of point clouds and images.To make full use of geometrical and visual information, this paper extracts 3D geometric features from a point cloud using a deep neural network for 3D semantic segmentation and extracts 2D visual features from images using a Convolutional Neural Network(CNN)for 2D semantic segmentation.In order to bridge the features of the two modalities, this paper uses superpoints as an intermediate representation to connect the 2D features with the 3D features.A superpoint-based pooling method is proposed to fuse the features from the two different modalities for joint learning.To evaluate the approach, the paper generates 3D scenes from the Virtual KITTI dataset.The results of the experiments demonstrate that the proposed approach is capable of segmenting large-scale 3D road scenes based on the compact and semantically homogeneous superpoints, and that it achieves considerable improvements over the 2D image and 3D point cloud semantic segmentation methods.     

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型(convolutional neural network-bidirectional long short term memory network,CNN-BiLSTM)进行...     

基于语义特征提取与层次结构的问题生成方法

针对传统端到端模型在输入文本语义较复杂情况下生成的问题普遍存在语义不完整的情形,提出一种基于语义特征提取的文本编码器架构.首先构建双向长短时记忆网络获得基础的上下文信息,然后采用自注意力机制及双向卷积神经网络模型分别提取语义的全局特征和局部特征,最后设计一种层次结构,融合特征及输入自身信息得到最终的文本表示进行问题生成.在数据集SQuAD上的实验结果表明,基于语义特征提取与层次结构进行问题生成效果显著,结果明显优于已有方法,并且语义特征提取和层次结构在任务的各评价指标上均有提升.     

融合BiLSTM的双图神经网络文本分类模型

采用图神经网络模型为整个语料库构建异构图处理文本分类任务时，存在难以泛化到新样本和词序信息缺失的问题。针对上述问题，提出了一种融合双图特征和上下文语义信息的文本分类模型。首先，为每个文本独立构建共现图和句法依存图，从而实现对新样本的归纳式学习，从双图角度捕获文本特征，解决忽略单词间依存关系的问题；其次，利用双向长短期记忆网络（bi-directional long short-term memory，BiLSTM）编码文本，解决忽略词序特征和难以捕捉上下文语义信息的问题；最后，融合双图特征，增强图神经网络模型的分类性能。在MR，Ohsumed，R8，R52数据集上的实验结果表明，相较于经典的文本分类模型，该模型能够提取更丰富的文本特征，在准确率上平均提高了2.17%，5.38%，0.61%，2.48%。     

公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题，提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法：首先，利用卷积神经网络提取图像和文本的高级语义特征；然后，接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重；最后，连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明：SPCMR方法能充分利用跨模态间的语义信息，有效提升图文检索的精度。     

基于融合多尺度多通道特征的深度监督网络实现裂缝检测

尽管卷积神经网络浅层特征可蕴含一些细节信息,但也包含大量噪声。对于宽裂缝,浅层信息则作用不大。因此,本文提出了一个基于VGG16骨架并融合深层特征的FCN分割网络,并在每层加入侧边输出以直接监督模型。此外,我们还采用了一种名为Focal Loss的损失函数来解决数据集本身正负样本分类不平衡的问题。这种多尺度多通道深层特征与独特的损失函数融合应用,使网络具备很强的抗干扰性和更快的收敛速度。在DeepCrack数据集上,本文提出的深层特征融合网络(Deep Feature Fusion Network,DFFN)与HED、FCN和DeepCrack相比,表现出更好的性能和更快的推理速度。     

基于轻量卷积神经网络的目标跟踪改进算法

针对现有目标跟踪算法在跟踪过程中遇到目标形变、遮挡等干扰属性导致不能对目标进行有效跟踪的问题，提出一种基于轻量卷积神经网络（lightweight convolutional neural network,LWCN）的目标跟踪改进算法。首先利用改进的卷积神经网络对模板图片和跟踪图片进行特征提取，并将不同层次的特征图充分利用，解决了随着网络加深而导致部分特征丢失问题；其次融合CN特征和HOG特征作为相关滤波器中目标特征表达，增强在不同干扰属性下的目标描述能力；再次通过最大响应值对当前目标位置和目标尺度进行判断，并决定是否更新滤波器模板；最后将LWCN算法与其他算法在OTB50、OTB100、UAV123等数据集上进行性能对比实验。实验结果表明，LWCN算法具有较好的稳定性和实时性，并在遇到形变、遮挡、光线和背景变化时，跟踪结果优于大部分算法。