基于LSTM的大规模知识库自动问答

针对大规模知识库问答的特点, 构建一个包含3个主要步骤的问答系统: 问句中的命名实体识别、问句与属性的映射和答案选择。采用别名词典结合LSTM语言模型进行命名实体识别, 使用双向LSTM模型结合两种不同的注意力机制进行属性映射, 最后综合前两步的结果进行实体消歧和答案选择。该系统在NLPCC-ICCPOL 2016 KBQA任务提供的数据集上的平均F1值为0.8106, 接近评测的最好水平。     

融合角色指代的多方对话关系抽取方法研究

在前期基于图网络的模型基础上,引入角色指代信息,提出融合角色指代的多方对话关系抽取模型.在构建图节点时加入角色节点,将其与对应角色指代的词节点进行连接,并使用图注意力网络进行编码.在DialogRE数据集上的实验效果与基线模型相比,F1值在验证集上提升2.9％,在测试集上提升4.6％.     

基于关系感知双重注意力融合的视觉问答技术

传统视觉问答技术仅采用简单的位置注意力,缺乏语义注意力,从而引起问题推理错误.本文采用双重注意力机制从图像获取位置信息和语义信息,以外积形式进行融合,获得文本也采用双重注意力融合实体和对应关系的信息,帮助理解问题.双重注意力动态方式可以实现关系融合、动态学习,改变传统静态学习方式.以多标签分类器实现答案推理,减少传统二...     

一种融合标签间强相关性的多标签图像分类方法

为了将标签间的语义相关性引入多标签图像分类模型中,传统的方法例如 ML-GCN 通过设置单阈值将标 签条件概率矩阵二值化为标签共现矩阵,然而,仅设置单阈值很难归纳所有的标签语义关系情况。 针对这一问题, 提出一种融合标签间强相关性的多标签图像分类方法—MGAN(Multiple Graph Convolutional Attention Networks), 通过设置多个阈值,将传统的标签条件概率矩阵按照不同的相关性程度分割为多个子图;同时,为了提升多标签分 类性能,也引入图像区域空间相关性。 另外,针对传统的“CNN+GCN”方法将标签与特征的融合张量视为预测分数 缺乏可解释性问题,将标签与特征的融合张量视为注意力分数;在 MS-COCO 和 PASCAL VOC 数据集上与其他主 流多标签图像分类方法进行了对比实验,平均准确率分别达到了 94. 9%和 83. 7%,相较于经典 ML-GCN 模型,分 别获得了 0. 9%和 0. 8%准确率提升,且在“Binary”和“Re-weighted”邻接矩阵模式下,MGAN 都有较好的表现,验证 了新的融合方法可以缓解图卷积神经网络过平滑问题对多标签图像分类的影响。     

基于拓展关键词信息的对话生成模型

在对话过程中,人们通常根据对方上一句话的关键词做出相应的回复。为了生成与关键词含义相关的回复,提出了拓展关键词信息注意力机制的对话生成模型。首先从输入语句中提取关键词,然后根据关键词词向量余弦相似度找出与关键词相关的词语构成拓展关键词集合,将集合中词语的词向量通过注意力机制的方式加入解码过程来影响回复生成。在中文微博数据集及英文Twitter数据集上的实验表明,该模型在回复语句的相关性及多样性方面取得了优于其他模型的结果。     

基于无监督样本关系嵌入模型的疟疾识别算法

目的 在不依赖真实标签的情况下利用图像样本关系识别被疟疾寄生虫感染的细胞。方法 采用一种能够提取样本间关系的无监督疟疾识别方法,并提出了一个由3个模块组成的样本关系注意力嵌入(Sample Correlation Attention Embedding, SCAE)模型。特征和关系初始化模块用于将原始图像映射为特征向量,并建立疟疾细胞之间的初始相关性矩阵。图注意力编码器模块通过一个带有注意力机制和图重构技术的图卷积网络进一步学习样本间特征和他们的关系信息。深度特征聚类模块用来预测细胞是否被疟疾感染。结果 将SCAE模型与一些最新的无监督算法进行了比较,以验证其在疟原虫识别任务中的有效性。结果表明,SCAE算法可达到94.8%的准确率、86.8%的标准化互信息(NMI)指标和84.7%的调整互信息(AMI)指标。结论 通过对SCAE模型评估,证明了该方法具有强大的疟疾识别能力,是当前最优的无监督疟疾识别方法。     

融合场景及交互性特征的多人行为识别

人类的行为复杂多样,场景、外观、位置等信息均与行为息息相关.本文针对如何高效地综合利用这些信息的问题,提出了融合场景及交互性特征的多人行为识别方法,使用双通道的方式分别提取个体外观特征与场景特征.对于个体通道,采用注意力机制模块来关注与行为相关度更大的区域,并将提取的个体外观特征结合位置特征输入图卷积网络进行关系推理.其中,图卷积网络采用了余弦相似度的方法度量个体特征之间的相关性,并结合个体之间的位置特征进行关系推理;对于场景通道,使用在place365数据集上预训练的ResNet 50提取场景特征.最后,本文将个体以及场景通道所得的特征进行加权融合,得到群组以及所有个体的行为识别结果.在Collective Activity Dataset（CAD）数据集上的实验表明,该方法能提高行为识别的准确率,群组行为以及个体行为的准确率分别达到了92.29%与78.19%.     

基于多尺度时空优化的空气质量预测方法

本文提出一种基于多尺度时空优化的空气质量预测方法(multi-scalespatial-temporalnetworkforairquality prediction,MSSTN-AQP),结合空气质量系统中存在的长短期时间依赖关系和动态空间依赖性,提高长期空气质量预测的准确性。首先,通过构建多尺度时空特征提取模块,从多源异构数据中提取时空特征。其次,构建动态空间特征提取模块。通过将图卷积网络与注意力机制进行有效结合,捕捉空气质量网络中的全局空间特征,用于对多种空间依赖关系的联合建模。最后,构建时间特征提取模块,对Transformer模型进行改进与优化。自适应时间Transformer模块主要用于模拟跨多个时间步长的双向时间依赖关系。此外,将上述时空特征提取模块进行有效集成化,构建端到端的空气质量预测模型。为了验证模型的有效性,在两个真实数据集中进行实验验证。实验结果表明,MSSTN-AQP在预测精度上更具优势,尤其是在长期的空气质量预测任务中优势更加明显。     

骨架自适应与关节增强图卷积网络的行为识别

针对仅依赖预定义骨架图对人体关节动作建模的不充分性及关节特征具有冗余性的问题,提出了一种基于骨架自适应与关节增强图卷积网络的行为识别方法.首先,利用嵌入式操作的高斯函数学习各关节点间的连接关系,根据输入的骨架数据自适应地调整关节结构;其次,引入软注意力机制,衡量各关节点贡献的差异,以此增强高贡献关节点的特征表达并削弱低...     

基于图神经网络的社交网络影响力预测算法

近十年来,通过社交网络（如微博、推特）分享信息已经成为人们日常生活中不可缺少的一个环节,如何有效地预测信息传播的影响力成为社交网络研究中的重要课题,不论是识别病毒式营销和虚假新闻还是精确推荐和在线广告都有许多应用.目前,一些应用深度学习进行社交网络影响力预测的方法已经取得了一定进展,但在进行深度学习时仍会面临以下难点：用户通常具有不同的行为和兴趣并且他们同时通过不同的渠道进行互动;用户之间的关系难以检测和形式化表达.传统的社交网络影响力预测方法通过设计复杂的规则来手动提取用户及其所处网络的特征信息,这一方法的有效性严重依赖于设置规则的专业性,所以很难将某一领域的规则推广到其他领域的应用中去.基于深度神经网络模型,设计一种端到端的神经网络来学习用户的隐藏特征信息以预测其社交网络影响力.首先通过图嵌入的方式对用户的局部网络进行特征提取,然后将特征向量作为输入对图神经网络进行训练,从而对用户的社会表征进行预测.该方法的创新之处：运用图卷积和图关注方法,将社交网络中用户的特征属性和其所处局域网络特征相结合,大大提高了模型预测的精度.通过在推特、微博、开放知识图谱等数据集上的大量实验,证明该方法...     

基于Ghost DenseNet SE的恶意代码检测方法

针对现有恶意代码检测模型对恶意代码及其变种识别率不高,且参数量过大这一问题,将轻量化卷积Ghost、密集连接网络DenseNet与通道域注意力机制SE相结合,提出一种基于Ghost-DenseNet-SE的恶意代码家族检测模型.该模型为压缩模型体积、提升识别速率,将DenseNet中的标准卷积层替换为轻量化Ghost模块;并引入通道域注意力机制,赋予特征通道不同权重,用以提取恶意代码的关键特征,提高模型检测精度.在M alim g数据集上的实验结果表明,该模型对恶意代码家族的识别准确率可以达到99.14％,与AlexNet、VGGNet等模型相比分别提高了1.34％ 和2.98％,且模型参数量更低.该算法在提升分类准确率的同时,降低了模型复杂度,在恶意代码检测中具有重要的工程价值和实践意义.     

基于知识图谱嵌入的多跳中文知识问答方法

基于知识图谱嵌入模型, 提出一种知识图谱嵌入评分与链路评分相结合的评分方法, 以解决中文领域的多跳知识图谱问答任务, 与传统的单跳知识问答方法相比适用性更广. 该方法在搜索最优答案的同时构建一个查询链路, 通过查询给出答案集合, 从而有效缓解了现有方法中遗漏答案的情况. 在NLPCC-MH数据集上的实验结果表明, 该方法在多跳问题上的平均F₁值为0.653, 显著优于对比方法. 真实知识图谱通常存在链路缺失的情况, 实验以随机丢弃25%三元组的方式模拟了知识图谱的稀疏性, 结果表明该方法在这种情况下仍然有效.     

基于MA-DRNet的糖尿病视网膜病变等级识别方法

糖尿病视网膜病变是糖尿病并发症最常见的疾病之一。由于视网膜病变病灶具有特征复杂、特征差异小的特点,导致传统深度学习网络对视网膜病变等级识别存在错误率高、鲁棒性差等问题。针对上述问题,提出了一种MA-DRNet模型进行优化：(1)提出了一种多级特征残差块,提取不同分辨率多尺度特征、扩大模型感受野,加强模型对于小尺度病灶的学习能力以及模型对尺度的鲁棒性;(2)改进一种全局通道联合注意力机制,实现像素长距离依赖关系捕获和通道注意力,提升模型对复杂病灶表征效果;(3)设计集成难例挖掘训练方法,巩固对于困难样本的学习,融入集成的思想提升模型对易错样本的关注度。在Kaggle和Messidor两个公开视网膜数据集进行模型训练和测试,本文模型特异性为99.02%,敏感性为98.26%,准确率为98.87%,各指标均优于目前同类算法。大量的实验表明,MA-DRNet有效的解决了视网膜病变识别存在的问题,实现了视网膜病变等级的高精度辅助诊断。     

基于语义特征提取与层次结构的问题生成方法

针对传统端到端模型在输入文本语义较复杂情况下生成的问题普遍存在语义不完整的情形,提出一种基于语义特征提取的文本编码器架构.首先构建双向长短时记忆网络获得基础的上下文信息,然后采用自注意力机制及双向卷积神经网络模型分别提取语义的全局特征和局部特征,最后设计一种层次结构,融合特征及输入自身信息得到最终的文本表示进行问题生成.在数据集SQuAD上的实验结果表明,基于语义特征提取与层次结构进行问题生成效果显著,结果明显优于已有方法,并且语义特征提取和层次结构在任务的各评价指标上均有提升.     

基于注意力机制的卷积神经网络机械钻速预测方法

传统机器学习方法在进行机械钻速预测时,受复杂特征提取和人为认知局限性的影响,难以满足现场预测精度要求。基于此,提出一种特征提取和回归预测相结合的机械钻速预测方法。首先,采用箱型图和独热编码对钻井实测数据进行预处理,清除异常数据并将离散特征连续化。其次,应用卷积神经网络(convolutional neural network, CNN)挖掘数据特征,并在网络中引入通道注意力机制(squeeze-and-excitation network, SENet),实现对CNN特征通道重要性程度的合理分配,建立SE-CNN机械钻速预测模型。最后,将SE-CNN模型与CNN模型进行对比分析,结果表明：SE-CNN模型的拟合优度提高了2.1%,平均绝对误差和均方根误差分别降低了1.1%和1.5%。SE-CNN模型具有较高的预测精度,可以用于现场机械钻速预测,为钻井提速提供科学参考。     

基于图注意力网络的多标签图像分类模型

针对ML-GCN中标签共现嵌入维度过高影响模型分类性能和ML-GCN中没有充分发掘标签之间不对称关系的问题,提出一种基于图注意力网络的多标签图像分类模型ML-GAT;ML-GAT模型首先对高维标签语义嵌入矩阵进行降维;然后通过降维后的低维标签语义嵌入表示和标签类别共现图得到标签共现嵌入;与此同时ML-GAT将多标签原始...     

基于超点图的点云实例分割方法

提出一种基于超点图的点云实例分割(ISPG)方法。基于超点图结构提取点云对象相邻点之间的关联性特征,并且将传感器扫描的场景划分为均匀的几何元素,用来表示同属性的点云类,再由一个图卷积网络实现实例分割。结果表明:IoU阈值为0.5的情况下,该方法在斯坦福大型三维(3D)室内空间数据集S3DIS上精度达到了48.9%。     

基于图注意力网络的案件罪名预测方法:CP-GAT

案件罪名预测任务是基于文本数据去预测案件所属罪名.针对现有方法在相似罪名和长尾数据集上表现不佳的问题,提出了一种基于图注意力网络的案件罪名预测方法CP-GAT(charge prediction based on graph attention network).该方法首先使用司法文书数据集中的案例事件描述文本和案例对应的法条信息建立异质图结构数据,构建后的异质图包含两种类型的节点(词节点、案例节点),两种类型的边(词节点与词节点相连的边,词节点与案例节点相连的边).在基于法律文本构建后的异质图上使用图注意力网络进行图特征提取,最后将得到的特征向量输入到罪名预测的分类器中,得到案例所属的罪名.在CAIL2018法律数据集上的实验结果表明,基于图注意力网络的罪名预测方法优于对比实验使用的方法,准确率和宏观F1值分别达到了95.2%和66.1,验证了提出的方法有利于提升案件罪名预测任务的性能.