利用图像描述与知识图谱增强表示的视觉问答

视觉问答作为多模态任务,需要深度理解图像和文本问题从而推理出答案。然而在许多情况下,仅在图像和问题上进行简单推理难以得到正确的答案,事实上还有其他有效的信息如图像描述、外部知识等可以被利用。该文提出了利用图像描述和外部知识增强表示的视觉问答模型。该模型以问题为导向,基于协同注意力机制分别在图像和其描述上进行编码,并且利用知识图谱嵌入,将外部知识编码到模型当中,丰富了模型的特征表示,增强了模型的推理能力。在OKVQA数据集上的实验结果表明,该方法相比基线方法有1.71%的准确率提升,与已有的主流模型相比也有1.88%的准确率提升,证明了该方法的有效性。     

基于知识辅助的图像描述生成

为给定图像自动生成符合人类感知的描述语句是人工智能的重要任务之一。大多数现有的基于注意力的方法均探究语句中单词和图像中区域的映射关系,而这种难以预测的匹配方式有时会造成2种模态间不协调的对应,从而降低描述语句的生成质量。针对此问题,本文提出一种文本相关的单词注意力来提高视觉注意力的正确性。这种特殊的单词注意力在模型序列地生成描述语句过程中强调不同单词的重要性,并充分利用训练数据中的内部标注知识来帮助计算视觉注意力。此外,为了揭示图像中不能被机器直接表达出来的隐含信息,将从外部知识图谱中抽取出来的知识注入到编码器—解码器架构中,以生成更新颖自然的图像描述。在MSCOCO和Flickr30k图像描述基准数据集上的实验表明,本方法能够获得良好的性能,并优于许多现有的先进方法。     

基于路径分析和关系描述的知识图谱补全方法

面对相对复杂的互联网信息,知识图谱能够将其表达成更加便于理解的形式,通过可视化技术加以显示并提供有价值的参考.但伴随数据实体及实体关系的快速扩增,知识图谱的稀疏性和连通性不足等问题日趋凸显.提出一种基于路径分析和关系描述的知识图谱补全方法,并以泛娱乐领域相关数据为例,对该方法的有效性进行验证.构建基于泛娱乐知识特点的泛娱乐领域知识图谱,并在该知识图谱上进行验证实验.实验结果表明,提出的方法能够很好地推理出知识图谱中的隐含与遗漏路径,有效地实现知识图谱补全,从而发现具有丰富价值的隐含知识.     

基于知识图谱的恶意域名检测

网络技术的发展导致恶意域名类型层出不穷,为了挖掘更深层次的恶意域名,提出一种将知识图谱应用到恶意域名的检测方法。在设计域名知识图谱本体模型的基础上,抽取对应的实体、关系,使用Neo4j图数据库存储域名知识图谱,根据图推理算法计算未知域名与图谱中已知属性相邻节点的密切程度,来判断未知域名的属性。实验结果表明,新方法在恶意域名检测上有良好的实验效果(AUC=0.98),可有效识别之前未检测出的恶意域名,实现对隐藏较深恶意域名的挖掘。     

基于事实信息核查的虚假新闻检测综述

基于深度学习的虚假新闻检测领域内已有许多开创性的方法能通过特征提取与检测的方式进行自动检测假新闻的任务,通常使用预训练模型提取新闻内容的特征,并开发算法使用这些特征进行检测。许多此类方法通过找到假新闻中通行的特征模式（例如写作风格、常用词等）来判别假新闻。但模型的高性能严重依赖于大量高质量标注数据的训练。然而在实际应用场景中,不仅获取、标注数据十分困难,新伪造的虚假新闻往往还会避免采用以往假新闻的写作风格,导致了模型在时间性上缺乏泛化能力。近年来事实核查在虚假新闻检测领域的发展为解决上述问题提供了新的研究思路,基于事实信息的虚假新闻检测提供了更可靠的检测解释性,通过对事件的真实性、描述与事实的匹配程度等的查验,很大程度上突破了以往方法依赖文本风格特征所带来的检测偏置。本文从任务和问题、算法策略、数据集等角度出发,对当前基于事实信息的虚假新闻的研究成果进行梳理和总结。首先,本文系统性地阐述了基于事实信息的虚假新闻检测的任务定义与核心问题。其次,从算法原理出发,对现有的检测方法进行归纳总结。之后,对领域内的经典与新提出的数据集进行了分析,对各数据集上的实验结果进行了总结。最后,本文概括性地...     

基于GoogLeNet和双层GRU的图像描述

针对基于卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long short-term memory,LSTM)的方法存在计算复杂度高、收敛速度慢、训练时间长等问题,本文提出基于GoogLeNet和双层GRU的图像描述模型,在训练阶段采用适应性动量估计法(adaptiv...     

基于CiteSpace知识图谱分析的工程 决策知识体系研究

工程决策是工程建设管理的核心,科学的工程决策知识有助于保证决策的正确性.基于CNKI数据库1992—2019年间国内工程决策数据样本,利用CiteSpace可视化软件分别对发文量时间、关键学者群体、研究热点以及聚类群组进行分析,进而绘制工程决策系列知识图谱.结果表明,工程决策关键词信息主要集中在原理、方法、模型、技术要素和影响因素方面,前沿热点主要集中在复杂性决策研究、群体决策研究、情景鲁棒性研究以及对数据挖掘的运用上面.在此基础上,根据知识图谱识别出的知识要素,建立以工程决策技术、管理、经济知识三大基石和前沿知识要素为基础的工程决策知识体系,为工程决策提供系统的知识支持.     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

基于描述逻辑的图像检索框架

提出一种新的基于描述逻辑的、能处理带有分层信度的图像语义信息的图像检索框架,以解决不确定背景知识的图像检索问题.该框架能处理具有分层信度的不确定语义信息,给出了形状及语义两层模型表述图形信息,提出一种能描述分层信度知识的描述逻辑U-ALC,将图像信息检索化归为描述逻辑U-ALC中的逻辑推理,并给出了描述逻辑U-ALC的推理算法.     

基于知识图谱的“知识组织”研究演进分析

以来自web of science图情学科中"知识组织"研究的文献为研究对象,运用知识可视化图谱软件CiteSpace Ⅱ对这些数据进行文献共引文分析和热点分折,以知识图谱的方式展示了图情学领域"知识组织"研究前沿的演进情况。     

虚假新闻的危害及对策之我见

虚假新闻缘于新闻工作者满足受众的心理需求,缘于激烈的媒体竞争,也缘于新闻自身容易造假.通过采取完善的用人机制、强化行业自律性以及加强新闻工作者的职业道德和职业素养等措施,避免虚假新闻对社会造成更多危害.     

基于有向图模型的多模态新闻图像检索研究

不同模态特征描述网络新闻数据各具优势。为充分利用不同模态特征的优点,提高网络新闻图像检索准确率,提出了一种基于有向图理论模型的多模态特征融合检索方法。首先对新闻图像进行预处理,提升新闻图像兴趣点对比度,之后对新闻文本提取关键词,然后对新闻图像进行场景辨别,结合图像人物特征,将文本、场景、人物特征依据有向图理论模型进行融合,形成基于有向图理论模型的多模态融合检索。在10万条新闻数据上测试,实验结果表明,本文提出的方法检索准确率达到了69%,查全率达到70%,效果提升了5%。     

基于知识图谱嵌入的多跳中文知识问答方法

基于知识图谱嵌入模型, 提出一种知识图谱嵌入评分与链路评分相结合的评分方法, 以解决中文领域的多跳知识图谱问答任务, 与传统的单跳知识问答方法相比适用性更广. 该方法在搜索最优答案的同时构建一个查询链路, 通过查询给出答案集合, 从而有效缓解了现有方法中遗漏答案的情况. 在NLPCC-MH数据集上的实验结果表明, 该方法在多跳问题上的平均F₁值为0.653, 显著优于对比方法. 真实知识图谱通常存在链路缺失的情况, 实验以随机丢弃25%三元组的方式模拟了知识图谱的稀疏性, 结果表明该方法在这种情况下仍然有效.     

基于CNN-Transformer双流网络的伪脸检测

生成对抗网络(generative adversarial networks, GANs)技术正逐步成为合成图像的主流方法,合成的人脸图像对社会稳定和国家安全具有潜在的风险隐患,因此识别GAN生成的人脸已成为一个重要问题。为解决卷积神经网络(convolutional neural networks, CNN)在训练过程中无法获取图像全局表示的问题,提出了一种CNN-Transformer双流网络检测框架,在最大限度提取局部特征的同时,进一步保留图像的全局信息。首先,在CNN分支流中引入空间注意力和通道注意力,关注图像关键信息并提取局部特征;其次,利用Transformer分支流提取图像的全局信息;最后,中间利用桥接双分支的MixBlock交互模块分别将两者提取的局部特征和全局信息融合在一起。实验结果表明：与现有两种方法相比,本文所提方法在公共伪脸数据集上的分类检测精度分别提升了5.42%和1.95%,并且在后处理的图像上表现出一定的鲁棒性。     

细粒度课程知识元组织模型及知识图谱实现

为解决目前数字网络课程知识碎片化、语义关系缺乏等问题,提出将知识的控制单位深入到知识元层面,结合CELTS 标准构建细粒度课程知识元组织模型,再采用精细化加工理论对教学内容进行编排与设计。定义了知识元、知识链和知识单元之间的逻辑关系,构建了C 语言课程知识图谱,通过Neo4j 可视化知识元粒度以及知识元之间的关系。实践表明,知识元和知识图谱结合可有效表示知识之间的逻辑关系,提高知识之间的关联性。     

基于图割理论的储粮害虫图像分割

采用机器视觉对储粮进行检测是储粮害虫监测的主要方法之一。储粮害虫图像有效分割是粮虫特征提取和识别分类的基础和依据。为实现粮虫图像的有效分割,采用基于图割理论的图像分割方法。该方法采用高斯混合模型(GMM)表征颜色概率分布,在高斯混合模型参数学习估计过程中通过不断扩大背景样本点修正GMM参数,完成对能量函数的最小化,从而改善了分割效果。实验结果表明,该方法可以清晰地分割出与背景差异较小的粮虫,解决了基于直方图模型的图像分割方法无法从目标和背景相似的图像中将粮虫进行准确提取的问题。     

“十大假新闻”背后的传媒无痛伦理观及其问责诉求

我国新闻界对＂十大假新闻＂的不正常反应以及假新闻的蔓延,折射出无痛伦理观在我国新闻界的流行,其反映出的深层次问题为建构传媒问责制提出了现实诉求。     

基于加权规划知识图的入侵规划识别研究

介绍了规划识别的基本概念和入侵检测对规划识别的需求;接着给出了加权规划知识图的定义,并研究了加权规划知识图中各种关系节点之间支持程度的计算方法;在此基础上,提出了基于加权规划知识图的入侵规划识别算法,并以简化的网络入侵规划库为例验证了基于加权规划知识图的入侵规划识别算法的有效性;最后给出了实验结果,实验结果表明本文提出的算法能够满足入侵检测对规划识别的需求,并且具有很高的求解速度和良好的可扩展性。     

知识图谱技术进展及展望

随着大数据的发展,知识图谱（Knowledge Graph）关键技术及其应用成为人工智能最热门的研究领域之一。本文从知识图谱的定义、架构以及常见的知识库出发,对知识图谱构建的知识表达和知识自动获取技术进行总结和回顾,讨论其研究要点和发展趋势,介绍知识图谱技术常见的应用场景,并结合本团队的研究对知识图谱的发展趋势进行展望。