融合生成式模型的知识增强实体链指方法

未链接实体分类是实体链指(Entity Linking, EL)任务中的重要研究内容之一。现有方法存在上下文语义信息不充分、分类准确率低等问题,导致实体链指任务表现不佳。本研究提出一种融合生成式模型的知识增强实体链指方法。该方法将实体链指分为两个子模块,即候选实体排序模块和未链接实体分类模块。本研究基于高精度的候选实体排序模块,获得高质量的知识扩展信息,并对未链接实体分类任务进行知识增强;针对未链指实体提及的分类问题,提出一套生成式框架,该框架能够取得超过基线模型的性能。本研究方法在2020年全国知识图谱与语义计算大会(CCKS2020)评测任务二的中文短文本实体链指数据集上取得了目前最佳性能(整体F值为91.76%),证明知识增强和生成式框架的引入能提高模型的泛化能力,缓解未链接实体分类中的信息不充分问题。     

基于主题敏感的重启随机游走实体链接方法

实体链接任务的目的是将文本中的实体指称链接到知识库中与之对应的无歧义实体。针对此任务, 提出一种基于主题敏感的重启随机游走的实体链接方法。该方法首先使用实体指称的背景文本信息将实体指称扩充为全称, 并在维基百科知识库中搜索候选实体, 得到候选实体集合; 根据上述中间结果构建图, 利用在图上的主题敏感重启随机游走得到的平稳分布对候选实体集合进行排序, 选出top 1 的候选实体作为目标实体。实验结果表明, 该方法在KBP2014 实体链接数据集上实验的F 值为0.623, 高于其他系统实验的F值, 能够有效提高实体链接系统的整体性能。     

基于双向编码器表示模型和注意力机制的食品安全命名实体识别

针对于目前传统的命名实体识别模型在食品案件纠纷裁判文书领域的准确率不足的问题,在双向长短时记忆网络的基础上提出一种基于双向编码器表示模型(bidirectional encoder representations from transformers,Bert)和注意力机制的命名实体识别模型.模型通过Bert层进行字向量预训练,根据上下文语意生成字向量,字向量序列输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)层和Attention层提取语义特征,再通过条件随机场(conditional random field,CRF)层预测并输出字的最优标签序列,最终得到食品案件纠纷裁判文书中的实体.实验表明,该模型在食品纠纷法律文书上面的准确率和F1值分别达到了92.56％和90.25％,准确率相较于目前应用最多的BiLSTM-CRF模型提升了6.76％.Bert-BiL-STM-Attention-CRF模型通过对字向量的预训练,充分结合上下文语意,能够有效克服传统命名实体识别模型丢失字的多义性的问题,提高了食品案件纠纷裁判文书领域命名实体识别的准确率.     

基于多源知识的中文微博命名实体链接

命名实体在文本中是承载信息的重要单元,而微博作为一种分享简短实时信息的社交网络平台,其文本长度短、不规范,而且常有新词出现,这就需要对其命名实体进行准确的理解,以提高对文本信息的正确分析。提出了基于多源知识的中文微博命名实体链接,把同义词词典、百科资源等知识与词袋模型相结合实现命名实体的链接。在NLP&CC2013中文微博实体链接评测数据集进行了实验,获得微平均准确率为92.97%,与NLP&CC2013中文实体链接评测最好的评测结果相比,提高了两个百分点。     

结合张量特征和孪生支持向量机的群体行为识别

给出一种结合张量特征和孪生支持向量机的群体行为识别算法,以提高对视频中群体行为识别的准确率.首先通过群成员关节点骨架的姿态结构信息和群成员的社会网络信息描述群体在每一帧中的行为,并采用张量形式表示;然后使用多路非线性特征映射分解张量核,并利用粒子群优化张量核孪生支持向量机的模型参数;最后结合张量特征和孪生支持向量机实现视频中的群体行为识别.CAD2数据集和自建数据集上的实验结果表明,张量特征能够有效地表示群体行为,相比经典算法,所提算法能有效提高群体行为识别的准确率.      

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN），用于短文本分类.首先，使用实体链接工具抽取短文本中的实体；然后，利用图卷积神经网络对文档、实体和单词进行建模，丰富文本的潜在语义特征；将学习到的单词节点表示与BERT词嵌入进行拼接，通过双向长短期记忆网络，进一步挖掘文本上下文语义特征，再与图神经网络模型得到的文本特征进行融合，用于分类.实验结果表明，该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%，优于大部分主流的基线方法.     

基于实体演化的记录链接算法

实体识别(Entity Resolution)是指判断一个或多个数据源中两个不同记录是否描述相同实体,它有时也被称作记录连接(Record Linkage),在数据集成中被用于数据清洗(Data Clean)、去重(Deduplication)和相似连接(Similarity Joins)等集成操作中.实体识别技术可被广泛应用于人口普查、引文识别、Web搜索、数据清洗以及剽窃检验等诸多领域.然而,在真实世界中,实体的属性会随着时间的变化而变化,两条记录的属性值不同不能表明这两条记录对应不同的实体,具有相同的属性值的两条记录也不能表明对应相同的实体.时间记录链接就是匹配描述同一实体的带有时间戳的记录.已有的解决时间记录链接的方法依赖于时间模型来捕捉实体的演化,但是已有的时间模型在预测实体的演化时,实体匹配准确率不高,而聚类计算复杂度较高.为此提出了更加细致的捕捉实体演化的模型和新的两阶段的快速聚类算法.通过在三个真实数据集上的实验结果表明,提出的时间模型可以更加细致地捕捉实体的演化,提出的聚类算法能更快速而准确的聚类描述同一实体的记录,提高了识别的准确率和效率.     

改进的TransH模型在知识表示与推理领域的研究

针对Trans系列的知识图谱表示与推理模型在训练的过程中,随机构造正负例三元组样本进行训练,没有考虑替换的实体与原实体之间存在的相似度差异度关系,导致模型无法识别实体之间的相似度,效果低下。在TransH模型的构建基础上,采用单层神经网络的非线性操作来精确刻画实体和关系之间的语义信息,同时创新性地加入了正、负三元组之间的头/尾实体之间的差异度信息,用于校正正、负三元组样本之间的联系,使模型能够辨别替换的实体与原实体间的相似度,进而提出了mTransH模型。实验证明:mTransH模型在知识图谱的链接预测任务中,提高了模型对正例样本的辨识度,从而提高知识推理的链接预测准确率。     

关于判别孪生伪素数的充要条件

证明了存在无穷多个伪素数,获得了判别伪素数和孪生伪素数的充要条件,建立了伪素数和孪生伪素数的计算程序,从而获得了许多伪素数和孪生伪素数.     

BSAED:一种基于双向语义关联的实体消歧算法

考虑了实体的全局一致性,充分利用了知识库中实体间结构化的语义信息.在PageRank算法的基础上,提出一种基于双向语义关联的实体消歧算法,该算法通过在维基百科中抽取出实体之间的超链接关系构建知识图谱,重新定义两个实体之间的平均最短路径,并联合实体之间的语义信息以完成实体链接消歧的任务.在公开数据集上进行的实验结果显示:该算法能提高实体消歧结果的准确率和召回率,实验结果优于当前主流算法.     

基于链接预测模型的融合研究

知识图谱技术在信息检索、智能问答领域有着重要作用.为了解决大型知识图谱中的有效实体缺失问题,需要使用链接预测手段自动预测实体之间缺失的链接,完善知识图谱中缺失的实体.现在有许多链接预测的方法,其中基于神经网络的Grail模型侧重于对局部子图进行推理,具有很强的归纳倾向,但在语义层次建模方面存在不足.因此,提出了Grail&HAKE融合模型,通过将Grail模型与HAKE模型进行融合,解决了Grail模型在语义层次建模方面存在的不足.实验结果表明,Grail&HAKE的融合模型比单独使用Grail和HAKE模型的MRR值分别高出0.100 5和0.306 3,并且在部分数据集上优于其他融合模型.说明Grail&HAKE融合模型在知识图谱的有效实体链接预测方面是有效可用的.     

基于多数据源的知识图谱构建方法研究

针对多数据源的融合应用,构建了基于多数据源的知识图谱.首先,对不同领域内的数据源构建相应本体库,并将不同本体库通过数据融合映射到全局本体库;然后,利用实体对齐和实体链接方法进行知识获取和融合;最后,搭建知识图谱应用平台,提供查询和统计等操作.在实体对齐方面,利用传统的基于相似性传播实体对齐方法,获得良好的实体对齐效果;在实体链接方面,提出了基于约束嵌入转换的预测推理方法,实验结果表明,在预测准确率上取得较好的结果.     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.     

数字孪生赋能市政管线搬迁

数字孪生是以数字化方式创建物理实体的虚拟模型,借助数据模拟物理实体在现实环境中的行为,通过虚实交互、数据融合、迭代优化等手段,助力物理实体建设扩展.作为充分利用模型、数据、智能科技并集成多学科的新一代信息技术,数字孪生可面向产品全生命周期,发挥连接物理世界和信息世界的桥梁和纽带作用.在地下管线规划、设计、建设、管理中应...     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

基于深度学习的实体链接研究综述

介绍实体链接的概念和步骤以及基于深度学习的命名实体链接相关问题和研究现状,分析实体链接研究中存在的问题及相应的解决模型,并介绍相关数据集和评测方法.总结国际评测会议中实体链接的现状,展望未来的研究方向.     

基于辅助分类生成对抗网络的纸币红外特征鉴伪算法

针对假币的特征未知以及样本数量不平衡的局限性问题,提出基于半监督辅助分类生成对抗网络的纸币红外特征鉴伪算法.辅助分类生成对抗模型可以扩充样本的数据集,经过半监督的方式训练得到分类器进行分类,实现对纸币红外特征的鉴伪.实验结果表明,该算法能提高假币鉴伪的准确率以及泛化能力.     

利用早停可微架构搜索的三维点云模型分类

针对现有三维点云分类网络采用人工设计费时费力的问题,提出早停可微架构搜索(early-stopping differentiable architecture search,ES-DARTS)算法。利用从人工设计网络架构中提取到的先验知识,预定义一个包含高效候选操作的搜索空间,可快速搜索出适用于三维模型分类任务的高性能网络模型;通过追踪网络搜索阶段各候选操作的权重变化,找出跳跃连接操作在双重优化过程中发挥不公平竞争作用的临界点并在此处停止搜索,以保证各候选操作之间的稳定性,解决DARTS算法搜索过程中易出现性能崩溃的问题。提出的算法在ModelNet40数据集上达到了93.2%的识别准确率,比当前人工设计的主流网络具有更高的识别准确率。     

三联神经网络与区域自适应策略融合的目标跟踪方法

为解决目标跟踪过程中快速运动模糊、背景相似干扰、目标状态变化等问题，基于孪生网络跟踪算法，提出三联区域候选神经网络（TripleRPN）算法与跟踪区域自适应策略（TAA）相融合的目标跟踪方法（TAA+TripleRPN）.三联区域候选神经网络根据当前跟踪结果实时更新网络匹配模板，提高了跟踪器对目标状态变化的敏感性.通过区域自适应策略，根据区域候选回归网络分类分支的得分在网络的两组输出间择优选择，提高算法长时跟踪的鲁棒性.针对背景相似干扰和目标状态变化的问题时，TAA+TripleRPN跟踪器能达到更好的跟踪性能.在OTB2015数据集上，算法的AUC达到66.31%，CLE达到88.28%.在实际场景中实现验证与应用，跟踪效果良好.      

结构特征一致性约束的双语平行句对抽取

平行句对抽取是解决低资源神经机器翻译平行语料不足的有效途径.基于孪生神经网络的平行句对抽取方法的核心是通过跨语言语义相似度判断2个句子是否平行,在相似的语言对上取得了非常显著的效果.然而针对英语东南亚语言双语句对抽取任务,面临语言空间和句子长度存在较大差异,仅考虑跨语言语义相似度而忽略句子长度特征会导致模型对仅有语义包含关系但不平行句对的误判.笔者提出一种结构特征一致性约束的双语平行句对抽取方法,该方法是对基于孪生神经网络的双语平行句对抽取模型的扩展,首先通过多语言BERT预训练语言模型在嵌入层将两种语言编码到同一语义空间,以此缩小语义空间中语言的差异.其次分别对两种语言句子的长度特征进行编码,与孪生网络编码后的句子语义向量进行融合,增强平行句对在语义及结构特征上的表示,降低模型对语义相似但不平行句对的误判.在英缅双语数据集上进行实验,结果表明提出的方法相比基线模型准确率提高了4.64％,召回率提高了2.52％,F1值提高了3.51％.