融合词汇特征的生成式摘要模型

生成过程中利用词汇特征(包含n-gram和词性信息)识别更多重点词汇内容,进一步提高摘要生成质量,提出了一种基于sequence-to-sequence(Seq2Seq)结构和attention机制的、融合了词汇特征的生成式摘要算法。算法的输入层将词性向量与词向量合并后作为编码器层的输入,编码器层由双向LSTM组成,上下文向量由编码器的输出和卷积神经网络提取的词汇特征向量构成。模型中的卷积神经网络层控制词汇信息,双向LSTM控制句子信息,解码器层使用单向LSTM为上下文向量解码并生成摘要。实验结果显示,在公开数据集和自采数据集上,融合词汇特征的摘要生成模型性能优于对比模型,在公开数据集上的ROUGE-1,ROUGE-2,ROUGE-L分数分别提升了0.024,0.033,0.030。因此,摘要的生成不仅与文章的语义、主题等特征相关,也与词汇特征相关,所提出的模型在融合关键信息的生成式摘要研究中具有一定的参考价值。     

基于POS-CBOW语言模型的相似词分析

相似词分析是自然语言处理领域的研究热点之一,在文本分类、机器翻译和信息推荐等领域中具有重要的研究价值和应用意义。针对新浪微博短文本的特点,给出一种带词性的连续词袋模型(POS-CBOW)。该模型在连续词袋模型的基础上加入过滤层和词性标注层,对空间词向量进行优化和词性标注,通过空间词向量的余弦相似度和词性相似度来判别词向量的相似性,并利用统计分析模型筛选出最优相似词集合。实验表明,基于POS-CBOW语言模型的相似词分析算法优于传统CBOW语言模型。     

基于预警文本信息的调度命令智能生成模型

提出调度命令智能生成模型,该模型由神经网络和调度命令修正模块两部分组成。基于长短时记忆(LSTM)网络构建序列-序列(seq2seq)模型,将预警文本信息作为模型的输入进行训练,提出五种调度命令修正策略并分别对五种易错信息进行修正,最终得到调度命令。结果表明:该模型具有利用预警文本信息生成调度命令的能力,引入的调度命令修正模块能够有效提升调度命令生成质量。     

基于词聚类的依存句法分析

利用语义、语法等语言知识,对中心词驱动的句法分析模型规则进行分解和修改,结合分词、词性标注进行句法分析,提出一种可同时考虑多个语义依存关系的模型.利用互信息给出基于邻接关系、语义依存关系的2种词相似度定义,提出一种自下而上的分层聚类算法,以解决中心词驱动模型数据稀疏问题,用改进的句法分析模型进行句法分析实验.研究结果表明:模型精确率和召回率分别为88.14％和86.93％,综合指标比Collins头驱动句法分析模型的综合指标提高6.09％.     

金融领域中文命名实体识别研究进展

命名实体识别(Named Entity Recognition, NER)作为自然语言处理的基本任务之一,一直以来都是国内外研究的热点.随着金融互联网的快速发展,迄今为止,金融领域中文NER不断进步,并得以应用到其他金融业务中.为了方便研究者了解金融领域中文NER方法的发展状况和未来发展趋势,进行了一项相关方法的研究和总结.首先,介绍了NER的相关概念和金融领域中文NER的特点;然后,按照金融领域中文NER的发展历程,将研究方法分为基于字典和规则的方法、基于统计机器学习的方法和基于深度学习的方法,并详细介绍了每类方法的特点和典型模型;接下来,简要概括了金融领域中文NER的公开数据集和工具、评估方法及其应用;最后,向读者阐述了目前面临的挑战和未来的发展趋势.     

通信协议测试的形式化技术

自然语言协议的自动形式化是通信协议自动测试的前提,从而也是数据链协议自动测试的重要研究方向.此问题出现已久,但尚无可靠解决方案.隐词形理论和格语法是排岐能力很强的自然语言处理方法.运用此套方法.通过分析协议文本,确定隐词形特征,可编写出隐词形词典、隐词形语法规则以及自动机生成规则.根据这些词典、规则,可生成自然语言协议文本对应的自动机.本方案有助于解决自然语言协议文本自动形式化,实现通信协议测试的全面自动化.     

一种基于同义词的中文关键词提取方法

关键词在自然语言处理的各个领域有着十分重要的意义.对于中文自然语言处理,一词多义和多词一义问题始终是困扰研究人员的一个重大难题.传统的一些基于统计的方法,诸如KEA只是机械地统计了词频,而没有考虑词之间的关系.文中提出了一种基于同义词的中文关键词提取方法SKEA,并建立一阶隐马尔可夫模型进行词义消歧,将文本从稀疏的词空间映射到语义空间,从而实现了文本的降维.同时改进了KEA的位置权重公式,并提出新的关键词特征选取项.最后对SKEA方法和KEA方法进行比较实验,证明SKEA是一种更优秀的中文关键词提取方法.     

基于Web挖掘的领域本体自动学习

为获取领域本体并量化概念关系的可信度,提出了一种基于Web挖掘的学习模型.通过可扩展的模式集和分布语义模型获取本体主干,使用关联规则发现概念间的一般关系,对候选本体进行修剪和合并.模式可信度、概念语义距离与关联特征决定了概念间关系的可信度.通过"文本分析-本体获取-文本扩充"的迭代过程,优化模型参数和阈值.该模型解决了现有本体学习方法对词典或核心本体的依赖性、以及不能对关系进行可信度量化的问题.实验证明了所提出模型的有效性.     

文本内容主题的识别方法

提出了一种基于知识的内容主题识别方法,其中采用基于统计和规则的技术进行主题特征识别,利用集聚公式进行主题特征集聚分析·通过引入领域知识库,将基于词汇的分析技术提升到领域知识计算层面·实验结果显示主题识别平均正确率为70%·     

基于BERT与细粒度特征提取的数据法学问答系统

首先利用bidirectional encoder representations from transformers（BERT）模型的强大的语境理解能力来提取数据法律文本的深层语义特征,然后引入细粒度特征提取层,依照注意力机制,重点关注文本中与数据法律问答相关的关键部分,最后对所采集的法律问答数据集进行训练和评估. 结果显示：与传统的多个单一模型相比,所提出的模型在准确度、精确度、召回率、F₁分数等关键性能指标上均有提升,表明该系统能够更有效地理解和回应复杂的数据法学问题,为研究数据法学的专业人士和公众用户提供更高质量的问答服务.