交通信息标准条款BLSTM和CNN链式模型分类方法

为了有效获取交通运输信息标准中的一致性条款,简化标准测试方法,针对现有文本分类方法中卷积神经网络存在的缺少上下文含义和循环神经网络存在的梯度消失及梯度弥散等问题,提出一种基于BLSTM的文本增强表示方法和基于CNN网络的语句分类相结合的方法进行一致性条款分类.其核心思想是将BLSTM前向和后向过程产生的向量相加,然后与原文本向量拼接作为文本的向量表示,将文本向量作为CNN网络的输入进行文本分类.为验证所提模型的有效性,设置了与传统机器模型TF-IDF+SVM、单CNN、BLSTM神经网络模型及经典混合模型的对比试验.通过构造的交通运输信息标准条款数据集测试表明,基于改进的BLSTM和CNN的链式混合神经网络模型准确率达到93.77%.     

基于伪标签和迁移学习的双关语识别方法

针对双关语样本短缺问题,研究提出了基于伪标签和迁移学习的双关语识别模型(pun detection based on Pseudo-label and transfer learning)。该模型利用上下文语义、音素向量和注意力机制生成伪标签;然后,迁移学习和置信度结合挑选可用的伪标签;最后,将伪标签数据和真实数据混合到网络中进行训练,重复伪标签标记和混合训练过程。一定程度上解决了双关语样本量少且获取困难的问题。使用该模型在SemEval 2017 shared task 7以及Pun of the Day数据集上进行双关语检测实验,结果表明模型性能均优于现有主流双关语识别方法。