基于高层语义注意力机制的中文实体关系抽取

实体关系抽取在挖掘结构化事实的信息抽取系统中扮演着重要的角色。近年来,深度学习在关系抽取任务中取得了显著的成果,同时,注意力机制也逐步地融入到神经网络中,进一步提高了关系抽取的性能。但是,目前的注意力机制主要关注一些低层次的特征,比如词汇等。本文提出一种基于高层语义注意力机制的分段卷积神经网络模型(PCNN_HSATT,high-level semantic attention-based piecewise convolutional neural networks),该模型将注意力机制设置在分段最大池化层后,动态地关注了高层次的语义信息。除此之外,由于中文实体关系语料稀疏性较大,本文利用同义词词林对COAE2016语料进行增强以扩大数据规模。最后在COAE2016和ACE2005的中文语料上进行实验,F1值分别达到了78.41%和73.94%,与效果最好的SVM方法相比分别提高了10.45%和0.67%,这充分证明了PCNN_HSATT模型在中文关系抽取上的有效性。     

一种基于联合深度学习模型的情感分类方法

针对情感分析问题中长句和短句进行情感分类时不同的建模特点,提出了一种基于联合深度学习模型的情感分类方法。该方法融合长短期记忆模型(LSTM)与卷积神经网络(CNN)对影视评论数据进行情感极性判别,该方法采用LSTM模型对上下文进行建模,通过逐词迭代得到上下文的特征向量,采用CNN模型从词向量序列中自动发现特征,并从局部抽取特征后将局部特征整合成全局特征来提高分类效果。所提出的方法在COAE2016评测的任务2的情感极性分类任务中,其系统准确率获得最好结果。     

COAE2014情感关键句评测任务和评测数据设计

第六届中文倾向性评测(COAE2014)新增了"面向新闻的情感关键句抽取与判定"任务,为了保证评测数据的真实有效性和评测任务的合理性,本文采用了随机抽样法和交叉验证法进行数据采集和标注,制定了符合任务特点的评测指标,提出了基于关键词累积得分和朴素贝叶斯分类器的baseline方法。本评测任务吸引了国内13家研究机构和高校的共同参与,提交的22个结果中有一半的成绩超过了baseline,但是最好的结果离人工标注结果还有很大差距。     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

基于小样本学习的中文文本关系抽取方法

实体关系抽取作为文本挖掘和信息抽取的核心任务,是知识图谱构建过程中的关键一环。然而人工建立大规模有标签的数据耗时耗力。使用小样本学习来进行关系抽取,仅仅需要少量样本实例就能使模型学会区分不同关系类型的能力,从而缓解大量无标签数据带来的标注压力。本文对中文关系抽取数据集FinRE进行了重构使之适用于少样本学习,并引入了语义关系网络HowNet对实体进行更为精确的语义划分,并在此基础上使用双重注意力机制提高句子编码质量,从而提高了模型在面对噪声数据时的效能,减轻了长尾关系的影响。使用本文的方法在该中文数据集进行了评估,与原始原型网络相比,基于句子级别与实体级别的注意力机制的原型网络在抽取准确率上提升了1%～2%的性能。     

基于语义图优化算法的中文微博观点摘要研究

为从海量微博中高效地获取不同话题下的关键信息,微博观点摘要成为自然语言处理领域近期研究的热点之一。基线方法基于TF-IDF算法抽取微博句中的关键词,并据此计算微博的重要性分数,直接筛选出观点摘要;朴素改进方法在基线方法的基础上,增加了情感分类步骤,并利用微博句之间的语义距离,将摘要句候选集中语义重复、重要度较小的句子去除,生成观点摘要;基于语义图优化算法的方法在朴素改进方法的基础上,利用微博句的重要性分数及微博句之间的语义距离构建语义图结构,并通过图优化算法筛选出观点摘要。朴素改进方法在COAE2016评测任务一测试数据集上,10个话题的平均ROUGE-1值达到26.39%,平均ROUGE-2值达到0.68%,平均ROUGE-SU4值达到5.69%,且评测官方公布结果显示,该方法在9项评价指标中获得6项最佳性能。基于语义图优化算法的方法在评测样例数据集上进行了实验,结果显示,该方法比朴素改进方法在ROUGE-1,ROUGE-2,ROUGE-SU4值上分别提升了0.63%, 1.51%, 2.69%。     

面向中文文本的观点检索技术研究

针对观点检索问题,把主题检索和情感分析相结合,通过构造情感词典、程度词典等,利用SVM对文本进行主客观分类,构造正则表达式进行中文句式识别,提出了计算文本褒贬倾向的方法,结合主题相关性和情感强度计算置信度.在COAE2009的任务5-观点检索的评测中,取得了较好的结果.     

基于依存分析与特征组合的微博情感分析

针对微博短文本存在口语化、简洁化等社交网络特征,充分利用句法依存关系以及条件随机场(conditional random fields,CRFs),抽取候选评价对象,并在基于机器学习的微博情感分类方法的基础上结合情感分析词典,引入情感值、微博标签、主题等特征,优化分类性能。在COAE(Chinese opinion analysis evaluation)微博评测数据集上,以准确率、召回率、F1值为评价指标对所提方法进行验证,证实了基于句法依存分析与CRFs相结合的评价对象抽取方法的有效性,分析了各类特征对情感分类性能的影响,最终在COAE微博观点句识别任务中准确率达91.4%。     

基于关系过滤和实体对标注的中文关系抽取方法

针对关系三元组抽取任务中的冗余关系问题和实体重叠问题,提出一种基于关系过滤器的二维实体对标注方案(RF2DTagging). RF2DTagging模型由两部分组成：1)用于过滤冗余关系的关系过滤器(relation filter); 2)能有效解决各种实体重叠问题的二维实体对标注方案(2D entity-pair tagging scheme).为进一步验证RF2DTagging模型,在3个公开的中文关系抽取数据集(CCKS2019-Task3,CMeIE和DuIE2.0)上进行实验.实验结果表明,该模型能有效解决上述两个问题,且总体性能比对比模型更好.     

基于马尔科夫逻辑网的句子情感分析方法

提出一种基于马尔科夫逻辑网的句子情感分析方法. 与深度学习方法相结合实现跨领域的知识迁移,同时采用马尔科夫逻辑网将句子的上下文信息与其它情感特征相结合实现句子情感分析. 在COAE评测数据上的实验结果表明,该方法与SVM分类方法相比,准确率达到70.02%,并且在跨领域的情感分析任务中也得到了较好的结果.      

中文嵌套命名实体关系抽取研究

为了解决嵌套命名实体关系抽取研究缺乏相关语料库这一问题, 在现有中文命名实体语料库的基础上, 将人工标注与机器学习相结合来抽取其语义关系。人工标注一个中文嵌套命名实体关系语料库, 然后分别采用支持向量机和卷积神经网络等方法, 进行中文嵌套实体关系抽取实验。实验结果表明, 在人工标注实体的中文嵌套命名实体语料上, 嵌套实体关系抽取的性能非常好, F1指数达到95%以上, 而在自动识别实体上的抽取性能尚不理想。     

基于LSTM的大规模知识库自动问答

针对大规模知识库问答的特点, 构建一个包含3个主要步骤的问答系统: 问句中的命名实体识别、问句与属性的映射和答案选择。采用别名词典结合LSTM语言模型进行命名实体识别, 使用双向LSTM模型结合两种不同的注意力机制进行属性映射, 最后综合前两步的结果进行实体消歧和答案选择。该系统在NLPCC-ICCPOL 2016 KBQA任务提供的数据集上的平均F1值为0.8106, 接近评测的最好水平。     

基于机器学习的高血压病历文本分类

为了探讨中文病历文本预处理后高维稀疏性的特点,导致文本分类精度低、算法模型收敛速度慢等性能问题,提出一种基于粗糙集的词袋(BOW)模型结合支持向量机(SVM)的文本分类算法(BOW+SVM)。该算法首先采用BOW模型对特征词提取构建高维度文本空间向量,然后利用粗糙集的属性约简算法对文本特征处理,把模糊的、冗余的属性从决策规则中清除,降低空间向量维数,最后利用所提纯的特征与SVM分类器交叉结合进行文本分类。在Python+TensorFlow环境中设计六种交叉结合的算法仿真对比实验,结果表明:基于BOW+SVM高血压病历文本分类模型精准度可达97%。可见改进后的模型,能够解决样本分部不均,克服高维度稀疏特征空间的问题,有效改善病案管理工作流程。     

基于SVM的表面肌电信号动作模式识别*

为更好地将表面肌电信号应用于智能轮椅的人机接口,提出了一种基于SVM的表面肌电信号动作模式的识别算法。采用一对一的方式构造SVM多值分类器,按照投票原则确定测试样本的类别归属,并与动作模式识别的核fisher算法和RBF神经网络算法进行了对比分析。实验结果表明,支持向量机(SVM)算法识别率更高,可以取得理想的学习效果和泛化性能,很好地解决小样本、非线性及局部极小值问题。     

基于卷积神经网络的高分辨率雷达目标识别

提出一种基于卷积神经网络(Convolution Neural Network,CNN)的高分辨率雷达目标识别方法.首先针对小样本应用于深度CNN时训练过程中损失函数值收敛速度慢的问题,利用结合批归一化算法的改进CNN网络对高分辨距离像(High Resolution Range Profile,HRRP)进行自动特征提取;再利用支持向量机(Support Vector Machine,SVM)对距离像特征进行分类.使用军事车辆高保真电磁仿真数据对提出的方法进行验证,识别结果证明了该方法的有效性.     

特定领域概念属性关系抽取方法研究

针对互联网中开放式中文文本关系难以抽取的问题, 提出一个新的关系抽取方法。 为缓解关系三元组抽 取较难的问题, 给出一个新的基于属性和概念实例的关系三元组构造方法, 抽取的大量概念实例关系三元组中 不仅包含大量显式关系三元组, 还包含部分隐式关系三元组。 在此基础上, 针对关系三元组含有噪声和错误的 问题, 使用基于 Adaboost 迭代算法的协同训练方法对关系抽取模型进行优化。 以大学类别领域百科条目真实 文本为实验数据进行实验的结果表明, 与同类关系抽取方法对比, 该方法在召回率和 F 值上能取得较好的抽取 性能。     

基于注意力机制的远程监督实体关系抽取

关系抽取是许多信息抽取系统中的一个关键步骤,旨在从文本中挖掘结构化事实.在应用传统的远程监督方法完成实体关系抽取任务时存在2个问题:①远程监督方法将语料库中的文本与已标注实体和实体间关系的知识库启发式地对齐,并将对齐结果作为文本的标注数据,这必然会导致错误标签问题;②目前基于统计学的方法过于依赖自然语言处理工具,提取特...     

A fast SVM training algorithm based on the set segmentation and k-means clustering

At present, studies on training algorithms for support vector machines (SVM) are important issues in the field of machine learning. It is a challenging task to improve the efficiency of the algorithm without reducing the generalization performance of SVM. To face this challenge, a new SVM training algorithm based on the set segmentation and k-means clustering is presented in this paper. The new idea is to divide all the original training data into many subsets, followed by clustering each subset using k-means clustering and finally train SVM using the new data set obtained from clustering centroids. Considering that the decomposition algorithm such as SVMlight is one of the major methods for solving support vector machines, the SVMlight is used in our experiments. Simulations on different types of problems show that the proposed method can solve efficiently not only large linear classification problems but also large nonlinear ones.     

基于遗传算法的最小误工任务数问题求解

为了解决最小误工任务数问题（MTTP），将遗传算法引入该问题的求解中，基于惩罚函数。讨论了MTTP的遗传算法求解方法。并对genGA，ssGA，cGA三种演化式算法求解MTTP的实验运行结果进行分析比较，得出在解决大规模的MTTP时，genGA明显优于另两种演化式算法。