基于结果修剪法解决文本分类中属性重叠问题

在文本分类中,当两个多属性类别发生属性重叠时,采用传统的文本分类算法m acro F1值仅为45%左右.为了提高文本分类算法的m acro F1值,提出了基于结果修剪的方法.在该方法中,分类器由多个子分类器组成.每个子分类器对应于类别中的一个属性;在每一个阶段中,每一个子分类器将不属于该属性的文本剔出.当所有子分类器运行结束后,留下的文本即属于该分类的文本.实验数据表明,基于结果修剪的文本分类方法在解决属性重叠问题时能够将m acro F1值提高到65%左右.     

基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

基于多类特征池化的文本分类算法

文本分类是文本挖掘的一个内容,在信息检索、邮件过滤、网页分类等领域有着广泛的应用价值。目前文本分类算法在特征表示上的信息仍然不足,对此本文提出了基于多种特征池化的文本分类算法。在该算法中,本文首先对分词后的文本采用skip-gram模型获取词向量,然后对整个文本的词向量进行多种池化,最后将多种池化的特征作为一个整体输入到Softmax回归模型中得到文本的类别信息。通过对复旦大学所提供的文本分类语料库(复旦)测试语料的实验,该结果表明本文所给出的多种特征池化方法能够提高文本分类的准确率,说明了本文算法的有效性。     

一种新的文本预处理方法研究

文本预处理是整个字符识别系统的重要组成部分．它的性能的优劣，对整个字符识别系统的识别率和识别速度至关重要．由于汉字印刷文稿版面的复杂性，其文本预处理远比西文困难．本文提出了一种新的文本预处理方法．实现了含有文字字符，图形，图片和表格的、版面结构复杂的数字图象的分割．整个算法分为两个阶段完成：首先，从图形的连通原则出发，定义了扩展连通域的概念，对整个文本图象逐行扫描，搜索出所有的扩展连通域，进而通过集合的交、并操作，将属于一个字符或图象、图片和表格的若干个扩展连通域合并．这时扩展连通域已标记文本图象中的字符尺寸大小和位置．然后，基于同一行字符的间距的知识，将扩展连通域合并为逻辑字符行（横，竖）；由字符行的高（宽）度的一致性及间距的知识，将逻辑字符行合并为逻辑块：按照印刷文稿的排版规律完成版面的结构识别、并将标记字符位置和大小的扩展连通域的顺序按版面结构信息重新组合，最后把字符规范为一定尺寸的点阵图象输出到字符识别器．本文提出的文本预处理方法已经实现．经实际运行测试表明，系统对于复杂版面的文件，书刊和报纸的文本图象的分割，具有较好的效果．     

全屏幕编辑器程序设计的探讨

本文通过对全屏幕编辑器的剖析，对全屏幕编辑器程序设计中所经常碰到的问题作了必要分析，给出了相应的解决办法，最后对全屏幕编辑器的设计提出了进一步的设想．     

基于文本聚类的LSI文本分类模型

文本自动分类是文本挖掘的基础,可广泛地应用于信息检索,web挖掘等领域.在分类前首先要将文本表示成计算机能处理的形式,提出了一种将隐含语义索引(LSI)与文本聚类相结合的中文文本自动分类的方法.在挖掘文本的语义信息,提高分类速度上均取得了较好的效果.通过实验验证了方法的有效性.     

大数据背景下的学生情感词典构建方法?

学生的情感教育一直是教育界的研究热点和难点,由于学生个人情感的隐秘性,教师很难获取学生的情感状况.研究通过学生大量使用的社会交互网站中的文本信息分析学生的情感状态,核心是针对学生常用情感词构建情感词典,根据学生大量使用新词、伪词的特点,结合新浪微博提供的情感符号,以现有情感词典为基础,在动态更新的新浪微博大数据中应用文本相似度计算方法,扩充情感词典,构建符合学生语言特点和新浪微博风格的学生情感词典.词典包括情感极性和强度,为基于学生微博文本的情感感知和进一步的情感教育奠定基础.     

基于困难度指数的中国公路地貌区划

为了研究公路地貌的分异规律,根据公路地貌区划的原则和方法,选择大地构造、地面自然坡度等作为中国公路地貌一级区划的主要指标,将中国分为5个地貌一级区;选择困难度指数作为中国公路地貌二级区划的主导指标,以海拔高程、地面自然坡度、地表破碎程度、地层岩性和植被类型作为主要影响因素,建立了困难度指数计算模型。结合公路工程实际,建立了影响因素等级划分体系和影响度值;采用专家打分的方法,确定各影响因素的权重值;利用地理信息系统(GIS)计算了困难度指数,并建立了困难度指数等级划分体系。在中国公路地貌一级区划的基础上,按困难度指数将全国分为42个公路地貌二级区。     

基于度量学习和层级推理网络的抽取式摘要方法

当前大部分的抽取式摘要方法主要关注对摘要句的表示和抽取,容易忽略对文本特征表示的充分性。为了解决这一问题,提出一种基于度量学习和层级推理网络的抽取式摘要方法。首先,在抽取式任务基础上提出基于度量学习和层级推理的抽取式摘要模型（MLHIN）;其次,在CNN/DailyMail数据集上进行模型评估,并在英文摘要数据集CNN/DailyMail上进行测试;最后,对测试结果进行验证。结果显示,所提方法模型在Rouge-1,Rouge-2,Rouge-L上的得分明显优于其他模型,比Lead-3模型分别高出0.84％,1.29％和2.43％;通过将提出的度量损失metric和层级推理模型中的句子编码器替换掉,可以看出模型性能均有不同程度的下降,证明了提出的层级推理网络和度量损失的有效性。新算法能够提高模型捕捉长距离依赖的能力,增强模型对摘要句与非摘要句的分辨力,有效改善了抽取式摘要方法的性能。