一种改进的中文分词歧义消除算法研究

随着信息技术的飞快发展,今天的互联网上信息已成爆炸式增长,文本挖掘技术成为目前研究的热点.文章概述了中文分词的算法,通过介绍歧义存在的种类,分析了分词结果歧义性存在的必然性;在中文分词基础上,提出了一种采用"动词优先"的歧义消除算法,使分词结果最大程度地消除歧义,从而提高了分词的精度,为文本挖掘之后的环节打下了基础.     

基于视觉关注模型与多尺度MSER的自然场景文本检测

自然场景中文本检测易受光照、复杂背景、多语言文字、字体及尺寸等因素影响,该文提出了一种基于Itti视觉关注模型与多尺度最大稳定极值区域(maximally stable extremal region, MSER)结合的自然场景文本检测算法.首先利用改进的Itti视觉关注模型提取文本特征图,并采用不同结合策略得到各尺度文本显著图;然后结合多尺度的MSER区域得到3种文本候选区域.根据文字与生成文本框的几何规则合并文本候选区域得到文本行;最后利用随机森林分类器除去非文本区域得到最终文本区域.实验结果表明,该方法对于自然场景图像中的文本检测具有较高的精确度和一定的鲁棒性.     

基于连通区域的标志牌文本提取方法

在对各种文本定位与提取方法分析比较的基础上,针对标志牌文本的具体特点,提出了一种基于连通区域的标志牌文本提取方法———在灰度图像中定位标志牌区域,二值图像中提取标志牌文本,并用VC 编程实现对采集的自然场景下的标志牌文本图像进行了实验,结果证明,该方法能够准确定位并提取自然场景下的标志牌文本,获得文本字符。     

一种基于类不平衡学习的情感分析方法

针对网络评论中普遍存在的负面评论较少而影响力却较大的类不平衡问题,提出一种基于类不平衡学习的情感分析方法.该方法利用深度学习训练过程中的概率输出,以计算样例的信息熵作为影响因子构建交叉信息熵损失函数.在IMDB公开数据集上进行实验验证的结果表明,基于集成信息熵损失函数的双向长短期记忆网络能处理类不平衡问题;对数据的统计...     

通语法以明训诂论略

语言是一个系统,词汇与语法密切相关．训诂学研究的对象是词汇,由于词汇与语法的密切关系,因而明训诂必须通语法．实践证明,词语训诂（含校勘）只有与语法分析结合起来,其正确性才能得到有效保证．     

基于深度学习的Stack Overflow问题帖分类方法

针对基于正则表达式和传统机器学习的分类方法分别存在模式手工提取困难和性能瓶颈的问题,提出一种基于深度学习的问题帖分类方法,采用深度文本挖掘模型TextCNN和融合注意力机制的TextRNN构建分类模型.实验结果表明,基于深度学习的方法在多数问题目的类别上的分类性能优于已有基准方法,且使用的Adam优化器优于SGD优化器...     

利用分割技术提高对话文本自动摘要的一致性

针对传统的基于抽取的自动摘要方法不能很好地处理对话文本一致性的问题,提出了对话文本自动摘要中的体裁、问题-回答对识别等关键技术.设计了一种类似于TextTiling的文本分割方法对候选的回答段落进行分割,以便提高问题-回答对的关联精度.实验结果表明,利用问题-回答对的关联信息能够提高对话文本自动摘要的整体一致性.     

后缀树算法在舆情聚类中的应用

针对网络舆情分析的需求背景,研究了通过后缀树算法发现文本文档之间的公共短语串,按公共短语串实现文档聚类。网页文档的标题和摘要能代表文档的主要思想,应用后缀树算法实现对标题和摘要自动聚类,从而实现舆情信息自动聚类。     

多策略融合的俄语文本词语提取方法研究

俄语是联合国工作语言之一,是俄罗斯等多个国家的官方语言.随着"一带一路"倡议的推进和全球化进程的加快,俄语文本数据成为有关组织管理决策的重要信息来源,俄语文本挖掘也因而成为重要的管理决策支持方法.然而,俄语文本挖掘方法研究目前还远未成熟,尤其是其关键基础——俄语文本词语提取的性能较低,阻碍着俄语文本建模的准确性.因此,...     

一种新的文本预处理方法研究

文本预处理是整个字符识别系统的重要组成部分．它的性能的优劣，对整个字符识别系统的识别率和识别速度至关重要．由于汉字印刷文稿版面的复杂性，其文本预处理远比西文困难．本文提出了一种新的文本预处理方法．实现了含有文字字符，图形，图片和表格的、版面结构复杂的数字图象的分割．整个算法分为两个阶段完成：首先，从图形的连通原则出发，定义了扩展连通域的概念，对整个文本图象逐行扫描，搜索出所有的扩展连通域，进而通过集合的交、并操作，将属于一个字符或图象、图片和表格的若干个扩展连通域合并．这时扩展连通域已标记文本图象中的字符尺寸大小和位置．然后，基于同一行字符的间距的知识，将扩展连通域合并为逻辑字符行（横，竖）；由字符行的高（宽）度的一致性及间距的知识，将逻辑字符行合并为逻辑块：按照印刷文稿的排版规律完成版面的结构识别、并将标记字符位置和大小的扩展连通域的顺序按版面结构信息重新组合，最后把字符规范为一定尺寸的点阵图象输出到字符识别器．本文提出的文本预处理方法已经实现．经实际运行测试表明，系统对于复杂版面的文件，书刊和报纸的文本图象的分割，具有较好的效果．