一种改进的Sunday模式匹配算法

字符匹配效率是很多计算机应用系统的性能瓶颈,研究设计高效的匹配算法有助于提高相应系统的应用性能。在分析典型Sunday匹配算法的基础上,对其进行了较为有效的改进。改进算法在字符串匹配前先计算模式串的倒序特征值,也就是以此计算出模式串的最后s个字符在本模式串中倒序除自己以外的下一次出现的位置。每一次字符匹配都采用倒序匹配并利用这种匹配的结果,匹配结果结合倒序特征值可以直接决定特征串的下一次位移数。在进行完一次字符匹配后,采用增加一个遍历字符的Sunday算法来遍历模式串以计算下一次位移数,以此尽可能地排除无效匹配。实验结果表明改进算法的效率比Sunday算法有一定提高。     

基于双字词的动态最大匹配分词算法的研究

通过研究和分析现有最大匹配分词算法,词库结构的设计和分词算法直接关系着分词的速度和效率,提出了一种改进的最大匹配分词算法--基于双字词的动态最大匹配分词算法,设计并实现了汉语分词词库和算法.实验结果表明,此算法相对于现有最大匹配分词算法有显著提高.     

基于最大匹配的中文分词改进算法研究

本文在中文分词技术的基础上,提出了一种基于中文文本主题提取的分词方法,以概念语义网络的思想构造主题词典,描述词间概念语义关系,采用改进的最大匹配算法对文本进行切词,既提高了分词的准确性,又能识别文中的未登录词,并同步完成主题词的规范工作。从而在概念层次上理解用户的需求,实现概念检索,提高查准率。     

基于专业词典的带词长的中文分词技术的研究

中文分词词典是中文信息处理技术的重要基础,中文分词词典设计的优劣直接关系着分词的速度与效率。本文在研究了各种中文分词算法和中文分词词典机制的基础上,提出了一种基于专业词典的带词长的中文分词词典算法,主要用于对专业文档中进行加工处理,并且基于该算法设计了一个基于专业词典的带词长的中文分词词典的专业文档切分系统。     

一种基于汉字编码特征的中文多模式匹配算法

对于大规模中文模式串匹配,由于汉字的散度较高,导致AC算法有限状态自动机中的零状态过长,算法的效率急剧下降。文章提出了一种基于汉字编码特征的改进算法,考虑到汉字的首字节范围比尾字节的小,先查找首字节,再查找尾字节,若失败则直接跳转,降低了查找时间。该算法通过给零状态中字符设置标记,有效避免重复匹配和部分匹配,提高了匹配效率。     

一种基于LUCENE的中文分词算法研究

由于Lucene自带的ChineseAnalyzer和CJKAnalyzer两种中文分析器不能够满足全文检索系统的应用,本文给出了一种新的中文分词算法,用于改进Lucene中文分析器。该算法基于字符串匹配原理,实现了正向和逆向相结合的最大增字匹配分词算法。通过实验仿真,比较改进后的分析器与Lucene自带的两种分析器在分词效果和效率上的差异。结果显示,改进后的分析器分词效果明显优于Lucene自带的两种分析器,提高了全文检索系统的中文处理能力,系统的查全率和查准率都达到用户的需求。     

基于中文文本的疾病领域本体学习的研究

为提高领域本体概念及概念之间关系提取效率和准确率, 提出基于中文文本的领域本体学习模型。在提取候选概念的过程中, 采用修改后的关联规则频繁项计算方法对合
成词进行处理, 并结合位图存储分词处理后术语间的物理相邻关系, 再通过计算领域相关度和领域一致度对候选概念进行筛选, 最后利用关联规则可信度和层次聚类的方法分别提取概念间的非分类关系和分类关系。实验结果表明, 该模型对领域本体学习具有合理性, 提出的算法与基于互信息的本体学习相比较, 在概念和关系的提取
上具有较高的准确性。     

一种基于改进最大匹配快速中文分词算法

本文提出了一种基于最大匹配快速中文分词算法的改进算法。通过对最大匹配分词算法做出改进,从而解决了最大匹配快速中文分词算法所不能解决的一些问题,并得出较准确的粗分结果。结合本人主持开发的《长春市市长干公开电话之中文分词系统》的项目实践,对系统海量信息的处理起到了关键作用,     

基于统计的云搜索中文分词算法

针对当前云搜索系统中中文分词仅仅采用简单的正向匹配最大算法和逆向最大匹配算法容易产生歧义的问题,提出了采用平均最大分词算法分词,并用最小分词偏离标准差消除歧义的方法进行云搜索系统的中文分词。经过测试,该算法明显优于正向最大匹配算法和逆向最大匹配算法。     

一种基于特征点的图像匹配算法

本文提出一种图像特征点匹配算法，并在该算法的基础上形成构建全景图的图像拼接算法．此算法采用Harris角检测算子进行特征点提取，并为其分配特征描述符．在进行相邻图片的特征比对时，提出一种基于小波系数的特征索引算法，提高搜索效率．运用稳健的RANSAC算法将伪匹配点集合划分成为内点与外点，在内点域中精确计算图像之间的变换关系．算法的重要特点为：基于小波系数的特征索引，可以使不同图像之间匹配特征点的搜索效率显著提高．实验结果表明：该算法得到的匹配点精确，受图像的形变、噪声影响较小；图像拼接处理的效果较好，具有较高的实用价值．     

基于优化最大匹配与统计结合的汉语分词方法

汉语自动分词足中文信息处理的前提,如何提高分词效率是中文信息处理技术面临的一个主要问题.基于训典和基于统计的分词方法是现有分词技术的主要方法,但是前者无法处理歧义字段,后者需要大量的词频汁算耗费时间.本文提出优化最大匹配与统汁结合的分词方法,首先提出优化最大匹配算法,在此基础上提出了规则判断与信息量统计两种消歧策略.然后,给出了优化最大匹配与统计结合的分词算法,提高了分词的效率.最后,基十分词算法实现中义分词系统,并通过实验对算法进行了分析和验证.     

基于广义霍夫变换的粘连字符验证码的识别

针对具有粘连字符的验证码,提出了一种基于广义霍夫变换的识别算法。首先,对验证码图片和字符模板进行预处理和骨架化,提取字符模板中目标点的局部特征保存到参考表中;然后,对验证码图片进行逐像素比较,并进行投票,通过投票累加器的极大值定位出字符模板的参考点;最后,对相邻字符之间的干扰进行分析处理,从而提高了字符识别的正确率。提取的局部特征具有平移和旋转的不变性,因而可以对验证码图片中出现的字符部分形变、字符粘连、字符旋转进行有效处理和识别。     

基于N-最短路径的中文分词技术研究

中文分词技术是中文信息处理的基础,快速、准确的中文分词方法是进行中文信息搜索的关键。基于N-最短路径的分词算法,需要计算有向图中从起点到终点的所有路径值,分词效率低,将动态删除算法与最短路径算法结合,通过从最短路径中删除部分节点的策略减少搜索路径范围,从而提高分词效率。     

lucene中文切词算法的改进

本文对Lucene中文切词算法进行改进，提出将基于网络有向图的双向匹配分词算法应用于Lucene的中文切词器，提高了检索的准确性和检索性能。     

基于组合型中文分词技术的改进

在分词过程中如何处理歧义切分是中文分词算法要解决的难点之一.文中提出了一种改进的基于词典和基于统计的组合中文分词算法,能够发现并处理交集型歧义,该算法在发现歧义的过程中没有采取传统的双向匹配法而是采用双栈的结构,减少了匹配花费时间,并分别采取长词优先和最大概率方法处理一般的交集型歧义和特殊的同词长交集型歧义.最后通过实例对文中所提出的算法进行实验验证,结果表明该算法比传统的分词算法有更好的准确率.     

一种新的字符特征提取方法及其在识别中的两个应用

特征抽取是识别中的重要步骤，提取描述性强的特征能够有效提高分类器的识别效率。在提出有关概念的基础上，介绍了特征行抽取在字符过程中的两个重要应用。首先,在分类识别时可用作匹配的特征向量，通过双向匹配来识别独立的字符。其次，可在识别粘连字符时用于预测前端字符，并在提取前端字符后对预测结果进行验证，从而达到准确分割和识别粘连字符的目的。还详细描述了交互确定特征行的方法。最后根据实验数据对字符特征行的应用价值作出了评价。     

基于改进LeNet-5的车牌识别算法

传统的车牌识别算法包括模板匹配、特征统计等方法,但是这些算法依赖于人工提取图像特征,识别准确率低。卷积神经网络LeNet-5算法能够自动提取车牌图像的特征,提高车牌识别准确率。但是目前基于LeNet-5网络结构的车牌识别算法存在识别不完整,运算时间长等缺点。提出基于改进的LeNet-5网络的车牌识别算法,该算法将输入车牌字符图像归一化为32×16大小,并通过删除传统LeNet-5网络中的C5层、修改输出层中神经元个数等,将车牌字符按照汉字和数字/字母的形式识别输出。通过采集大量车牌数据进行训练验证,结果表明:与前人改进的LeNet-5网络结构相比,本文算法在识别率和时间效率上均得到了提高。     

Nutch-0.9中JE中文分词的实现

Nutch是一个开放源代码的Web搜索引擎,基于开源搜索框架Lucene,扩展性较好。Nutch是针对英文开发的,对中文只进行单字切分。通过分析Nutch的语言分析器结构,结合基于词库的正向最大匹配分词算法的JE分词,实现了Nutch的中文分词。     

基于中文文本的编辑距离算法的改进

为了从不同的文本获取干净、有效的信息,首先要做的是删除重复的内容,而问题的核心是字段的匹配。目前大部分的字段匹配算法主要针对英文,对于中文的字段匹配算法还存在许多缺陷。为解决中文文本匹配准确度较低的问题,通过分析汉语语法的特点以及编辑距离算法中针对中文文本相似度计算时的不足,提出了一种基于中文文本的编辑距离算法的改进方法。该算法采用中文分词和基于短句的方法,解决了编辑距离算法在中文文本相似度计算时不能处理字段颠倒的情况。通过对实验结果的分析,改进后的算法明显提高了中文文本相似度计算时的匹配准确率。     

快速双向中文分词算法

中文分词是中文信息处理的基础、前提和关键．通过分析已有的中文分词算法,提出了一种新的分词词典机制,并根据新的分词词典机制提出了一种快速双向中文分词算法．使用该算法可以实现快速查找和双向匹配,从而极大地提高中文分词的速度和准确率．