一种不需分词的中文文本分类方法

提出了一种不需分词的n元语法文本分类方法.与传统文本分类模型相比,该方法在字的级别上利用了n元语法模型,文本分类时无需进行分词,并且避免了可能造成有用信息丢失的特征选择过程.由于字的数量远小于词的数量,所以该分类方法与其它在词级别上的分类方法相比,有效地降低了数据稀疏带来的影响.系统地研究了模型中的关键因素以及它们对分类结果的影响.使用中文TREC提供的数据进行实验,结果表明,综合评价指标Fβ=1达到86.8%.     

基于Lucene的全文搜索引擎的设计与实现

一、引言搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。搜索引擎可分为全文索引、目录索引、元搜索引擎、垂直搜索引擎等。全文搜索引擎是目前广泛应用的主流搜索引擎,国外代表有Google,国内则有百度。     

数据清洗中中文地址分词技术研究

数据清洗中,中文地址类信息对于重复记录的检测起着非常重要的作用。中文地址按照行政归属可划分为五级,通过组建地址信息数据库对中文地址进行匹配,提出基于地址树的中文地址分词技术,构建了中文地址的分词算法流程并设计了算法。     

基于动态规划算法单字估价值的中文自动分词研究

提出一种基于动态规划算法单字估价值的中文自动分词的研究方法,使用该方法对大量语料进行统计,通过分析四字词及四字词以下词单字的出现位置和出现次数,把出现概率转换为估价值.根据单字的出现位置和该位置的估价值,将分词问题转换为决策树求最优解问题,采用动态规划选取最优路径,从而确保切分结果的整体估价值最优.     

面向少按键装置的汉语笔画输入方法

针对目前少按键设备搭载的汉语输入法多数输入效率较低的现状,在对现在方法进行考察的基础上,提出一种能够自动适应用户输入习惯的笔画输入方法.方法对笔画按键进行了合理的键盘布局并充分利用输入候补的屏幕显示功能,引入分词技术和自动学习机制,使输入法能够通过机器学习自动调节输入词典和联想信息,自动登录新词和删除不用的词汇,使输入法能够随着用户的使用输入效率不断提高.在PC机环境下编程实现了仿真系统,并通过输入实验验证了方法在较小输入词典的状态下,具有较好的输入效率和用户自适应性.     

中文文本特征选择中的分词方法研究

针对汉语自动分词后词条的特征信息缺失的问题,本文提出把整个分词过程分解为三个子过程,以词串为分词单位对文本进行分词：首先,采用逆向最大匹配法对文本进行切分;第二,对切分结果进行停用词消除;第三,计算第一次分词得到的词条互信息和相邻共现频次,根据计算结果判定相应的词条组合成词串。实验结果表明,词条组合后的词串的特征信息更丰富,改善了文本特征选择的效果,提高了文本分类性能。     

基于微信小程序的智能客服回复技术的研究与实现

以图书馆的常见问题为基础,研究全文检索、中文分词、向量空间模型等技术,构建符合相关问题的知识库,结合云数据库设计,在微信小程序平台运用JavaScript,WXML,WXSS,Python等开发语言和Flask框架,实现一个基于微信小程序的图书馆智能客服系统,其中的智能回复模块实现了全文检索和中文分词等技术,以鲜明的便...     

高性能FTP搜索引擎的设计

FTP(file transfer protcol)搜索引擎的重点在于中文分词技术和检索技术.使用了一种面向FTP搜索优化的最大前向匹配分词算法,并将用户查询作为反馈来更新分词算法中所使用的字典,结合倒排索引技术实现了一个高性能的FTP搜索引擎的原型系统.压力测试结果表明此FTP搜索引擎具有很高的性能.     

基于延迟决策和斜率的新词识别方法

采用词典分词时会遇到未登录词的识别问题.本文提出一种新的中文新词识别方法,用于全文信息检索系统索引的建立.在索引切分过程中遇到无法切分字串时,暂存为未切分串,并生成统计信息.待未切分串达到一定数量时,再利用生成的统计信息结合斜率（加速度）的方法来切分暂存的未切分串.切分的结果可以进入索引,对于出现频率高的切分片段可以提取加入词典.     

基于语义的语句相似度计算研究

在对常用的语句相似度计算进行研究的基础上,指出了这些方法存在的不足.为了满足实际应用的需要,基于语句的语义和组成句子的词语在句子中重要性程度,设计出了具有较高准确率的相似度计算方法,通过实验,证明了这种方法的有效性.