Web文本聚类的研究与实现

Web文本聚类是使文本之间具有最大的簇内相似性,同时具有最小的簇间相似性,它是一个将文本集分组的全自动处理过程。本文首先提出了Web文本聚类模型,然后对Web文本聚类关键技术进行了深入的研究,讨论了分词、特征表示、特征选择和K-means算法等相关技术。最后,实现了该文本聚类系统,对采集到的Web文本进行聚类,实验证明此算法具有很好的聚类结果。     

基于小字符集的藏文自动分词技术研究

文章针对传统藏文分词的切词难点及切分歧义现象,提出一种基于小字符集的藏文自动分词技术方案.其中包括分词预处理、多级Hash词典机制、藏文格助词紧缩格的判别及还原规则、逐字匹配算法和未登录词的处理等内容.     

一种基于搭配信息的汉语组合型消歧方法

首先从大规模语料中采集到组合歧义字段,进而对其搭配信息进行统计.最后应用多元对数似然比计算出消歧参数进行消歧,实验中考虑了歧义字段的上下文窗口、位置、权值等要素.在此基础上应用消歧后的语料扩充搭配信息集,修正消歧参数.     

基于规则、串频统计和上下文关系的现代汉语分词系统的实现

介绍了一种集合了规则、串频统计和中文上下文关系分析的现代汉语分词系统.系统对原文进行三次扫描,首先将原文读入内存,利用规则将原文变成若干个串,构成语段十字链表;然后对每个串中的子串在上下文中重复出现的次数进行统计,把根据统计结果分析出的最有可能是词的子串作为临时词;最后利用中文语法的上下文关系并结合词典对原文进行分词处理.系统对未登录词的分词有很好的效果.     

科技英语中非谓语动词的用法

科技英语中大量使用非谓语动词-动名词、现在分词、过去分词和不定式,这些非谓语动词的使用使科技英语行文紧凑,科学性强。在科技英语的阅读和翻译过程中,非谓语动词的用法应该得到学习者的注意和重视。     

从web网页上获取一价事件常识的方法

一价事件是以一价动词为核心构成的事件。为了提高查询的智能性和准确性,尝试用一价事件设计描述了从《实习词表》中挑选一价动词,根据《一价动词表》设计Google查询项,根据Google查询项从Web网页上获取大规模的语料。用特征提取方法从Web语料中抽取事件上下文中的相关词,根据相关词评价Google查询项的优劣,并进行调整。得到与一价动词相关的因果逻辑,丰富查询项,从而提高查询精度。     

一种Hash高速分词算法

对于基于词的搜索引擎等中文处理系统,分词速度要求较高。设计了一种高效的中文电子词表的数据结构,它支持首字和词的Hash查找。提出了一种Hash高速分词算法,理论分析表明,其平均匹配次数低于1．08,优于目前的同类算法。     

基于BiLSTM-CRF的中文分词和词性标注联合方法

针对中文分词、词性标注等序列标注任务,提出结合双向长短时记忆模型、条件随机场模型和马尔可夫族模型或树形概率构建的中文分词和词性标注联合方法。隐马尔可夫词性标注方法忽略了词本身到词性的发射概率。在基于马尔可夫族模型或树形概率的词性标注中,当前词的词性不但与前面词的词性有关,而且与当前词本身有关。使用联合方法有助于使用词性标注信息实现分词,有机地将两者结合起来有利于消除歧义和提高分词、词性标注任务的准确率。实验结果表明：本文使用的中文分词和词性标注联合方法相比于通常的双向长短时记忆模型-条件随机场分词模型能够大幅度提高分词的准确率,并且相比于传统的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率。     

基于语境信息的中文分词交叉歧义处理方法

模拟人浏览句子按照语境寻找消歧证据的经验,计算歧义字段与其所在句子的语义相似度和相关度,据此作为语境计算模型,利用歧义字段与其所在句子的语境信息进行中文分词交叉歧义处理;与经典的基于统计方法相比,切分准确率有很大提高。