自然语言理解的一些技术初步研究

自然语言理解涉及的技术很多.现讨论其中的三部分:第一部分讨论自动分词,阐述了自动分词需要解决的问题;第二部分设计了一个快速的直接映射式检索算法;第三部分初步探讨了汉语文摘生成处理的一个方法.     

中文自动分词探讨

论述了现有中文自动分词方法，提出了自动分词软件质量评价标准，并对分词正确单和切分过度两个重要特性的度量方法进行了探讨。     

基于分词和基于N-Gram的网页分类系统比较研究

设计并实现一个网页分类系统,采用相同的特征权值计算方法,特征选择算法以及分类算法,进行基于分词的网页分类系统和基于N-G ram的网页分类系统的对比实验,分析两者的分类效果。结果表明,基于N-G ram的网页分类系统能达到并在一定程度上高于基于分词的网页分类系统的效果。     

一种改进的基于PATRICIA树的汉语自动分词词典机制

分词词典机制是影响自动分词的重要因素,而查找速度是衡量一个词典好坏的重要标准.文中分析比较了现有的几种典型的词典机制,并在此基础上提出了一种新的词典机制,即在PATRICIA tree的基础上加入Hash机制,从而在明显提高查找速度的同时,降低了构造和维护词典的复杂度.     

基于延迟决策和斜率的新词识别方法

采用词典分词时会遇到未登录词的识别问题.本文提出一种新的中文新词识别方法，用于全文信息检索系统索引的建立.在索引切分过程中遇到无法切分字串时，暂存为未切分串，并生成统计信息.待未切分串达到一定数量时，再利用生成的统计信息结合斜率（加速度）的方法来切分暂存的未切分串.切分的结果可以进入索引，对于出现频率高的切分片段可以提取加入词典.     

试论悬垂分词的逻辑主语

悬垂分词是一种由省略而引起的复杂的语言现象。所省去的逻辑主语大致可分以下几种情况:(1)泛指;(2)由定语、宾语、从句主语等成分包含;(3)说话者(作者)本人;(4)由上下文说明。文章试图就此探讨悬垂分词的逻辑主语。     

一种采用基于语境松弛算法的汉语分词排歧方法

词切分是像汉语这类非拉丁语言的一个特有问题，并且由于汉语组词中普遍存在着岐义性和语境依赖性，这一问题也是一个尚未得到彻底解决的难题。本文通过仔细分析汉语分词岐义的规律，将追求整体最优效果的松驰算法引入到汉语自动分词的排岐研究中。借助于语词之间搭配关系等上下文约束条件以及词频、字频等统计数据，构造了一种汉语分词排岐的新方法。实验结果表明，这种方法在切分精度和切分速度上都取得了较好的效果，为解决汉语自动分词难题提供了一种新途径。     

基于统计的无词典分词方法

通过分析词的结合模式，提出无词典分词模型，并对该模型进行实验测试。测试结果表明，无词典分词模型能够满足快速分词的要求。     

文本挖掘中的特征表示及聚类方法

文本挖掘中特征表示函数的选择影响到特征词表达文本的能力 ,文中设计的评判函数可以比较准确地表达特征词的重要程度。采用K邻近算法对文本集进行聚类 ,产生了较好的聚类效果     

发现边防突发事件的特征型知识

边境地区情况复杂，边防斗争和边境管理任务繁重，边防事务的工作量大，而边防突发事件的处置又具有很强的政策性、法规笥和时效性，涉及面广、要求高、标准严等特点。为了改善边境地区处置边防突发事件的能力，提高边防涉外事件处置水平，开发边境地区边防突发事件处置辅助决策系统具有重要的实际意义。采用数据挖掘的聚类方法将边防突发事件汇聚成几个模式，并发现模式的特征型知识，这些特征型知识能够有效地提高处置边防突发事件的能力。