Web文本聚类的研究与实现

Web文本聚类是使文本之间具有最大的簇内相似性,同时具有最小的簇间相似性,它是一个将文本集分组的全自动处理过程。本文首先提出了Web文本聚类模型,然后对Web文本聚类关键技术进行了深入的研究,讨论了分词、特征表示、特征选择和K-means算法等相关技术。最后,实现了该文本聚类系统,对采集到的Web文本进行聚类,实验证明此算法具有很好的聚类结果。     

一种新的语义相似度计算方法

在信息检索领域,基于不精确的语义信息进行查询,需要用户多次进行筛选,降低了查询效率,因此,语义相似度计算的精确性至关重要.目前,人们主要利用概念词的距离、内容、属性等信息进行语义相似度计算,其中综合距离,信息内容和概念词属性等因素的混合式语义相似度计算方法是比较热门的方法,但该方法进行语义相似度计算时,权值的确定是根据专家的经验,人为的进行确定,具有一定的主观性,影响了语义相似度计算的准确性和客观性.因此,本文提出了一种新的混合式语义相似度计算方法,采用模糊优化的思想确定混合式语义相似度计算方法中的权值,避免了主观性,使语义相似度的计算更准确,查询结果更符合人们的需求.     

藏文分词中交集型歧义字段的切分方法研究

藏文自动分词是藏文信息处理中一项不可缺少的基础性工作,是藏文搜索引擎、语法信息词典建设、机器翻译、语音合成、文本自动分类、自动摘要、自动校对等等研究的基础工作。藏文自动分词中歧义消除也是关键技术,文章提出了藏文交集型歧义的切分方法即双向扫描识别和最大概率分词算法进行处理的方法。     

字母词的全/半角形式对中文分词的影响及对策初探

中文科技名词自动抽取的关键步骤是分词,文章首先讨论中文语料库中字母词的全/半角现象,然后考察这种现象对自动分词结果当中字母词的一致性和准确性所产生的影响,并给出提高切分结果的一致性和准确性的对策,最后阐述中国传媒大学的分词系统在这方面所做的工作。     

基于语料库的藏语TTS技术研究

文章通过比较分析国内外TTS技术的发展,提出基于语料库的藏语TTS技术的可行性.研究了藏语TTS的文本分析模块、语音合成模块及语音数据库的关键技术,并设计了一个完整的基于语料库的藏语TTS系统.     

藏语语音合成中文本分析的若干问题研究

文本分析是文语转换系统的前端,是制约语音合成自然度的一个重要因素,文章在考察汉语文本分析方案的基础上,分析了藏语的特点,提出了一套适合于藏语语音合成的文本分析模块的实现方案．文中采用最大匹配法和分词词库相结合的方法实现文本的自动分词,建立一套层次化的规则体系对文本进行规范化的处理,字音转换则通过SAMPA-ST的藏语机读音标系统来实现,本研究的完成为藏语的语音合成打下了良好的基础．     

即时通信文本中地理信息提取——以微信为例

提出一套面向即时通信文本中地理信息提取的技术方案, 综合使用文本分词、空间分析匹配与图文一体服务等技术, 实现即时文本中地理信息的分析获取和同步地图服务, 可以在即时通信交流中提供同步的空间信息分析和主动的网络地图服务。以微信为例, 对上述技术方案进行实例验证。验证结果表明, 所提的技术方案正确、合理、可行。研究成果拓宽了 WebGIS/LBS 的应用领域, 增强了即时通信软件的服务能力, 可为相关研究和实践提供有力支持。     

采用相关反馈和文档相似度的维吾尔语检索词加权方法

针对维吾尔语Web文档的有效检索问题,提出一种基于相关反馈和文档相似度的检索词加权方法.首先,对维吾尔语文档进行预处理,获得相应的词干集.然后,当用户输入多个检索词时,执行初始检索,并基于局部相关反馈思想提取出排名靠前的N个文档.接着,利用TF-IDF算法计算检索词与反馈文档之间的词频相似度,通过余弦距离计算文档之间的相似度,并以此对检索词进行两次加权.最后,根据加权后的检索词进行文档检索.实验结果表明:该方法能够准确地检索出用户所需的文档,并将其靠前排序.     

基于VC＋＋／MFC的中文自动分词算法及其软件的实现

中文自动分词一直是中文信息处理、Web文档挖掘等处理文档类研究的基础技术之一,传统的中文分词技术研究,主要集中在算法的改进研究上,对实验的平台,有关软件的实现涉及很少．本文通过探讨中文自动分词的重要性和不可或缺性,给出了基于VC＋＋／MFC自动分词软件的开发技术,最后对软件实现的四种基于词典的机械匹配的算法进行了实验分析,实验证明该系统能够高效的给中文信息处理提供一个平台．     

从web网页上获取一价事件常识的方法

一价事件是以一价动词为核心构成的事件。为了提高查询的智能性和准确性,尝试用一价事件设计描述了从《实习词表》中挑选一价动词,根据《一价动词表》设计Google查询项,根据Google查询项从Web网页上获取大规模的语料。用特征提取方法从Web语料中抽取事件上下文中的相关词,根据相关词评价Google查询项的优劣,并进行调整。得到与一价动词相关的因果逻辑,丰富查询项,从而提高查询精度。