基于日志分析的用户搜索行为研究

用户行为分析是改进搜索引擎的重要依据,为了更好地理解中文搜索用户的检索行为,在引入分词的基础上对搜狗搜索引擎在一个月内的真实查询日志进行了分析,对查询语言、查询长度、rank和网页深度与点击次数四个方面的用户行为进行分析。所得结论对改进中文搜索引擎的设计和更准确地评测检索效果都有较好的指导意义。     

字母词的全/半角形式对中文分词 的影响及对策初探

中文科技名词自动抽取的关键步骤是分词,文章首先讨论中文语料库中字母词的全/半角现象,然 后考察这种现象对自动分词结果当中字母词的一致性和准确性所产生的影响,并给出提高切分结果的一致 性和准确性的对策,最后阐述中国传媒大学的分词系统在这方面所做的工作。     

汉语盲文中“的”字分词连写的问题与对策

“的”字在现代汉语中使用广泛,构词能力强。“的”字结构表面简单,实则复杂。在盲文分词连写规则中,“的”字的处理经历了从繁复到简略的过程。黄乃先生根据语法功能对“的”字的分词连写进行了区分,但是规则复杂且不易操作;现行盲文以分为主,由于处理的方式过于简单而忽略了“的”字结构内在的句法、语义关系。“的”字的分词连写存在理论复杂性与实际应用简单化之间的矛盾。将是否出现中心语作为“的”字结构分词连写的显性标记,既能反映“的”字结构的基本语法关系,又具有操作的简便性,为盲文分词连写相关规则的修订提供一定的借鉴与参考。     

基于Sphinx＋MySql＋Python的站内搜索引擎的设计与实现

目前站内搜索引擎已经逐渐成为web应用领域的热点.本文根据Sphinx、Mysql系统结构和运行特点,以Python语言为例,提出一种通用的web站内搜索引擎的构建方法.对于基于Linux＋Apache＋Mysql（或PostgreSQL）构架、Django等开源技术构架的web网站,该方法在不改变现有网站构架的基础上可以很便捷的构建一种性能优越的站内搜索引擎.     

基于VC＋＋／MFC的中文自动分词算法及其软件的实现

中文自动分词一直是中文信息处理、Web文档挖掘等处理文档类研究的基础技术之一,传统的中文分词技术研究,主要集中在算法的改进研究上,对实验的平台,有关软件的实现涉及很少.本文通过探讨中文自动分词的重要性和不可或缺性,给出了基于VC /MFC自动分词软件的开发技术,最后对软件实现的四种基于词典的机械匹配的算法进行了实验分析,实验证明该系统能够高效的给中文信息处理提供一个平台.     

一种改进逐字二分中文分词词典设计

在研究了多种分词词典机制的基础上,提出一种改进的词典机制在传统的首字哈希表中增加拼音首字母和次字哈希标志项,在首字哈希表中查询次字的拼音首字母,根据双字以上词的数量决定是否按次字拼音首字母散列到次字首字母哈希表中,以此决定次字的查询方式在兼顾空间复杂度的同时,缩小次字查询范围能较大幅度地提升高频词的次字的整体查询效率第3字及其后的字串的匹配仍然采用目前成熟的词典机制通过实验测试,该机制在增加少量的存储空间情况下,时间效率可提升26%     

基于网页正文主题和摘要的网页去重算法

针对元搜索返回的网页内容相同,别名差异很大的重复网页,提出基于网页正文主题和摘要的网页去重算法,并通过实验对算法进行有效性验证。该算法首先对各成员搜索引擎返回来的网页标题进行有关处理,提取出网页的主题信息,然后对摘要进行分词,再计算摘要的相似度,二者结合能更好地现出文章摘要的内容,实现网页去重。该算法有效,并且比基于传统特征码的算法有明显的优势,更接近人工统计结果。     

中文分词技术在搜索引擎中的探讨

本文通过深入探讨中文分词技术在搜索引擎中的算法描述,并详细介绍机器不断地学习新词、动态地雏护词典的模型,尝试解决最棘手的处理新词问题,使其更好地为分词提供更智能描述特别是对新词。     

不定式、动名词及分词的用法比较

<正> 不定式、动名词及分词一直是英语教学中的重点。三者各有其特点,而在具体运用中却容易混淆,出现错误。下面仅就三者在具体应用时的不同用法作以比较。 1、动名词和名词化动名词的比较 二者形式相同,但动名词有动词时态和语态变化,可有宾语和状语,没有复数,前面也不可用冠词。名词化的动名词,有单复数形式,前面可用冠词。比     

文本分词的自动校对

讨论和分析了自动分词的现状，并针对分词问题，提出了一种基于规则的中文文本分词自动校对方法。该方法通过对机器分词语料和人工校对语料的对比，自动获取中文文本的分词校对规则，并应用规则对机器分词结果进行自动校对，提高分词语料的质量。