中国古诗统计建模与宏观分析

利用自然语言处理技术处理文学文本是计算语言学领域近年来的热门话题.该文结合点态互信息量与频率阈值,自动发现中国古诗词汇.基于构建的诗歌词典,利用启发式的正向最大匹配算法,对中国古诗作分词处理.采用主题模型对分词后的诗歌文本进行统计建模,并在此基础上进行了主题演变和诗人群体风格网络的探索性分析.基于全唐诗语料的实验结果表明:主题模型可以给出具有较好解释力的中国古诗统计模型,验证已有的文学史研究,并在传统的文本细读的研究范式之外,对中国诗学提供了全新视角的宏观刻画、描述与阐释.     

基于PSO和KNN的网页智能分类算法

随着Internet技术的不断发展,Web信息不断的变化和增长.为有效查找用户所需要的信息,需将传统的信息检索向Web信息检索方向发展.如果预先对网页文本进行分类,则面对用户的检索需求就可以在相应的类别中进行查找,这样大大提高了检索的效率.文章通过对网页进行预处理,中文分词,特征提取,再使用KNN分类算法对网页进行智能分类,并采用了PSO算法快速寻找K近邻.实验结果表明:该方法不仅减少了网页分类时间,准确率、召回率和F1标准也明显提高,有效地提高了网页智能分类的效率.     

基于日志分析的用户搜索行为研究

用户行为分析是改进搜索引擎的重要依据,为了更好地理解中文搜索用户的检索行为,在引入分词的基础上对搜狗搜索引擎在一个月内的真实查询日志进行了分析,对查询语言、查询长度、rank和网页深度与点击次数四个方面的用户行为进行分析。所得结论对改进中文搜索引擎的设计和更准确地评测检索效果都有较好的指导意义。     

字母词的全/半角形式对中文分词 的影响及对策初探

中文科技名词自动抽取的关键步骤是分词,文章首先讨论中文语料库中字母词的全/半角现象,然 后考察这种现象对自动分词结果当中字母词的一致性和准确性所产生的影响,并给出提高切分结果的一致 性和准确性的对策,最后阐述中国传媒大学的分词系统在这方面所做的工作。     

汉语盲文中“的”字分词连写的问题与对策

“的”字在现代汉语中使用广泛,构词能力强。“的”字结构表面简单,实则复杂。在盲文分词连写规则中,“的”字的处理经历了从繁复到简略的过程。黄乃先生根据语法功能对“的”字的分词连写进行了区分,但是规则复杂且不易操作;现行盲文以分为主,由于处理的方式过于简单而忽略了“的”字结构内在的句法、语义关系。“的”字的分词连写存在理论复杂性与实际应用简单化之间的矛盾。将是否出现中心语作为“的”字结构分词连写的显性标记,既能反映“的”字结构的基本语法关系,又具有操作的简便性,为盲文分词连写相关规则的修订提供一定的借鉴与参考。     

语料库自然标注信息与中文分词应用研究

以中文分词为应用目标, 将大规模语料库上存在的自然标注信息分为显性标注信息与隐性标注信息, 分别考察了它们的分布和对大数据集上语言计算的影响。结果表明, 两者都直接或间接地表达了作者对语言的分割意志, 因而对分词具有积极的影响。通过词语抽取测试, 发现在缺乏丰富显性标注信息的文本中, 来自语言固有规律的自然标注信息对字符串有着强大的分割性能。     

基于Sphinx＋MySql＋Python的站内搜索引擎的设计与实现

目前站内搜索引擎已经逐渐成为web应用领域的热点.本文根据Sphinx、Mysql系统结构和运行特点,以Python语言为例,提出一种通用的web站内搜索引擎的构建方法.对于基于Linux＋Apache＋Mysql（或PostgreSQL）构架、Django等开源技术构架的web网站,该方法在不改变现有网站构架的基础上可以很便捷的构建一种性能优越的站内搜索引擎.     

研究中文文本分类技术的辅助平台

为方便中文文本分类过程算法研究,阐述中文文本分类的基础技术,提出基于构件的中文文本分类技术研究辅助平台.该平台对大多数分类中使用的算法在中文文本分类中的应用效果进行了研究.实验结果表明: 该平台可以通过计算分类器分类准确率的宏平均值比较分类算法与特征选择算法的性能,可以评估语料库的可用性,能够用于研究中文分词、特征选择、分类算法等中文文本分类技术问题.     

基于LCS的中文缩写字段匹配问题的研究

鉴于中文字段匹配在信息检索领域的重要性以及日益复杂的检索需求,本文首次提出并实现了基于最长公共子序列LCS的中文缩写字段匹配模型,避免了繁琐的分词操作,将字段匹配过程简单化。在CWT100G数据集部分网页上的实验表明,该方法性能比较稳定,检索效果比较好,尤其在较长缩写字段的匹配方面效果更优于传统的基于字符串匹配的分词模型。     

基于VC＋＋／MFC的中文自动分词算法及其软件的实现

中文自动分词一直是中文信息处理、Web文档挖掘等处理文档类研究的基础技术之一,传统的中文分词技术研究,主要集中在算法的改进研究上,对实验的平台,有关软件的实现涉及很少.本文通过探讨中文自动分词的重要性和不可或缺性,给出了基于VC /MFC自动分词软件的开发技术,最后对软件实现的四种基于词典的机械匹配的算法进行了实验分析,实验证明该系统能够高效的给中文信息处理提供一个平台.