标准频率指数统计法在汉语词频统计中的应用

用《标准频率指数》统计词频是一种先进的科学的词频统计方法,本文探讨了此种方法在新闻语料词频统计中的应用,这在汉语词频统计中尚属首次。     

基于既定词表的彝文自动分词技术研究

自动分词是彝文信息处理中一项不可缺少的基础性工作,彝文信息处理只要涉及到检索、翻译、校对等,就需要以词为基本单位。本文根据彝文的特点,介绍了彝文分词规范与分词词表的设计,提出了实现基于既定词表的彝文自动分词技术的算法选择、系统结构,以及实现流程,而且进行了抽样测试,其分词准确率和速度都比较令人满意。最后结合彝文的特点对实现彝文自动分词的难点进行了分析。     

基于文本挖掘的商品推荐

对电子商务网站的评论文本进行分词、去停用词等整理,通过词频统计提取特征词,应用词频-逆文档频率提高特征词的类别区分能力以增加特征词的准确性.在收集大量的电子商务网站的评论文本及一系列预处理后构建了特征词词库.采用词语相似度计算方法用于关键词向量与特征词词库相似度的计算.根据相似度计算结果对用户评论的商品进行排序以实现对用户商品的推荐.设计了商品推荐系统并完成了实验程序.利用收集到的用户评论文本完成了对商品的推荐实验,并对实验结果进行了考察与分析.     

基于Web的字词频统计程序的设计与应用

介绍了基于Web的字词频统计程序的设计及应用 首先阐述了开发该软件的实用性与重要性 ;然后介绍了该软件的设计思想 ;讨论了软件实现的主要设计流程 ;最后结合对一些特定文本统计的结果 ,探讨了其应用     

计算机彝文信息处理

1989年,北京、云南、四川、贵州、广西等省、市、自治区的有关领导、权威专家云集西昌,一致通过了1980年国务院批准实施的规范彝文作为我国彝文信息处理标准,1992年,国家技术监督局颁布实施了多项规范彝文信息处理国家标准,从而使彝文信息处理工作得到了顺利发展。1998年,在滇、川、黔、桂四省（区）彝族古籍整理协作会第六次会议上,来自四省区和北京的权威及有关领导云集成都,一致通过了“将国务院批准的四川规范彝文作为我国彝族统一文字的会议纪要”。至此,计算机彝文信息处理事业得到了迅速发展。YWBDDOS北大方正彝文激光照排系统、YWPS彝文系统、YWWIN2000彝文系统、YW彝文字幕系统等计算机彝文系统相继问世,并获得了省部级的各种奖励。古老的彝文,正向着世界、向着信息化、现代化、网络化、趄着五彩缤纷的信息时代大步迈进。     

信息处理用彝文分词规范研究

自动分词是彝文信息处理领域的一项基础性课题.词类的划分标准是正确切分词乃至以后的词性标注、文字识别、文本校对、机器翻译、篇章理解、自动文摘、文本校对、自动标引等彝文信息处理研究的必要条件.本文首先首先阐述了研究彝文分词规范的必要性和重要意义; 然后提出了彝文分词规范的基本原则; 讨论了研制彝文分词规范中存在的一些问题.     

计算机彝文信息处理

1989年,北京、云南、四川、贵州、广西等省、市、自治区的有关领导、权威专家云集西昌,一致通过了1980年国务院批准实施的规范彝文作为我国彝文信息处理标准,1992年,国家技术监督局颁布实施了多项规范彝文信息处理国家标准,从而使彝文信息处理工作得到了顺利发展.1998年,在滇、川、黔、桂四省(区)彝族古籍整理协作会第六次会议上,来自四省区和北京的权威专家及有关领导云集成都,一致通过了"将国务院批准的四川规范彝文作为我国彝族统一文字的会议纪要".至此,计算机彝文信息处理事业得到了迅猛发展.YWBDDOS北大方正彝文激光照排系统、YWPS彝文系统、YWWIN2000彝文系统、YW彝文字幕系统等计算机彝文系统相继问世,并获得了省部级的各种奖励.古老的彝文,正向着世界、向着信息化、现代化、网络化、朝着五彩缤纷的信息时代大步迈进.     

计算机彝文操作系统的研制

对彝文计算机操作系统的研制技术从彝文的编码输入、彝文的显示、彝文的打印输出等进行了系统的阐述．彝文信息处理的特点和要求是：①具备英文计算机系统原有的全部功能．②要在计算机系统中能保留汉字信息处理的全部功能．⑦要在计算机系统中能够输入和输出彝文信息．④要解决信息量较大的彝文字形在系统内的存储问题．⑤在系统技术上，要解决彝文与汉字、英文信息的兼容问题．要求系统同时能处理英文、汉字和彝文混合的信息流．⑥彝文信息处理系统的技术必须走和国际标准兼容的道路，已便彝文信息处理能共享世界上丰富多彩的计算机硬件和软件资源．     

四川古彝文字库设计及其字符集的编码

本文主要探讨的是利用选择字稿,对字稿进行扫描,将字稿数字化拟合,然后修改字库,最后整合字库等字库设计技术设计出四川古彝文的字库,然后根据现代字符编码设计原理和技术对四川古彝文字符集进行科学的编码．四川古彝文字库的建立及其字符集的成功编码是后来四川古彝文系统的研制与开发的前期工作,为古老彝文信息化,收集、整理、翻译彝族文献古籍提供便利．     

基于语义分析的改进TF-IDF算法

传统的TF-IDF算法主要依赖词频,往往忽略词语语义和一些具有重要意义的副词。针对这一问题,提出了一种基于语义分析的改进TF-IDF算法。该方法融入了词语语义来计算词频,改进了反义词语之间的相似度。实验结果表明,该方法在计算句子相似度中能根据语义方向对句中各词语词频进行统计,同时判断整个句子语义方向,与传统算法比较,语句相似度的准确性提高了5. 7%。