汉维语比喻与比喻产生的心理过程对比分析

心理过程是比喻产生的心理机制。本文通过汉维语比喻形成过程的对比分析,揭示汉维语比喻构成的差异性,以期揭示汉维文化的差异性,旨在为汉维吾尔语比喻研究提供有益的实证材料,为新疆双语教学、双语学习尽绵薄之力。     

基于Lucene的全文搜索引擎的设计与实现

一、引言搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。搜索引擎可分为全文索引、目录索引、元搜索引擎、垂直搜索引擎等。全文搜索引擎是目前广泛应用的主流搜索引擎,国外代表有Google,国内则有百度。     

数据清洗中中文地址分词技术研究

数据清洗中,中文地址类信息对于重复记录的检测起着非常重要的作用。中文地址按照行政归属可划分为五级,通过组建地址信息数据库对中文地址进行匹配,提出基于地址树的中文地址分词技术,构建了中文地址的分词算法流程并设计了算法。     

实现Lucene接口的中文分词器的比较研究

Lucene自身提供的StandardAnalyzer虽然已经具备中文分词的功能,但是其分词正确率和切分速度不能够满足大多数应用的需要。为更好处理中文信息,必须引用独立的外部中文分词器。基于这种需求,文章对ChineseAnalyzer、CJKAnalyzer、IKAnalyzer、mmseg4j、imdict-chinese-analyzer和庖丁解牛6种主流中文分词器分别进行测试,并根据测试结果对分词效果做出评估。     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

藏文搜索引擎中的分词算法研究

随着藏文信息技术的不断普及和发展,搜索引擎技术成为藏文信息处理一项新的研究课题.对搜集到的藏文网页文本或用户查询关键词进行理解、提取和组织等处理是搜索引擎的一项基础性工作,其中藏文分词的准确与否,直接影响到搜索引擎查询效果及查询结果列表的排序问题,因此分词成为藏文搜索引擎技术中需要解决的关键问题.文章针对藏文搜索引擎中基于字符串匹配的藏文分词技术进行研究并提出相应的解决算法.     

手写维文字符分割中的多信息融合路径寻优方法

针对维吾尔词书写粘连和手写笔画漂移等问题,提出一种基于多信息融合路径寻优的字符分割算法.利用笔画提取、切分和聚类,过分割单词图像得到主体和附加字段,通过字段模糊匹配获得鲁棒的字根序列描述,以抑制笔画漂移造成的干扰;由建立的匹配位置高斯模型来估算字段匹配信息,经对单字分类器输出进行置信度转换,从而得到字符识别信息,再运用数据统计获取单词语义信息;由构建的字符序列二阶Markov语言模型,基于Bayes准则,提出了单词后验概率的多信息加权融合计算方法,通过字段匹配及字根合并的路径寻优,可得到最佳字符分割结果.在手写维文样本库上的实验表明,所提算法能有效提升字符分割的准确率和稳定性.     

遍游阿勒泰

游遍了几乎整个新疆之后,今年夏天,我终于有机会前往北疆的阿勒泰地区。一到阿勒泰市,我就感觉仿佛阿勒泰的所有少年都脚踩着滑板,仔细观察后发现,这儿滑板的外形是我未     

高性能FTP搜索引擎的设计

FTP(file transfer protcol)搜索引擎的重点在于中文分词技术和检索技术.使用了一种面向FTP搜索优化的最大前向匹配分词算法,并将用户查询作为反馈来更新分词算法中所使用的字典,结合倒排索引技术实现了一个高性能的FTP搜索引擎的原型系统.压力测试结果表明此FTP搜索引擎具有很高的性能.     

一种改进的高效分词词典机制

汉语自动分词是中文信息处理的基础,在中文信息处理系统中具有广泛的应用。作者在研究几种分词词典机制的基础上提出了一种新的分词词典机制,其基本思想是:根据一字词和二字词出现频率高的特点,将词首字和次字组合成Hash索引表,其余字组成剩余结点数组。基于这种分词词典机制设计的组合Hash索引分词算法使得一字词和二字词查询只须在组合hash索引表中一步完成,从而显著提高查询速度。通过真实语料的对比实验,该算法在不降低精度的前提下,处理速度比整词二分平均提高了13.8倍,比TR IE索引树平均提高了2.7倍。结果表明:组合hash索引分词算法是实用有效的。