藏文屏幕取词和翻译关键技术研究

藏语屏幕取词翻译及关键技术对屏幕信息获取和自然语言处理具有重要的意义.本文提出了藏语屏幕取词翻译的基本框架,采用截获系统文本处理消息、识别藏文文本、分词和词典翻译方法,初步实现了支持不同Windows平台和应用软件环境的藏汉英屏幕取词翻译系统.     

基于Unicode的藏文网页搜索探讨

藏文网页搜索是藏文计算机技术和藏文网站发展的必然要求,藏文字的特殊结构和藏文编码的多样性给网页的统一检索造成一定的困难,使用基于Unicode的藏文编码来识别和存储藏文有利于网页搜索的实施。     

藏语文-音自动规则转换及其实现

为满足语言学、音韵学和工程语音学的需要,该文根据现代藏文与3大方言语音之间的对应规律和藏文正字法,提出了从文字上对藏文声母和韵母拆分的"字丁分解法",实现了藏文到各方言国际音标的自动转换.并对算法和实现过程进行了详细的阐述,建立了藏语13个方言点的方音数据库.方音数据库的建立为藏语方言研究和语言教学提供了科学、方便的工具,为藏语标准音的制定、推广及应用提供原始的语音材料,也能作为藏语语音识别和语音合成的标音基础.     

在通用字符集UCS中藏文编码模式的应用分析

藏文在通用字符集UCS中如何进行编码,是藏文软件开发者在现代计算机系统中处理藏文数据所必须具备的知识之一。在设计藏文网页内容、UCS藏文数据的整理、设计藏文应用软件、藏文文本的处理操作、在设计藏文OpenType字库或者在UCS藏文编码模式应用时,首先都要去理解UCS藏文编码模式。文章介绍了UCS的编码体系结构以及UCS中藏文编码模式的组织结构和设计方法,以便于使用OpenType来支持复杂藏文文本的显示和处理,从而进一步提高藏文文本的编辑效率。     

在通用字符集UCS中藏文编码模式的应用分析

藏文在通用字符集UCS中如何进行编码,是藏文软件开发者在现代计算机系统中处理藏文数据所必须具备的知识之一。在设计藏文网页内容、UCS藏文数据的整理、设计藏文应用软件、藏文文本的处理操作、在设计藏文OpenType字库或者在UCS藏文编码模式应用时,首先都要去理解UCS藏文编码模式。文章介绍了UCS的编码体系结构以及UCS中藏文编码模式的组织结构和设计方法,以便于使用OpenType来支持复杂藏文文本的显示和处理,从而进一步提高藏文文本的编辑效率。     

藏语孤立词语音识别技术研究

针对藏语读音首先看后加字,然后根据元音的位置关系决定读音,而且元音比辅音携带更多听觉感知信息的特点,提出了一种改进的HTK系统藏语孤立词语音识别技术.在识别特征参数中,增加更能表征元音特征的共振峰参数提高语音识别的正确性,通过循环迭代方法提高语音训练速度,利用藏文字母拉丁转写方法解决藏文和语音识别系统编码不一致的问题.在二次开发的HTK平台进行实验,正确率达到92.83%,实验结果表明元音特征在藏语音识别中起到重要作用.     

消除重复藏文网页的完整解决方案

消除重复网页是搜索引擎不可或缺的一部分，藏文搜索引擎也是如此。从信息处理的角度而言，藏文属于“复杂文字”的范畴，其编码在实际使用当中仍不统一。本论文实现了统一的藏文编码并选择合适的Shingle粒度，提出了消除重复藏文网页的完整解决方案。经过试验其效果能够满足藏文搜索引擎消除重复网页的需求。     

藏文文本分词赋码一体化研究

在藏文文本理解中虚词发挥着重要的句法、语义桥接作用,其规则的有效性在藏文分词处理中扮演着特殊的角色。由于虚词本身及其角色的丰富性,在一定意义上可以说藏文分词处理是虚词识别的过程。因此,虚词识别的正确与否直接影响着藏文文本分词处理的效果。文章依据藏语自身的语法规律和虚词功能的特殊性,首先构建了虚词知识库、虚词兼类库,以及其作为藏文连续文本中识别虚词的依据;其次,研制了标有词汇属性的分词词表和一定规模的训练语料库资源,以基于条件随机域（CRF）的方法进行词性标注,并结合虚词和词性赋码的资源制作了藏文自动分词赋码一体化处理的模型。     

藏语自动分词中的数词识别方法研究

藏语自动分词技术是藏语自然语言处理的基础。文章通过分析藏语真实文本中的数词分类、数词词形以及数词结构等,提出了一种基于规则的识别方法。文章中的藏语数词识别思想为:在自动分词过程中,通过判断待切分的词(w)i和已切分的词(wi-1)来重新组合。经对小学一至六年级的数学藏文版教材及1500个含各类数词的句子语料进行测试后,数词的识别准确率达97.7%。     

一种基于VBA的藏文音节排序方法的设计与实现

现代藏文字典序是按照传统藏文字的构造序而建立的排序方法,遵循严格的书面藏语构造规则.藏文编码中国国家标准正式发布实施后,藏文字符自身构造的复杂性、大量梵音藏文等他族语字符以及科技字符的存在,使得Microsoft office环境下藏文的序性问题一直未得到很好的解决.本文提出并实现了一种基于VBA的藏文音节在Word应用程序中的排序方法,方法简单、容易实现,解决了藏文音节在Microsoft office环境中排序的问题.     

藏语方言计算机辅助系统的研究

本文在藏语的文字和方言语音的基础上建立了藏语方言研究系统,主要包括藏语词条的收集和整理;方言词汇的确认;方言音系的整理;藏文与拉丁双向转写;方言国际音标的自动生成等几方面,为藏语的方言研究提供了理论支持和应用工具。     

藏文编码输入及其规范研究

研究科学、合理的藏文输入方案,使输入法易学、易用、快速和规范是至关重要的.文章强调藏文不“编码”的编码输入表明一种思想:我们不能孤立地讨论编码.藏文拉丁字母转写是一种自然的编码方式,拉丁字母转写转换为藏文的输入不仅在易学、易记、快打、规范以及四者的统一方面有潜力可挖,而且对信息时代的语言规范性研究也有重要意义.     

大型藏语平衡语料库建设中样本类别号的研究

藏文语料库是计算机研究藏语规律的素材,建设藏语语料库是藏文信息处理研究的基础和前提.语料库建设中样本的类别号是识别样本类别的依据,也是关联藏文语料信息库、样本文档和使用者的纽带,在语料库建设中非常重要.文章结合藏语平衡语料库的建设,设计了藏文语料数据库,划分了藏文语料库的类别并设计实现了样本类别号的产生方法.     

藏文乌金印刷体文本图像自动分割技术研究

藏文字符分割是藏文印刷体识别技术中的关键技术之一,高精度的字符分割是图像文本识别的主要因素,分割的效果直接影响最终的识别.该文通过研究藏文字形结构和文本图像分割技术,提出了投影法和连通域分割法相结合的藏文音节分割方法.在不同的喜马拉雅字体文本图像上分割测试准确率达99.31%,在卷积网络模型上藏文音节识别准确率比字丁高2.7%,表明藏文音节分割方法的有效性.     

Web网页知识获取技术

描述一种基于类自然语言理解的Web文本知识自动获取技术. 用领域文法描述Web网页文本,将该领域文法转换成描述句子信息的、符合正则表达式规范的规则,使用该规则把Web网页文本转换为表示网页知识的语义三元组,最后形成领域知识库. 试验数据表明,通过本技术生成的领域知识库中不同类型网页数据的召回率平均值是71.5%,准确率平均值是79.1%.     

基于DOM树及行文本统计去噪的网页文本抽取技术

首先对网页源码文本统一编码转为UTF格式,然后把HTML网页文档转换为XML文档并解析为一棵DOM树。依据XML语言特点及噪声特征规则先对DOM树的噪声节点进行过滤删除,然后依据中文标点符号统计方法提取网页正文内容,并在此基础上利用行文本统计方法去除提取出的正文中存在的噪声信息,最后得到网页正文文本。对来自结构完全不同的主流与非主流的中英文新闻网站上的2 000篇网页进行实验,结果表明本文提出的方法具有较高的抽取准确率,并具有很好的通用性和实现简单的特点,适用于针对互联网中不同网站新闻文本信息的自动采集。     

融合音节部件特征的藏文命名实体识别方法

藏文命名实体识别是藏语自然语言处理的基础任务，是完成机器翻译、网络舆情检测和知识图谱构建等任务的前提.传统的基于深度学习的藏文命名实体识别将藏文音节(字嵌入)作为模型输入的方法容易忽略藏文音节的局部特征.针对这一问题，本文提出了一种融合构成藏文音节部件特征和藏文音节特征的藏文命名实体识别神经网络模型SL-BiLSTM-CRF(syllable level long short-term memory conditional random field).其中，SL模块对构成音节的部件信息和藏文的单个音节进行特征编码，将两种不同模态的特征融合之后送入BiLSTM模型进行特征提取并预测实体标签，再通过CRF对BiLSTM模型的预测结果进行矫正，最终输出藏文实体识别结果.实验证明，该方法在藏文命名实体识别任务中相比基于单个藏文音节(字嵌入)的BiLSTM-CRF模型的F₁值提高了1.58个百分点，验证了该方法在藏文命名实体识别任务中的有效性.     

上下文无关文法与藏语句法分析

上下文无关文法在计算机句法自动剖析中已经得到广泛的应用.文章利用这种上下文无关文法来分析和描写藏语句子结构,在句法分析过程中具体采纳预测和规约的分析方法,以举例验证的方式自动推导出藏语句子的句法结构规律;识别句子中的句法单位,以及各句法单位之间的关系,对藏文句法分析提供了较好的研究思路及探索价值.     

大型藏语平衡语料库建设中样本类别号的研究

藏文语料库是计算机研究藏语规律的素材,建设藏语语料库是藏文信息处理研究的基础和前提。语料库建设中样本的类别号是识别样本类别的依据,也是关联藏文语料信息库、样本文档和使用者的纽带,在语料库建设中非常重要。文章结合藏语平衡语料库的建设,设计了藏文语料数据库,划分了藏文语料库的类别并设计实现了样本类别号的产生方法。     

藏文文本情感分类系统设计

本论述采用藏语三级切分体系对藏文文本进行分词和词性标注,并借助手工建立的藏文情感分析用词表,与已有的特征选择方法相结合提取情感特征,用相似度分类算法进行藏文文本的情感分类,达到了较好的分类效果.