基于虚词和句尾词特征的藏语句子抽取方法

语料中抽取句子是藏语自然语言处理领域中一项关键技术,在句型研究、句法分析、语义分析、语用分析、问答系统和机器翻译等很多领域都有广泛的应用前景.文章在分析藏语句尾词性和虚词特征的基础上,提出了一种基于虚词和句尾词特征的藏语句子抽取方法,即从文本串的单垂符或双垂符开始,通过逆向搜索虚词的位置节点和句尾词性抽取藏语句子.实验表明,该方法抽取藏语句子的准确率可达98.9%以上,抽取句子的数量明显提高.     

藏语及物与不及物动词的自动识别研究

藏语动词分类很细,准确识别和判断藏文动词的词性是藏语自然语言处理中一个基础又关键的内容,及物与不及物动词的自动识别,可以在用计算机生成自然语言句子时能很好地阻止不合法句子的生成,也能从整体上减少句子生成量,从而提高效率.提出了一种在理想环境下,通过句子中的使格助词来自动判断动词及物性的方法,这种自动识别方法是一种理性主义的判断方法,所以不需要大规模语料的支持.因为是一种理想情况,所以自动识别效率高,准确率为100%.     

藏语自动分词中的数词识别方法研究

藏语自动分词技术是藏语自然语言处理的基础。文章通过分析藏语真实文本中的数词分类、数词词形以及数词结构等,提出了一种基于规则的识别方法。文章中的藏语数词识别思想为:在自动分词过程中,通过判断待切分的词(w)i和已切分的词(wi-1)来重新组合。经对小学一至六年级的数学藏文版教材及1500个含各类数词的句子语料进行测试后,数词的识别准确率达97.7%。     

基于混合策略的藏文句子边界识别

藏文句子边界识别作为藏文信息处理研究领域中的一项重要工作,在词法分析、句法分析、语义分析和机器翻译等领域都具有广泛的应用.在分析藏语句子的概念、分类和边界特征的基础上,提出一种基于混合策略的藏文句子边界识别方法.经实验模型在测试数据集上的F值达99.25%.     

藏语词语兼类情况及识别规则库

同其他语言一样藏语词性的兼类现象普遍存在,这给词性标注工作带来了巨大困难,对兼类词的处理是藏语词性标注的关键所在。文章利用传统和现代藏语语法理论,在分析藏语真实文本的基础上,归纳了藏语兼类词的种类,提出了兼类词的标注原则。并根据词语搭配关系和词的组合结构构建了兼类词的识别规则库,利用该规则库可对兼类词的词性进行较准确的标注。     

汉藏语比较研究的原则与方法——西门华德《藏汉语比较词汇集》评析

西门华德《藏汉语比较词汇集》在本世纪20年代末一出版,就立即引起了国际汉藏语学界的极大关注。到目前为止,这本书仍不失其学术价值。因此,有必要加以系统的分析和评价。《词汇集》的具体成就主要有以下几点: 1、它是系统地、大规模地进行藏汉两语词汇比较的第一部著作。 2、《词汇集》的确找到了一批相当可靠的汉藏同源词。 3、对汉藏两语的声韵系统对应关系勾划出一个大致的轮廓。 4、对藏语语音史和原始藏语的拟构提出了若干新见:(1)r-、1-前缀音易位律。在原     

浅谈藏语单句的类型

本文通过藏语语法知识和藏汉两种语言对句子概念的对比，将藏语单句划分，并进一步进行了细化。其利于藏文校对，信息检索、双语对译、自动分词、搜索引擎等信息技术的不断发展。     

双门限算法在藏语语音音节分割中的应用分析

双门限算法是语音端点检测的一种重要方法,对藏语语音识别和处理具有重要意义。提出了用双门限端点检测技术对藏语语音进行音节分割的方法,首先根据双门限语音端点检测原理进行Matlab编程和仿真,然后结合藏语语音的音节特点和双门限算法分别在正常语速和慢语速环境下对藏语的30个辅音语音、随机抽取的双音节、三音节及句子语音进行双门限算法的音节分割和分析,实验表明双门限算法对没有太多连读音节的藏语语音和慢语速下长句的音节分割准确率较高。     

基于说话人自适应训练的汉藏双语语音合成

根据藏语和汉语在发音上的相似性,提出了一种基于隐Markov模型(hidden Markov model,HMM)的汉藏双语语音合成方法。以声韵母为合成基元,采用多个普通话说话人和1个藏语说话人的语料库,利用说话人自适应训练,获得一个汉藏双语混合语言的平均音模型。通过说话人自适应变换,从混合语言的平均音模型获得普通话或藏语的说话人相关模型,从而合成出普通话或藏语语音。实验结果表明,在藏语训练语句较少的情况下,该方法合成的藏语语音明显优于仅采用说话人相关模型合成的藏语语音。     

基于条件随机场的越南语命名实体识别方法

针对越南语特点,提出一种基于条件随机场模型的越语命名实体识别方法。该方法针对越语词和词性的特点,采用条件随机场算法,选取词和词性作为特征,定义特征模版,选取越南语新闻文本,标记地名、人名、组织机构等6类实体语料,训练获得越南语实体识别模型,实现实体识别。实验结果表明该方法提取实体的准确率达到83．73％。     

统计与规则相结合的藏文句子自动断句方法

 藏文句子断句是藏文信息处理领域的难点之一,也是藏汉机器翻译、藏文文本分类等工作的一项重要基础性研究.提出了一种统计与规则相结合的藏文句子自动断句方法以解决藏文标点符号功能的歧义问题,实验结果表明该方法具有比较好的效果,F1值达到98%以上.在规则中首先使用经验的方法,识别出不确定的藏文句子作为候选句子,然后采用基于关联词的复句分析方法进行分句合并形成二次候选句子;最后使用最大熵的方法对二次候选句子进行断句.经验方法和复句分析有效解决了最大熵算法无法触及的语料稀疏和分句问题.     

融合双通道音节特征的藏文La格例句自动分类模型

基于藏文La格(??????)例句的自动分类在藏语自然语言处理领域的重要性,根据藏文La格的用法和添接规则,在对藏文La格例句进行分类并定义分类概念的基础上,提出一种融合双通道音节特征的藏文La格例句自动分类模型.该模型首先使用word2vec和Glove构建双通道藏文音节嵌入,分别在每路卷积中融合双通道音节特征,丰富...     

藏文文本分词赋码一体化研究

在藏文文本理解中虚词发挥着重要的句法、语义桥接作用,其规则的有效性在藏文分词处理中扮演着特殊的角色。由于虚词本身及其角色的丰富性,在一定意义上可以说藏文分词处理是虚词识别的过程。因此,虚词识别的正确与否直接影响着藏文文本分词处理的效果。文章依据藏语自身的语法规律和虚词功能的特殊性,首先构建了虚词知识库、虚词兼类库,以及其作为藏文连续文本中识别虚词的依据;其次,研制了标有词汇属性的分词词表和一定规模的训练语料库资源,以基于条件随机域（CRF）的方法进行词性标注,并结合虚词和词性赋码的资源制作了藏文自动分词赋码一体化处理的模型。     

基于信息处理的藏文框架语义关系研究

藏文框架语义知识语义关系分析的关键就是建立句子中各词语之间的语义关联关系,实现各框架间知识的共享,获取更多的信息.文章引出了藏文框架语义知识、框架及框架元素并结合实例分析了以藏语句子为主,组成该句子的词语或短语间的语义关系及框架形式表示该句子的语义为结构化.     

基于分布式词语表示的中文阅读理解

基于山西大学自主开发的中文阅读理解语料库CRCC,根据问句和候选答案句的对应关系,在已有的最大熵模型的10个特征的基础上加入词的分布式实值向量表示的特征,其中分布式词特征分别是问题句和答案句的词对应的分布式实值的向量的最大值的欧式距离、夹角余弦等特征,主要是用来刻画问题句和答案句的相似程度.实验结果表明,把词的分布式实值表示的向量作为最大熵模型的特征对于测试集上的HumSent准确率的提升是有效的.     

藏语韵律词和韵律短语的时长特征研究

在藏语单句的层面上,通过时长参数的统计分析,对韵律词和韵律短语两层韵律单元的时长特征进行了研究.研究结果确定了藏语韵律词和韵律短语的基本大小,韵律词为4±2个音节,韵律短语为6±3个音节;藏语韵律单元的总体时长分布差异较大,但不同韵律单元的时长伸缩幅度差异较小.藏语韵律单元的时长分布类型以尾长型为主;韵律单元边界处普遍具有边界前音节延长,边界后音节缩短现象的特征.     

安多藏语语音合成语料库的设计

藏语语音合成语料数据库的优劣对合成语音质量有很大的影响,语料的设计考虑了音段和韵律,语料库中包含藏语的音节、词语、独白语句和情景对话语等.     

藏文数词识别与翻译

通过对藏文数词内部构词规律及外部边界信息进行分析, 提出对藏文数词基本构件定义的方案。采取最优路径决策模型判断数词构件边界, 然后通过有限自动机模型识别并翻译基本数词, 最后用模板匹配算法处理复杂数词。结果表明,提出的方法对数词识别与翻译的F值达到98.73%, 在藏汉机器翻译的测试集上的BLEU提高了2.64%。