藏文乌金印刷体文本图像自动分割技术研究

藏文字符分割是藏文印刷体识别技术中的关键技术之一,高精度的字符分割是图像文本识别的主要因素,分割的效果直接影响最终的识别.该文通过研究藏文字形结构和文本图像分割技术,提出了投影法和连通域分割法相结合的藏文音节分割方法.在不同的喜马拉雅字体文本图像上分割测试准确率达99.31%,在卷积网络模型上藏文音节识别准确率比字丁高2.7%,表明藏文音节分割方法的有效性.     

藏文文本分词赋码一体化研究

在藏文文本理解中虚词发挥着重要的句法、语义桥接作用,其规则的有效性在藏文分词处理中扮演着特殊的角色。由于虚词本身及其角色的丰富性,在一定意义上可以说藏文分词处理是虚词识别的过程。因此,虚词识别的正确与否直接影响着藏文文本分词处理的效果。文章依据藏语自身的语法规律和虚词功能的特殊性,首先构建了虚词知识库、虚词兼类库,以及其作为藏文连续文本中识别虚词的依据;其次,研制了标有词汇属性的分词词表和一定规模的训练语料库资源,以基于条件随机域（CRF）的方法进行词性标注,并结合虚词和词性赋码的资源制作了藏文自动分词赋码一体化处理的模型。     

藏文网页抓取及编码统一转换的系统研究

藏文文本资源的收集对藏语信息处理研究有着至关重要的作用.文章在分析国内外藏文网页主要编码方式的基础上,提出了藏文网页的编码识别、自动获取与过滤,文本编码统一转换的算法.系统主要包括网页编码识别网页、自动获取、文本过滤、编码转换等几个模块.在windows平台下对系统的测试结果良好,为藏语电子文本的收集和整理提供了方便、快捷的平台.     

基于卷积神经网络的藏文手写数字和字母识别研究

在文字识别领域中,手写体识别比印刷体识别更具挑战性.藏文手写体识别已经成为重要的研究课题之一.本文提出了一种基于卷积神经网络LeNet-5模型的藏文手写数字和字母识别方法.分别采集藏文数字手写体样本和字母手写体样本17768和77636例,并对其进行预处理;然后按8∶2划分成训练集和测试集,并在CNN(LeNet-5)模型上进行训练.经过测试,数字和字母识别准确率分别达到98.81%和97.89%.     

基于规则的藏文识别后处理研究

基于藏文音节规则的识别后处理方法,总结了音节规则的约束条件 试验表明该方法在藏文文本识别后处理中具有较高的自适应性 在《印刷藏文(汉英混排)文档识别系统》的测试中,50万字的藏文测试样本,识别率在97.3%的基础上提高了0.3%,显示出该方法具有良好的效果     

一种面向藏文聚类的文本建模方法

现有的藏文文本聚类算法均采用向量空间模型来进行文本建模.该模型存在向量维度过高和无法表示语义信息的问题.该文根据藏文的语法特性并借鉴主题模型的思想,提出了一种基于词向量的藏文文本建模方法.该方法首先采用最大熵模型进行藏文文本词性标注,选择名词和动词作为文本的特征,然后利用word2vec工具训练得到词语类别并计算其在各文本的概率分布,最终以词类别概率矩阵表示文本,从而实现文本建模.与基于VSM和基于LDA的文本建模方法相比,该方法文本聚类结果的F值分别提高了10.5%和2.4%,聚类效果提升明显.     

融合音节部件特征的藏文命名实体识别方法

藏文命名实体识别是藏语自然语言处理的基础任务，是完成机器翻译、网络舆情检测和知识图谱构建等任务的前提.传统的基于深度学习的藏文命名实体识别将藏文音节(字嵌入)作为模型输入的方法容易忽略藏文音节的局部特征.针对这一问题，本文提出了一种融合构成藏文音节部件特征和藏文音节特征的藏文命名实体识别神经网络模型SL-BiLSTM-CRF(syllable level long short-term memory conditional random field).其中，SL模块对构成音节的部件信息和藏文的单个音节进行特征编码，将两种不同模态的特征融合之后送入BiLSTM模型进行特征提取并预测实体标签，再通过CRF对BiLSTM模型的预测结果进行矫正，最终输出藏文实体识别结果.实验证明，该方法在藏文命名实体识别任务中相比基于单个藏文音节(字嵌入)的BiLSTM-CRF模型的F₁值提高了1.58个百分点，验证了该方法在藏文命名实体识别任务中的有效性.     

基于预训练模型和图神经网络的藏文文本分类研究

在少数民族语言信息处理领域，由于文本分类标注数据的稀缺，相关研究工作进展缓慢.为了充分利用有限的标注数据，更有效地挖掘出文本之间的关系，本文对藏文提出一种基于预训练模型和图卷积神经网络的长文本分类方法CINO-GCN.首先利用在实验数据集上经过微调的少数民族多语言预训练模型(Chinese Minority Pretrained Language Model, CINO)得到藏文长文本的初始文档向量和藏文音节向量.然后根据整个数据集范围的音节共现关系与音节和文档间的TF-IDF值来对藏文文本图进行建模.最后将文本图和结点特征一同输入至图卷积神经网络(graph convolutional networks, GCN)层，得到的文档表示经过Softmax得到分类结果.将该方法在公开的TNCC藏文新闻文本分类数据集上与当前几种主流的深度学习模型进行了多组对比实验，分类准确率达到73.51%,远优于其他基线模型；同时设计了消融实验验证模型各部分对分类结果的增益.实验结果表明，该文提出的模型能够结合预训练词向量和图神经网络的优势，显著提高藏文文本分类的准确率.     

藏文分词中交集型歧义字段的切分方法研究

藏文自动分词是藏文信息处理中一项不可缺少的基础性工作,是藏文搜索引擎、语法信息词典建设、机器翻译、语音合成、文本自动分类、自动摘要、自动校对等等研究的基础工作。藏文自动分词中歧义消除也是关键技术,文章提出了藏文交集型歧义的切分方法即双向扫描识别和最大概率分词算法进行处理的方法。     

基于GaussianNB模型的藏文文本分类研究与实现

目前众多文本分类方法已经得到了广泛的应用,然而针对不同的语言结构,各分类方法的泛化能力也有差异,因此本文利用机器学习算法中的GaussianNB模型对藏文新闻类文本语料进行分类,检验该分类模型在藏文语言结构中具有良好的分类性能.分类过程中首先以一码元为文本特征,采用特征频度统计方法,形成特征值向量,然后对特征向量进行降维处理,最后通过分类实验结果,验证了该模型对藏文文本具有良好的分类效果.     

面向信息处理的藏文文本规范化方法研究

针对藏文信息处理的需求,提出了一套层次化、基于规则的藏文文本规范化处理方案.首先分析整理了藏文文本中的不规范文本类型,然后根据藏文文本中不同类型的不规范文本特征,分别设计文本规范化算法,并用程序实现了藏文文本的规范化.最后对该方法进行了实验测试,测试结果表明该方法能较好地实现藏文文本的规范化.     

统计与规则相结合的藏文人名自动识别研究

提出了一种基于统计与规则相结合的藏文人名自动识别方法.该方法充分挖掘了人名与上下文信息的关联程度,引入互信息对关联程度进行了定量的描述.根据大规模语料(30.2 M文本语料)的统计数据所建立的规则极大地提高了识别算法的准确率;在处理汉族音译人名情况时,采用姓氏驱动的方法,很好地解决了藏文文本中汉族人名的识别问题.实验结果表明,该方法具有较高的准确率和召回率.     

基于LZ77算法的藏文文本压缩算法设计与实现

随着信息量的不断增加,用计算机处理的文本文件越来越大,需要对庞大的藏文文本进行数字化处理,如何节约资源对藏文文本进行高效压缩显得极为重要。项目在LZ77算法基础上结合藏文的特点和当前文本压缩的技术主流完成了关于藏文文本压缩的设计和实现工作,按照藏文特点有效的提高了藏文文本压缩率。这种压缩算法是针对藏文特点的两个子算法和目前主流的LZ77压缩算法合成的。     

藏文文本聚类及其相关技术综述

藏文作为一门古老的语言有其独有的规则和特点。随着网络的普及,互联网用户中的藏族同胞迅速增加,网络上的藏文文本也越来越多。利用藏文文本聚类来提供更高效的管理和更良好的用户体验成为近年的研究热点。本文首先介绍了藏文文本聚类的应用背景和相关概念,然后介绍了藏文文本特点和藏文文本聚类的相关技术,讨论了藏文文本建模和聚类算法,最后对藏文聚类发展和应用进行了总结和展望。     

基于深度学习的电力设备铭牌识别

为了获取铭牌图像中的基本参数信息,提出一种基于深度学习的端到端文本识别模型TDRN(Text Detection and Recognition Network)。模型避免了图像裁剪和字符分割,将文本看作一个序列,使用BLSTM(Bidirectional Long Short-term Memory)来获取上下文关系。同时,将文本检测和文本识别整合在同一个网络中共同训练,共享卷积层,以提高整体性能,在文本识别中还引入了注意力机制。模型在公共场景文本数据集SVT(Street View Text)上测试表现良好,F值为68. 69%,高于一般的端到端文本识别模型。与传统铭牌识别方法相比,TDRN准确率更高,鲁棒性更强,能适应复杂的电力场景变化。     

向量空间模型在藏文文本信息检索中的应用

基于向量空间的信息检索模型VSM,以其简洁直观、检索结果和排序效果良好等优点,在信息检索领域得到普遍的应用。文章结合藏文文本的特点,研究VSM在藏文文本信息检索中的应用方法。     

基于条件随机场的藏文人名识别研究

本文首先分析了藏文人名的特点以及藏文人名识别的难点,在此基础上,利用条件随机场模型,分别提出了采用基于亚音节标注的藏文人名识别方法和分词与词性标注一体化的藏文人名识别方法.     

面向互联网的藏文实体关系模板获取技术研究

确定实体之间的关系有助于更好的理解文本内容,通过实体关系模板可以从海量无结构的文本中获取大量的实体关系,并予以结构化.本文针对互联网藏文文本的特点,通过对藏文实体进行模板表示,采用基于word2vec的无监督词义相似度计算方法,构建近义词资源,实现了藏文词义相似度计算系统,最终构建一种基于相似度计算的实体关系模板获取模型.通过网络爬虫抓取青海湖藏文网的语料进行试验,实验结果表明本文提出的藏文实体关系模板抽取方法较为有效,达到了较好的实验效果.     

在通用字符集UCS中藏文编码模式的应用分析

藏文在通用字符集UCS中如何进行编码,是藏文软件开发者在现代计算机系统中处理藏文数据所必须具备的知识之一。在设计藏文网页内容、UCS藏文数据的整理、设计藏文应用软件、藏文文本的处理操作、在设计藏文OpenType字库或者在UCS藏文编码模式应用时,首先都要去理解UCS藏文编码模式。文章介绍了UCS的编码体系结构以及UCS中藏文编码模式的组织结构和设计方法,以便于使用OpenType来支持复杂藏文文本的显示和处理,从而进一步提高藏文文本的编辑效率。     

基于GPT模型语义反馈的多切分选择算法

切分是光学字符识别中一个至关重要的步骤,它直接影响着最终文本识别的准确性.传统光学字符识别一般是针对给定的文本图像提供单一的切分策略,但在处理低质量或者格式多变的图像时效果较差.研究了多切分候选的选择问题,提出了一种针对多切分候选的基于GPT模型语义反馈的切分选择算法.实验表明,本文提出的算法,通过与GPT模型的语义评估能力有效结合,对低质量文本图像的切分任务取得了显著的改进,进一步提升了识别的准确率.