汉文-维吾尔文句子对齐模型的XML标记规范

近些年来,在语言信息处理研发、双语教学和对比研究以及双语词典编纂研究中,双语语料库的作用日益凸显出来.在双语语料库中,不仅要描述双语文本在句子一级的对齐信息,还要详细描述收入语料库中的双语文本的所有者、领域、时间等方面的属性信息.为便于数据交换和共享,所有语料文本均采用XML编码方式来描述信息.详细阐述了构建的汉文-维吾尔文平行语料库的对齐句子和一些属性信息的XML标记规范和XML标记算法的设计方法.     

汉语-印尼语平行语料自动对齐方法研究

双语平行语料库是多语种自然语言处理的重要资源,已被广泛地应用于机器翻译、机助人译、翻译知识抽取与跨语言信息检索等领域中。本文针对汉语-印尼语平行语料的自动对齐与可比语料的自动提取问题,提出了基于锚点和词典相结合的段落对齐方法,并在此基础上采用基于置信区间的长度模型实现句子对齐,同时,为了快速提高汉语-印尼语平行语料库的构建效率,还提出了基于跨语言文档相似度的可比语料提取方法。实验结果表明,本文提出的平行语料对齐方法和可比语料提取方法的准确率较传统方法有显著的提高,说明本文提出方法是有效的、可行的。     

基于汉维医疗平行语料的双语术语抽取研究

为提高汉语和维吾尔语医学领域机器翻译质量,解决人工提取和翻译大量医学术语耗时费力的问题,提出基于词向量表示的双语术语抽取方法,并与传统统计短语对齐抽取进行对比.首先,自建45216句汉语医疗语料,人工翻译获得23996句维语语料,人工采集汉语医学词汇65394条,翻译获得31421条维语术语,对汉语语料分词,对维语语料形态切分,获得实验数据;其次,使用词向量方法,设计了基于词向量表示的双语术语抽取实验,准确率为25.12%;并将传统统计短语对齐抽取技术应用于汉维医疗平行语料,准确率为27.28%;实验结果表明,新方法更需要大量平行语料支持,但是两种方法都有助于提高汉维医学领域机器翻译质量,使提取和翻译大量医学术语自动化.     

基于双语信息和神经网络模型的情绪分类方法

文本情绪分类是自然语言处理研究中的一项基本任务.目前,已有的文本情绪分类研究大都在单语语料上进行,存在已标注样本不足、分类文本较短、信息量少等问题.为了解决上述问题,提出了一种基于双语信息和神经网络模型的情绪分类方法.首先,利用机器翻译工具对源语料进行翻译得到翻译语料;其次,将对应语言的语料进行合并,得到两组不同语言的语料;最后,将文本分别使用源语言和翻译语言进行特征表示,建立双通道长短期记忆(long short-term memory,LSTM)网络模型融合两组特征,并构建情绪分类器.实验结果表明该方法能够稳定提升文本情绪分类的性能.     

基于不同语料的词向量对比分析

通过对目前自然语言处理领域中基于深度学习的词向量表示方法对不同文本语料文本表达的有效性进行分析,将主流词向量训练方法用于不同的文本语料集,包括英文维基百科语料、新闻语料、论坛语料和Web语料进行训练,并采用三种评价指标:余弦相似度平均差、斯皮尔曼等级相关和米克罗夫类比方法对训练出的文本词向量表达方法进行比较.实验结果表明,针对上述四种语料,词向量能够实现对文本的有效表示,但各个语料训练出的词向量的通用性不同,其中维基百科语料训练的词向量的通用效果最好.     

融合特征约束模型的纳西-汉语双语词语对齐算法

针对纳西语、汉语因句法结构差异较大而导致双语词语自动对齐较为困难的问题,提出一种融合特征约束模型的纳西-汉语双语词语对齐算法.首先在语料中统计纳西-汉语词语区间扭曲和位置转换特性,并由此建立2个双语词语对齐的特征约束模型;然后将提出的特征约束模型融入词语对齐的对数线性模型框架,并结合最小错误率算法训练模型参数;最终搜索出最佳的词语对齐结果.实验以IBM Model3为词语对齐比较模型,结果表明,该双语词语对齐算法可以使纳西-汉语词语的对齐准确率提升21.9%.     

基于注意力机制的远程监督实体关系抽取

关系抽取是许多信息抽取系统中的一个关键步骤,旨在从文本中挖掘结构化事实.在应用传统的远程监督方法完成实体关系抽取任务时存在2个问题:①远程监督方法将语料库中的文本与已标注实体和实体间关系的知识库启发式地对齐,并将对齐结果作为文本的标注数据,这必然会导致错误标签问题;②目前基于统计学的方法过于依赖自然语言处理工具,提取特...     

利用信息传播特性的中文网络新词发现方法

针对已有方法识别出的网络中文新词生命周期短且很快不再为人们所用的问题,提出了一种基于信息传播特性的中文新词发现方法。该方法结合"新词传播范围广、持续时间长"的特点,从用户覆盖率、话题覆盖率和新词生命周期3个方面设计统计量;采用N-gram算法得到候选词串列表;用基于词频和词语灵活度的方法过滤垃圾词串。实验中以微博文本作为语料来源,与已有方法相比,用户特性使得新词识别的准确率提高了11%,话题特性使准确率提高了10%,时间特性使准确率提高了13%,综合用户、话题和时间的方法使准确率提高了16%。实验结果表明:该方法中的每个特性都提高了中文网络新词识别的准确率,而且同时考虑3种特性的准确率比只考虑单一特性的高。     

基于监督学习的HSK阅读文本自动分级模型研究

针对HSK（汉语水平考试）各类阅读材料难度判定与等级对应中缺乏有效参照标准和分析工具的问题,以历年HSK真题阅读文本为研究对象,提取文本可读性特征,采用支持向量机、随机森林、极端梯度增强等9种监督学习算法,建立可将自选文本自动归类于相应HSK等级的模型,采用准确率、AUC等多项指标评价各模型的分级效果,并选择最佳模型制成在线工具。结果表明,监督学习在HSK阅读材料文本分析及分级方面具有较高性能,9种模型中极端梯度增强的分级效果最好,准确率为0.913,AUC为0.994。建立的分级模型和在线工具能够以较高的准确率对HSK自选文本进行分级,帮助用户有针对性地遴选文本,提高学习效率。     

统计与规则相结合的藏文人名自动识别研究

提出了一种基于统计与规则相结合的藏文人名自动识别方法.该方法充分挖掘了人名与上下文信息的关联程度,引入互信息对关联程度进行了定量的描述.根据大规模语料(30.2 M文本语料)的统计数据所建立的规则极大地提高了识别算法的准确率;在处理汉族音译人名情况时,采用姓氏驱动的方法,很好地解决了藏文文本中汉族人名的识别问题.实验结果表明,该方法具有较高的准确率和召回率.     

基于特征融合的中文文本情感分析方法

针对现有的中文文本情感分析方法不能从句法结构、上下文信息和局部语义特征等方面综合考量文本语义信息的问题,提出一种基于特征融合的中文文本情感分析方法.首先,采用Jieba分词工具对评论文本进行分词和词性标注,并采用词向量训练工具GloVe获取融入词性的预训练词向量;然后,将词向量分别作为引入Self-Attention的BiGRU和TextCNN的输入,使用引入Self-Attention的BiGRU从文本的句法结构和文本的上下文信息两个方面综合提取全局特征,使用TextCNN提取文本的局部语义特征;最后,将全局特征和局部语义特征进行融合,并使用Softmax进行文本情感分类.实验结果表明,本文方法可以有效提高文本情感分析的准确率.     

基于多数据源的知识图谱构建方法研究

针对多数据源的融合应用,构建了基于多数据源的知识图谱.首先,对不同领域内的数据源构建相应本体库,并将不同本体库通过数据融合映射到全局本体库;然后,利用实体对齐和实体链接方法进行知识获取和融合;最后,搭建知识图谱应用平台,提供查询和统计等操作.在实体对齐方面,利用传统的基于相似性传播实体对齐方法,获得良好的实体对齐效果;在实体链接方面,提出了基于约束嵌入转换的预测推理方法,实验结果表明,在预测准确率上取得较好的结果.     

基于多策略过滤的汉日多词短语抽取和对齐

在跨语言文本分析任务中,多词短语比单个词汇歧义小,语义表达更加准确,有助于提高文本理解的准确性。现有方法主要关注单个词的跨语言对齐。将多词短语抽取和跨语言对齐相融合,提出了一种基于多策略过滤的汉日多词短语抽取和对齐的方法。首先从一个语种出发,通过重复串、左右邻接熵、内部关联度、多词嵌套、停用词等方法提取并过滤得到具备完整语义的多词短语,然后利用平行语料库计算汉日多词短语的相似度,实现跨语言对齐。在整个过程中可结合日语语言规则与特点,根据语料规模、相关领域对过滤阈值进行动态调整,提高了多词短语的领域适用性。实验结果表明,该方法可有效抽取汉日多词短语并进行准确对齐,以多词短语为对齐单元,语义表达更完整,实用价值更大。     

基于互信息改进算法的新词发现对中文分词系统改进

提出一种非监督的新词识别方法。该方法利用互信息(PMI)的改进算法--PMIk算法与少量基本规则相结合, 从大规模语料中自动识别2~n元网络新词(n为发现的新词最大长度, 可以根据需要指定)。基于257 MB的百度贴吧语料实验, 当PMIk方法的参数为10时, 结果精度达到97.39%, 比PMI方法提高28.79%, 实验结果表明, 该新词发现方法能够有效地从大规模网络语料中发现新词。将新词发现结果编纂成用户词典, 加载到汉语词法分析系统ICTCLAS中, 基于10 KB的百度贴吧语料实验, 比加载用户词典前的分词结果准确率、召回率和F值分别提高7.93%, 3.73%和5.91%。实验表明, 通过进行新词发现能有效改善分词系统对网络文本的处理效果。     

基于多种长度单位的汉英句子分组对齐算法

传统的基于长度的汉英双语句子对齐算法大都以字节作为句子长度的计算单位.提出了以句子所含动词、名词、形容词、实词、字节及全部词语总数等6种单位作为句子长度的计算方法进行汉英句子对齐研究.针对传统基于长度对齐算法消耗内存大、效率低的特点,提出了不受文本大小限制的分组对齐算法.实验结果表明,汉英句子对齐以词语作为长度计算单位的算法性能较高,准确率达到99.01%,召回率达到99.50%.     

中英平行短语依存树库构建

提出了面向翻译研究的融合短语结构树和依存分析的短语依存树库(phrase dependency treebank,PDT)的构建思想,阐述了中英平行PDT的构建方法.PDT采用"扁平结构优先"的短语结构树和"基于语义"的依存句法功能标注原则,有别于传统依存分析的完全二分法.大连理工大学中英平行PDT(DUT-CEPDT)的生语料取自文本质量较高的政府工作报告和白皮书及其官方译文.首先,对文本进行分词和词性标注之后,利用专为语言学家开发的辅助工具LingTreeConstructor构建中文和英文的单语PDT;之后,在两个单语PDT之间从篇章到词的节点进行对齐,这种多层次的立体对齐比只有词、短语或句子的单层对齐能提供更丰富的翻译知识;最后,依据FrameNet进行双语平行的框架语义角色标注.DUTCEPDT将为译员培训和机器翻译研究提供所需的标准语料.     

如何选购VCD?

面对市场上各种各样的VCD影碟机,您在选购时应注意以下几个方面: 1、VCD影喋机分1.1版本和2.0版本两种,他们在技术指标上没有区别,不同点是2.0版本有更多的控制播放功能,并能播放高清晰度静止图像。使用2.0版本VCD盘片,适合于教学、资料阅览,目前市场上这种盘片还不多,但从长远来看,诸如“电子图书”等光盘会很快     

针对虚拟人的文本情感语义分析

为了使个性化虚拟人更加形象生动,能根据用户输入的文本做出表情动作,运用自然语言处理技术对中文和英文文本进行语义和分类处理,分析出动作和情感信息。采用潜在语义方法从文本中提取出动作语义信息,利用hownet计算词汇相似度,使用K最近邻方法将文本情感信息分为6类:愤怒、厌恶、恐惧、喜悦、悲伤和惊讶。实验结果为:语料文本分类准确率为87.5%,系统能从用户输入的文本中提取出情感、动作信息,使虚拟人做出相应表情变化。     

融合语义和结构信息的知识图谱实体对齐

实体对齐能够发现不同知识图谱实体间的对齐关系,是多源知识融合的基础。现有的基于知识表示学习的方法依赖大量标注数据,且并未利用知识图谱中属性等结构化信息,限制了实体对齐的效果。针对这个问题,文章提出融合语义和结构信息的实体对齐方法,使用协同训练(Cotraining)框架,将特征分为语义视角和结构视角,在两个视角下分别训练基于两个图谱联合表示学习(Joint Embedding)的实体对齐模型,并不断选出最可信的实体对齐结果用于辅助另一视角下模型的训练,实现语义和结构信息的融合,从而提升实体对齐的效果。同时,提出使用属性强约束,限制协同训练过程中产生的漂移。实验证明,与传统方法相比,该方法在准确率和F1值上都有提升。     

以新HSK考题和经典对外汉语教材为语料基础的情感句分析

对外汉语教学的目标是培养学生的交际能力,句子情感信息的理解和表达是初级阶段交际能力培养的重要内容。以国家汉办公布的新HSK试卷文本和6套经典对外汉语教材为语料基础,以句子为单位,对语料的情感信息进行人工标注,计算情感句在不同类型语料中的分布,并进行了对比分析。结果显示,句子中显示积极评价态度、表达"吃惊/怀疑"、"关心"情感类别的频率最高,分别为38.62%、10.18%、9.31%,在情感句中非常显著。此外,还从每个情感句中抽取了情感词、短语和句式,分析其组合方式以及分布规律,发现在表达消极的情感时,多使用"否定词+积极情感词"的表达方式,相关数据和结论可为汉语国际教育领域情感句研究以及新HSK备考提供参考。