基于互信息改进算法的新词发现对中文分词系统改进

提出一种非监督的新词识别方法。该方法利用互信息(PMI)的改进算法--PMIk算法与少量基本规则相结合, 从大规模语料中自动识别2~n元网络新词(n为发现的新词最大长度, 可以根据需要指定)。基于257 MB的百度贴吧语料实验, 当PMIk方法的参数为10时, 结果精度达到97.39%, 比PMI方法提高28.79%, 实验结果表明, 该新词发现方法能够有效地从大规模网络语料中发现新词。将新词发现结果编纂成用户词典, 加载到汉语词法分析系统ICTCLAS中, 基于10 KB的百度贴吧语料实验, 比加载用户词典前的分词结果准确率、召回率和F值分别提高7.93%, 3.73%和5.91%。实验表明, 通过进行新词发现能有效改善分词系统对网络文本的处理效果。     

基于词间关联度度量的维吾尔文本自动切分方法

提出一种基于词间关联度度量的维吾尔文本自动切分方法。该方法从大规模生语料库中自动获取维吾尔文单词Bi-gram及上下文语境信息, 在充分考虑维吾尔文单词间结合规则的前提下, 将相邻单词间的互信息、t-测试差及双词邻接对熵的线性融合作为组合统计量(dmd), 度量文本中相邻单词之间的关联程度。以dmd度量的弱关联的词间位置作为切分点进行自动切分, 得到语义及结构完整的词串, 而不仅仅是以空格隔开的单词。在大规模文本语料上进行的测试表明, 该方法的切分准确率达到88.21%。     

音译规范的韵律学视角探究

音译是吸收外来语的一种手段,是用译入语的语音模拟源语发音的翻译方法,但音译绝不是机械的模拟。每种语言都有自己的一套语音系统,因而都有不同的韵律模式,音译时需要对源语的韵律模式进行调整以适应译入语的韵律要求。文章从韵律学的角度分析英汉音节结构、音步结构和节奏模式的差异,对音译词音节的合法性进行分析和阐释,并通过对音译词的音位选择、汉字选择和可译性问题的讨论,提出可供参考的音译标准。     

基于语义分布相似度的翻译模型领域自适应研究

统计机器翻译系统由规模较大、领域混杂的平行语料训练获得,当训练数据和测试数据领域分布不一致时,其翻译质量往往较低。针对这一问题,提出了一种基于语义分布相似度的翻译模型领域自适应方法。该方法首先获得目标领域源语言端和目标语言端的词向量,并构建二者之间的映射关系。借助这一映射关系,获取源语言单词在目标语言端的语义k近邻词,然后基于该语义k近邻词在通用领域语义空间的分布,计算双语短语在目标领域下的翻译相似度,并作为新特征加入解码器,以此提升通用翻译模型的领域自适应能力。实验结果表明,相比于基准系统,利用本文所提方法优化后的翻译系统在英汉翻译任务新闻领域测试集和科技领域测试集上,分别获得0.67和0.56个BLEU值的性能提升。     

基于MPUI模型的空域图像水印容量研究

在基于失真不可感知的控制模型(maximize payload under imperceptive, MPUI)下,研究了空域图像的最大水印容量。发现最大水印容量不仅与嵌入强度有关,而且与图像尺寸大小、复杂度、视觉敏感度等因素相关。在理论上推导了最大水印容量与图像大小、嵌入强度的关系,并采用多元回归分析方法研究了图像复杂度、视觉敏感度与嵌入率的关系模型。综合这些内外因素,借助于主客观评价体系,推算出水印嵌入容量的估算方法,并在实验中验证了该估算方法的有效性。     

面向中文专利SAO结构抽取的文本特征比较研究

针对中文专利文本中SAO结构实体关系抽取问题, 使用支持向量机的机器学习方法进行关系抽取实验, 分别对基本词法信息、实体间距离信息、最短路径闭包树句法信息以及词向量信息等特征的有效性进行验证分析。实验结果表明, 基本的词法信息能够明显提高关系抽取性能, 而句法信息没有显著提高关系抽取效果。此外, 也验证了词向量在SAO结构关系抽取中的可行性。     

结合词性分析与串频统计的词语提取方法

在介绍分析现有主要提词方法的基础上,提出并实现了一种结合词性分析与串频统计的词语提取方法.文章首先详细描述了该方法的原理与框架,同时结合实例说明了其实现过程.然后将该方法与已有的具代表性的文本提词方法作计算结果的对比分析,结果表明该方法能够提取得到电子文档中包括原子词与合成词在内的所有词语,并且准确率与召回率较之前的方法均有很大提高.优良的自动提词结果能够保证文本自动处理的性能,进而促进相关领域的自动化程度与性能的提高.     

关于科技名词规范若干问题的思考

着重讨论辞书中科技条目编写在术语规范方面具有共性的问题。从异形词、异名和读音三个方面入手,通过列举实例,对目前规范存在不同意见的词目在理论上加以探讨分析,在操作上提出具体意见。     

关于度量空间的formal balls构成的偏序集

formal ball构成的偏序集为度量空间理论和domain理论提供了联系.作者考察了Ω-范畴的tensor完备化,证明了当度量空间被视为Ω-范畴时,其formal ball构成的偏序集正好是它的tensor完备化.     

流形学习方法及其在头部姿势估计中的应用

流行学习是一种新的数据降维方法,能揭示数据的内在变化规律,其目标是发现嵌入在高维数据空间中的低维流形结构,并给出一个有效的低维表示。目前流形学习以其出色的数据约简与可视化能力得到了越来越多模式识别与机器学习工作者的重视。本文介绍了一些常用的流形学习算法,分析了这些算法的优缺点,并利用流形学习中的局部线性嵌入(LLE)算法于头部姿势估计,取得了较好的识别效果。