汉语中新词识别方法研究

随着互联网和社会的飞速发展,新词不断涌现。识别和整理这些新词语,是中文信息处理中的一个重要研究课题。提出一种新词识别方法,该方法利用基于PAT-Array的重复字符串抽取候选串,提高了新词的召回率。并在此基础上分析新词内部模式,添加了垃圾串过滤机制。单字串过滤主要是运用垃圾词典的方法,多字词模式新词的确定是利用改进的互信息与独立成词概率结合的方法。由此,大幅度提高了新词识别的准确率。     

中文搜索引擎中的分词技术研究

分词模块是中文搜索引擎的一个重要组成部分,针对分词提出了一种最短路径与共首字歧义词概率的比较相结合的方法,首先寻找最短路径.如果最短路径不只一条,就比较共首字歧义词概率,选择概率较大的一条路径,效果非常明显.对未登录词识别提出了一种改进的移动窗口算法,在单字序列中移动窗口,并记录状态来寻找新词,能够识别大部分的未登录词.     

基于改进位置成词概率的新词识别

提出了一种基于改进位置成词概率的新词识别算法.该算法在位置成词概率的基础上,结合新词内部模式的特征提出了改进的位置成词概率,然后再综合互信息、邻接类别等统计量对新词进行识别.采用小说语料进行测试,实验结果表明该算法在一定程度上能有效提取新词.     

基于统计的满文识别后处理的研究和实现

目前的技术不能使单字识别系统的识别率达到100%,单字识别系统会产生错判和拒判.因此,将满文中单词识别系统的识别信息和满文的词组信息有机的结合起来,建立满文词组和待定词集统计信息库,采用基于统计的隐马尔可夫模型的方法,利用Viterbi动态规划法求最佳路径,对满文的单字识别输出进行后处理,可以有效的提高识别系统的识别率.实验表明,单字识别系统的识别率越高,后处理的纠错能力越强.     

构建单字词表识别未登录词的方法

针对目前中文分词技术主要依赖于常用词词典,而词典对未登录词识别率较低的问题,提出一种用双词典识别未登录词的方法,即构建一个常用词词典和一个单字词词典,二者相互结合进行分词,有效解决了对未登录词识别效率偏低的问题.实验表明,采用构建单字词表法对未登录词的识别准确率可达90%以上.     

基于词内部模式的中文新词识别研究

提出了一种基于支持向量机的中文新词识别算法.该算法结合新词内部模式以及词长等提出了基于词内部模式的改进字符位置似然概率,并综合新词的邻接类别等特征对新词进行识别.经过小说语料测试,实验结果表明：该算法的微F1值为0.583 3,宏F1值为0.775 7,分别比不考虑词内部模式的基准算法提高约63%和30%.     

基于边界特征的情感新词提取方法

情感词典作为情感分析任务中的一项基础资源,是观点发现及情感极性判断的重要依据。随着网络新词的大量出现,情感新词的抽取成为一个亟待解决的问题。针对这一问题提出基于边界特征的情感新词的提取方法。该方法利用skip-gram模型挖掘情感词的边界特征、构建边界特征集,利用边界特征集提取情感新词候选集,通过bigram搭配、序列模式等方法对情感新词候选集进行过滤,根据候选串的频次、与其搭配的边界特征在语料中的分布情况对候选串进行评分。在微博语料上的实验结果显示,该方法对情感新词识别的准确率与候选串得分正相关,当候选串得分为11时准确率为83.33%。实验证明,基于边界特征的情感新词的提取方法能够有效地识别大规模语料中的情感新词。     

利用信息传播特性的中文网络新词发现方法

针对已有方法识别出的网络中文新词生命周期短且很快不再为人们所用的问题,提出了一种基于信息传播特性的中文新词发现方法。该方法结合"新词传播范围广、持续时间长"的特点,从用户覆盖率、话题覆盖率和新词生命周期3个方面设计统计量;采用N-gram算法得到候选词串列表;用基于词频和词语灵活度的方法过滤垃圾词串。实验中以微博文本作为语料来源,与已有方法相比,用户特性使得新词识别的准确率提高了11%,话题特性使准确率提高了10%,时间特性使准确率提高了13%,综合用户、话题和时间的方法使准确率提高了16%。实验结果表明:该方法中的每个特性都提高了中文网络新词识别的准确率,而且同时考虑3种特性的准确率比只考虑单一特性的高。     

中文新词识别研究概述

新词识别是中文信息处理的重要课题,但因新词产生的速度快,语法、语用灵活,词典难以及时收录等问题使新词识别成为了中文信息处理领域的难点和热点问题。新词识别研究的方法主要有规则方法、统计方法以及规则与统计相结合的方法。新词识别的规则主要有新词词性规则和新词构词模式规则。统计方法主要通过计算词的TF/IDF值、词内部概率、词的频次对比、词的临接类别等进行新词识别。最后该文总结了中文新词识别研究中存在的问题,指出未来研究的方向。     

基于词向量的情感新词发现方法

词语级的情感倾向性分析一直是文本情感计算领域的热点研究方向,如何自动识别情感新词,并判断其情感倾向性已经成为当前亟待解决的问题。首先用基于统计量的方法识别微博语料中的新词,然后利用神经网络去训练语料中词语的词向量,从语料自身挖掘出词与词之间的相关性,最后提出了基于词向量的情感新词发现方法。实验表明该方法可以有效应用于情感新词发现。     

不限领域的中文新词的识别研究

新词识别是中文信息处理领域中的一个难点,也是自然语言处理、信息检索和机器翻译等领域的一项基础研究.根据新词特点提出不限领域的基于概率统计技术和规则方法相结合的概念抽取方法,比较了规则和统计结合的方法与纯统计的新词识别方法,通过增加权重设置很好地结合了两种方案.     

一种基于噪声信道模型的汉字识别后处理新方法

利用上下文关系进行汉字识别后处理时 ,若候选字集中不含有正确字符 ,文本识别率的提高会受到很大限制。基于单字识别系统的噪声信道模型 ,文中提出一种扩充候选字集的方法 ,利用单字识别给出的候选字来推测可能正确的字 ,并将它们与识别候选字进行集成 ,得到新的候选字集。30 0套脱机手写体样本的测试表明 ,新候选字集的 5 0选平均错误率较原先的识别候选字集下降了 37.88%。脱机手写体文本 (约 8万字 )识别后处理中 ,语言模型为基于字的bigram时 ,文本平均识别率从扩充候选字之前的 93.93%提高至 95 .82 % ,错误率下降了 31.14%。     

基于条件随机场和词向量的能源政策领域新词发现

随着气候变化成为全球议题,对能源政策文件进行量化分析与研究,具有非常重要的意义。现有的中文分词技术应用在能源政策这一特定领域时,由于无法正确识别领域新词,往往很难取得令人满意的效果。针对新词发现这一问题,该文提出一种基于条件随机场(Conditional random field,CRF)和词向量的能源政策新词发现方法。利用无监督方法,在无需人工标注的情况下,提升CRF模型在特定领域的适应性。提出了种子词典的概念,通过关键词提取并辅以少量人工筛选和补充的方式,构建能源政策领域的种子词典。将种子词典和CRF模型标注结果相结合,并利用词向量筛选,完成领域新词的发现。在真实能源政策文本数据上的试验结果表明,该方法能够在较低人工成本的前提下,有效地实现能源政策领域的新词发现,进而提高中文分词在能源政策文本的表现。     

基于人工神经网络的手写数字识别

基于手写体数字的几何结构提取端点及其方向、凸点及其方向、三叉点数和四叉点数等数字特征值,运用单字单网的10个并行BP神经网络进行数字识别,达到很好的识别效果.     

基于隐马尔可夫模型的语音单字识别研究

本文针对线性模型在语音识别中的不足,进行了隐马尔可夫模型(HMM)在语音单字识别中的研究,主要对观察输出概率求解、最佳状态序列寻找、参数估计和模型参数的选择进行了探讨.     

基于统计的满文识别后处理的研究和实现

目前的技术不能使单字识别系统的识别率达到100%，单字识别系统会产生错判和拒判。因此，将满文中单词识别系统的识别信息和满文的词组信息有机的结合起来，建立满文词组和待定词集统计信息库，采用基于统计的隐马尔可夫模型的方法，利用Viterbi动态规划法求最佳路径，对满文的单字识别输出进行后处理，可以有效的提高识别系统的识别率。实验表明，单字识别系统的识别率越高，后处理的纠错能力越强。     

基于组合分类器的联机手写汉字识别

提出一种基于二级组合分类器的汉字手写体识别方法,首先提取汉字的整字特征和笔划特征;进行单字识别的过程中,GA-BP笔划分类器起着对汉字识别的主导作用,当写入汉字出现连笔、字形变化导致系统产生拒识情况时,采用隐马尔可夫整字分类器作为辅助去提高整体的识别率.     

借助音频数据的发音字典新词学习方法

针对已有的发音字典扩展方法只能从文本数据中学习新词而无法学习到音频数据中新词的问题,提出了一种基于混合语音识别系统的发音字典新词学习方法。该方法首先分别采用音节和字母音素对混合识别系统对音频数据进行集外词识别,利用系统间的互补性得到尽可能多的新词及其发音候选,然后借助感知器与最大熵模型对得到的新词及发音进行优化,降低错误率,最后实现发音字典的扩展,并利用语法语义信息完成对语言模型参数更新。基于华尔街日报(WSJ)语料库的连续语音识别实验表明:该方法可以有效学习到音频数据中的未知新词,采取的数据优化策略极大地提高了所得新词及发音的精度;在词错误率指标下,字典扩展后系统的识别性能相对基线系统提高约13.4%。     

汉字单字识别的正字法加工方式

以真假字判断任务为研究范式，考查汉字单字识别的正字法加工是否受字频、部件频率、部件数和目标字类型等因素的影响，从而探讨正字法的加工方式。结果表明：字频、部件数和目标字类型对汉字识别的正字法加工存在显著影响；部件频率对汉字正字法识别的影响不显著。结果证实，汉字单字识别的正字法加工存在两种加工方式并存的现象。     

基于循环层叠条件随机场的评价对象识别

随着微博、论坛等社交平台的兴起,如何针对观点句进行评价对象识别已经成为了自然语言处理领域研究的热点之一.传统的评价对象识别技术在一定程度上取得了不错的效果,但其在模型优化、新词覆盖度和准确率方面仍有很大不足.因此,提出一种全新的循环层叠条件随机场模型,融合基于词性与句法语义的候选评价对象抽取方法提高新词覆盖度,并采用支持向量机对评价对象进行筛选过滤以提高准确率.实验结果表明,基于循环层叠条件随机场的评价对象识别方法可以取得较好的效果.