共查询到20条相似文献,搜索用时 31 毫秒
1.
随着互联网和社会的飞速发展,新词不断涌现。识别和整理这些新词语,是中文信息处理中的一个重要研究课题。提出一种新词识别方法,该方法利用基于PAT-Array的重复字符串抽取候选串,提高了新词的召回率。并在此基础上分析新词内部模式,添加了垃圾串过滤机制。单字串过滤主要是运用垃圾词典的方法,多字词模式新词的确定是利用改进的互信息与独立成词概率结合的方法。由此,大幅度提高了新词识别的准确率。 相似文献
2.
中文搜索引擎中的分词技术研究 总被引:1,自引:0,他引:1
分词模块是中文搜索引擎的一个重要组成部分,针对分词提出了一种最短路径与共首字歧义词概率的比较相结合的方法,首先寻找最短路径.如果最短路径不只一条,就比较共首字歧义词概率,选择概率较大的一条路径,效果非常明显.对未登录词识别提出了一种改进的移动窗口算法,在单字序列中移动窗口,并记录状态来寻找新词,能够识别大部分的未登录词. 相似文献
3.
提出了一种基于改进位置成词概率的新词识别算法.该算法在位置成词概率的基础上,结合新词内部模式的特征提出了改进的位置成词概率,然后再综合互信息、邻接类别等统计量对新词进行识别.采用小说语料进行测试,实验结果表明该算法在一定程度上能有效提取新词. 相似文献
4.
目前的技术不能使单字识别系统的识别率达到100%,单字识别系统会产生错判和拒判.因此,将满文中单词识别系统的识别信息和满文的词组信息有机的结合起来,建立满文词组和待定词集统计信息库,采用基于统计的隐马尔可夫模型的方法,利用Viterbi动态规划法求最佳路径,对满文的单字识别输出进行后处理,可以有效的提高识别系统的识别率.实验表明,单字识别系统的识别率越高,后处理的纠错能力越强. 相似文献
5.
针对目前中文分词技术主要依赖于常用词词典,而词典对未登录词识别率较低的问题,提出一种用双词典识别未登录词的方法,即构建一个常用词词典和一个单字词词典,二者相互结合进行分词,有效解决了对未登录词识别效率偏低的问题.实验表明,采用构建单字词表法对未登录词的识别准确率可达90%以上. 相似文献
6.
提出了一种基于支持向量机的中文新词识别算法.该算法结合新词内部模式以及词长等提出了基于词内部模式的改进字符位置似然概率,并综合新词的邻接类别等特征对新词进行识别.经过小说语料测试,实验结果表明:该算法的微F1值为0.583 3,宏F1值为0.775 7,分别比不考虑词内部模式的基准算法提高约63%和30%. 相似文献
7.
情感词典作为情感分析任务中的一项基础资源,是观点发现及情感极性判断的重要依据。随着网络新词的大量出现,情感新词的抽取成为一个亟待解决的问题。针对这一问题提出基于边界特征的情感新词的提取方法。该方法利用skip-gram模型挖掘情感词的边界特征、构建边界特征集,利用边界特征集提取情感新词候选集,通过bigram搭配、序列模式等方法对情感新词候选集进行过滤,根据候选串的频次、与其搭配的边界特征在语料中的分布情况对候选串进行评分。在微博语料上的实验结果显示,该方法对情感新词识别的准确率与候选串得分正相关,当候选串得分为11时准确率为83.33%。实验证明,基于边界特征的情感新词的提取方法能够有效地识别大规模语料中的情感新词。 相似文献
8.
《西安交通大学学报》2015,(12)
针对已有方法识别出的网络中文新词生命周期短且很快不再为人们所用的问题,提出了一种基于信息传播特性的中文新词发现方法。该方法结合"新词传播范围广、持续时间长"的特点,从用户覆盖率、话题覆盖率和新词生命周期3个方面设计统计量;采用N-gram算法得到候选词串列表;用基于词频和词语灵活度的方法过滤垃圾词串。实验中以微博文本作为语料来源,与已有方法相比,用户特性使得新词识别的准确率提高了11%,话题特性使准确率提高了10%,时间特性使准确率提高了13%,综合用户、话题和时间的方法使准确率提高了16%。实验结果表明:该方法中的每个特性都提高了中文网络新词识别的准确率,而且同时考虑3种特性的准确率比只考虑单一特性的高。 相似文献
9.
10.
基于词向量的情感新词发现方法 总被引:1,自引:0,他引:1
词语级的情感倾向性分析一直是文本情感计算领域的热点研究方向,如何自动识别情感新词,并判断其情感倾向性已经成为当前亟待解决的问题。首先用基于统计量的方法识别微博语料中的新词,然后利用神经网络去训练语料中词语的词向量,从语料自身挖掘出词与词之间的相关性,最后提出了基于词向量的情感新词发现方法。实验表明该方法可以有效应用于情感新词发现。 相似文献
11.
新词识别是中文信息处理领域中的一个难点,也是自然语言处理、信息检索和机器翻译等领域的一项基础研究.根据新词特点提出不限领域的基于概率统计技术和规则方法相结合的概念抽取方法,比较了规则和统计结合的方法与纯统计的新词识别方法,通过增加权重设置很好地结合了两种方案. 相似文献
12.
《南京理工大学学报(自然科学版)》2021,45(1)
随着气候变化成为全球议题,对能源政策文件进行量化分析与研究,具有非常重要的意义。现有的中文分词技术应用在能源政策这一特定领域时,由于无法正确识别领域新词,往往很难取得令人满意的效果。针对新词发现这一问题,该文提出一种基于条件随机场(Conditional random field,CRF)和词向量的能源政策新词发现方法。利用无监督方法,在无需人工标注的情况下,提升CRF模型在特定领域的适应性。提出了种子词典的概念,通过关键词提取并辅以少量人工筛选和补充的方式,构建能源政策领域的种子词典。将种子词典和CRF模型标注结果相结合,并利用词向量筛选,完成领域新词的发现。在真实能源政策文本数据上的试验结果表明,该方法能够在较低人工成本的前提下,有效地实现能源政策领域的新词发现,进而提高中文分词在能源政策文本的表现。 相似文献
13.
一种基于噪声信道模型的汉字识别后处理新方法 总被引:3,自引:0,他引:3
利用上下文关系进行汉字识别后处理时 ,若候选字集中不含有正确字符 ,文本识别率的提高会受到很大限制。基于单字识别系统的噪声信道模型 ,文中提出一种扩充候选字集的方法 ,利用单字识别给出的候选字来推测可能正确的字 ,并将它们与识别候选字进行集成 ,得到新的候选字集。30 0套脱机手写体样本的测试表明 ,新候选字集的 5 0选平均错误率较原先的识别候选字集下降了 37.88%。脱机手写体文本 (约 8万字 )识别后处理中 ,语言模型为基于字的bigram时 ,文本平均识别率从扩充候选字之前的 93.93%提高至 95 .82 % ,错误率下降了 31.14%。 相似文献
14.
基于人工神经网络的手写数字识别 总被引:7,自引:0,他引:7
基于手写体数字的几何结构提取端点及其方向、凸点及其方向、三叉点数和四叉点数等数字特征值,运用单字单网的10个并行BP神经网络进行数字识别,达到很好的识别效果. 相似文献
15.
本文针对线性模型在语音识别中的不足,进行了隐马尔可夫模型(HMM)在语音单字识别中的研究,主要对观察输出概率求解、最佳状态序列寻找、参数估计和模型参数的选择进行了探讨. 相似文献
16.
目前的技术不能使单字识别系统的识别率达到100%,单字识别系统会产生错判和拒判。因此,将满文中单词识别系统的识别信息和满文的词组信息有机的结合起来,建立满文词组和待定词集统计信息库,采用基于统计的隐马尔可夫模型的方法,利用Viterbi动态规划法求最佳路径,对满文的单字识别输出进行后处理,可以有效的提高识别系统的识别率。实验表明,单字识别系统的识别率越高,后处理的纠错能力越强。 相似文献
17.
《西安交通大学学报》2016,(6)
针对已有的发音字典扩展方法只能从文本数据中学习新词而无法学习到音频数据中新词的问题,提出了一种基于混合语音识别系统的发音字典新词学习方法。该方法首先分别采用音节和字母音素对混合识别系统对音频数据进行集外词识别,利用系统间的互补性得到尽可能多的新词及其发音候选,然后借助感知器与最大熵模型对得到的新词及发音进行优化,降低错误率,最后实现发音字典的扩展,并利用语法语义信息完成对语言模型参数更新。基于华尔街日报(WSJ)语料库的连续语音识别实验表明:该方法可以有效学习到音频数据中的未知新词,采取的数据优化策略极大地提高了所得新词及发音的精度;在词错误率指标下,字典扩展后系统的识别性能相对基线系统提高约13.4%。 相似文献
18.
提出一种基于二级组合分类器的汉字手写体识别方法,首先提取汉字的整字特征和笔划特征;进行单字识别的过程中,GA-BP笔划分类器起着对汉字识别的主导作用,当写入汉字出现连笔、字形变化导致系统产生拒识情况时,采用隐马尔可夫整字分类器作为辅助去提高整体的识别率. 相似文献
19.
以真假字判断任务为研究范式,考查汉字单字识别的正字法加工是否受字频、部件频率、部件数和目标字类型等因素的影响,从而探讨正字法的加工方式。结果表明:字频、部件数和目标字类型对汉字识别的正字法加工存在显著影响;部件频率对汉字正字法识别的影响不显著。结果证实,汉字单字识别的正字法加工存在两种加工方式并存的现象。 相似文献
20.
霍立平 《兰州理工大学学报》2018,(1)
随着微博、论坛等社交平台的兴起,如何针对观点句进行评价对象识别已经成为了自然语言处理领域研究的热点之一.传统的评价对象识别技术在一定程度上取得了不错的效果,但其在模型优化、新词覆盖度和准确率方面仍有很大不足.因此,提出一种全新的循环层叠条件随机场模型,融合基于词性与句法语义的候选评价对象抽取方法提高新词覆盖度,并采用支持向量机对评价对象进行筛选过滤以提高准确率.实验结果表明,基于循环层叠条件随机场的评价对象识别方法可以取得较好的效果. 相似文献