多策略融合的俄语文本词语提取方法研究

俄语是联合国工作语言之一,是俄罗斯等多个国家的官方语言。随着“一带一路”倡议的推进和全球化进程的加快,俄语文本数据成为有关组织管理决策的重要信息来源,俄语文本挖掘也因而成为重要的管理决策支持方法。然而,俄语文本挖掘方法研究目前还远未成熟,尤其是其关键基础——俄语文本词语提取的性能较低,阻碍着俄语文本建模的准确性。因此,文章提出一种多策略融合的俄语文本词语提取方法,结合俄语词性分析、语法规则和串频统计等多种方法,自动提取包含单词和短语在内的俄语词语。在联合国平行语料库和Taiga Corpus语料库上的实验结果表明,文章提出的方法在保证高召回率的同时,达到了85%以上的高准确率,显著优于常用的n-gram方法,能够为俄语文本主题发现和文本分/聚类等文本挖掘应用提供有效的词库。     

一种改进的关联规则增量式更新算法

增量式更新算法能充分利用已挖掘出的知识来提高挖掘效率,是数据挖掘高效算法研究中一个主要方向.本文首先分析了经典的关联规则增量式更新算法FUP(Fast Updating algorithm)算法的不足,提出了一种改进的关联规则增量式更新算法IIUA(Improved Incremental Updating Algorithm),极大地降低了存储空间和挖掘时间需求,从而提高了整个关联规则挖掘的效率.     

基于项目集格及位图索引的频繁项目集发现算法

以格论及位图索引技术为基础给出了一个新的频繁项目集发现算法.1)该算法利用有向图进行一次性数据预处理,在预处理过程中将数据库预先存贮为每个结点都用一个域来记录其支持度的项目集格,从而把复杂的频繁项目集的发现问题转化为图搜索问题,提高了频繁项目集发现过程的效率.2) 支持度计算是关联规则发现中I/O及计算开销都非常大,算法引入了位图索引技术,提高了项目集支持度的计算速度.存储完整位图需要较大空间,针对该问题算法对位图进行了分块管理并对其进行了有效的编码压缩;不仅可以有效地对原始位图进行有效压缩,另外也可以在较大程度上提高支持度的计算效率.最后,对算法进行了计算实验与分析.     

Apriori算法的一种变形

关联规则是数据挖掘的主要技术之一.本文针对目前最经典的关联规则挖掘Apriori算法的局限性,提出了一种只扫描一遍事务数据库的效率较高的Apriori_Tid-1算法,并给出了一个具体的实例,最后给出了该算法的实现.     

多维频繁项集计算方法及应用

对多维关联规则中混合维关联规则数据挖掘技术进行了探索，实现了基于多维频繁项集进行多维关联规则数据挖掘的一种实用高效的方法，文中基于多维的频繁项集的挖掘算法主要分为2个步骤，并在高校学生信息系统中给予具体运用．     

一种基于关联规则的数据挖掘算法实现与应用

对Apriori算法加以改进,提出了一种更高效的关联规则挖掘算法,在扫描数据库的同时把支持每个项目的事务都标记出来,采用一种新的方法来计算候选项目集的支持度.该算法只需对源数据库进行一次扫描,就可以找出所有的频繁集,具有很高的效率.     

FP-growth算法的一种优化实现

研究工作者已经提出了许多对事务数据库中频繁模式、关联规则的挖掘算法.早期算法有Apriori算法,然而该算法利用候选项集找频繁项集,而候选项集的产生往往是非常耗时的.JianweiHan等人提出了一种改进的算法,FP-growth算法.该算法不产生候选项集,效率比Apriori算法提高了近一个数量级.在描述FP-growth算法的基础上,具体讨论了如何优化数据结构,有效的实现该算法.     

关联规则的更新

讨论了关联规则的更新问题。对关联规则的增量式更新算法——IUA进行了分析，指出了其存在的问题和出现问题的原因，提出了一种改进的关联规则更新算法-UA。对各种情况下关联规则的更新问题进行了讨论，说明了其均可以转化为数据库不变、支持度改变的情况来讨论。UA算法在充分利用原有信息的基础上，提高了算法的效率。     

一种改进的关联规则增量式更新算法

在支持度和置信度不变的情况下,随机或偶然向数据集添加数据记录会导致关联规则的变化.在FUP算法的基础上给出了一个改进的增量式更新算法,本算法在充分利用先前关联规则的基础上极大的减少了扫描原数据集的次数,与FUP算法相比极大的减少了算法运行时间,并实验验证了算法的优越性.     

基于数据流的频繁集挖掘

针对数据流特殊的数据类型,提出了一种新的数据流挖掘算法.该算法引入了一个全新的优化方法,将边界集和频繁产生集结合起来.频繁产生集是频繁集的一种无损简缩表达方式.它所包含的模式数量比频繁集所包含的模式数量小若干数量级.边界集是频繁产生模式和其他模式之间的边界,通过观察边界集的变化可以生成新的频繁产生模式.实验结果表明,该算法的性能有明显的提高.