多策略融合的俄语文本词语提取方法研究

俄语是联合国工作语言之一,是俄罗斯等多个国家的官方语言。随着“一带一路”倡议的推进和全球化进程的加快,俄语文本数据成为有关组织管理决策的重要信息来源,俄语文本挖掘也因而成为重要的管理决策支持方法。然而,俄语文本挖掘方法研究目前还远未成熟,尤其是其关键基础——俄语文本词语提取的性能较低,阻碍着俄语文本建模的准确性。因此,文章提出一种多策略融合的俄语文本词语提取方法,结合俄语词性分析、语法规则和串频统计等多种方法,自动提取包含单词和短语在内的俄语词语。在联合国平行语料库和Taiga Corpus语料库上的实验结果表明,文章提出的方法在保证高召回率的同时,达到了85%以上的高准确率,显著优于常用的n-gram方法,能够为俄语文本主题发现和文本分/聚类等文本挖掘应用提供有效的词库。     

一种改进的基于超网络的高维数据聚类算法

高维数据聚类问题是当前聚类分析研究的重点。笔者提出了一种改进的基于超网络的高维数据聚类算法。首先,将高维数据映射到一个大规模带权超网络中;其次,定义超网络中边的权重;再次,采用优化的超图划分方法划分带权超网络;最后实现高维数据聚类。这样有效过滤掉聚类中的噪声数据,避免了传统聚类方法在降维过程中产生的弊端。实验证明,该算法具有较理想的有效性和精确度。     

基于频繁项集分类统计的增量式关联规则应用

针对商业交易数据构成项目繁多、动态数据增加量大、历史数据量更大的特点,根据频繁项集的商业特征,分为新生、成熟、老化、过期4种类型并分类统计;提出了基于分类统计增量地挖掘新增业务数据中关联规则的算法,算法只需两次扫描新增数据库,无需扫描历史数据库,算法将发现的规则按照其反应的商业特征分为4种类型:新生规则、成熟规则、老化规则、过期规则,在提升规则内容识别效率的同时,强化规则特点的识别能力。     

基于踪迹挖掘的自动缺陷警报分类方法

缺陷检测一般包括静态分析与人工确认两个阶段.静态缺陷检测工具报告大量警报,但是主要的警报确认工作仍然由人工完成,这是一件费时费力的工作.巨大的确认投入,会导致测试人员和管理人员拒绝使用该静态检测工具.为了辅助警报确认工作,提出一种基于警报踪迹挖掘的警报分类方法,使用该方法挖掘警报踪迹进而将代码结构相似警报分为一类,使得分类后的最终警报报告更加易于人工确认.实验表明,该方法能够在较大规模的软件测试过程中分类测试结果,提高警报确认效率.     

基于数据流频繁模式挖掘的入侵检测模型

计算机网络入侵通常具有高频度特性,因此,识别是否正常访问,对数据流中重复元素的挖掘,给出频度指标,是一种重要的依据.提出一种基于数据流频繁模式的改进型AFP算法,该算法采用滑动窗口树技术,单遍扫描数据流及时捕获网络上的最新模式信息,并将该算法应用在入侵检测模型中正常数据和异常数据的在线挖掘.解决了有限存储和无限数据流的矛盾.实验结果表明,该模型有较高的报警率和较低的误报率.     

基于时空序列模式匹配的兴趣点推荐方法

兴趣点(point of interest,POI)是地理空间信息的重要组成部分,在基于位置的信息服务中被广泛使用.针对用户对兴趣点访问所产生的时空序列,利用闭合序列模式挖掘方法分析频繁模式,在此基础上根据用户当前所处位置或最近访问序列,通过序列分析进行时空序列模式匹配,并按照序列的匹配程度给出兴趣点推荐列表.实验结果...     

数据流时间窗口中闭频繁项集的在线挖掘

在数据流闭频繁项集挖掘过程中,常忽略历史模式对挖掘结果的影响,并采用一种结构来标记闭频繁项集的类型,导致算法的效率不高.为此提出一种挖掘数据流时间窗口中闭频繁项集的方法NEWT-moment.该方法能在单遍扫描数据流事务的条件下完整地记录模式信息.同时,NEWT-moment提出的剪枝方法能很好地降低滑动窗口树F-tr...     

一种挖掘不确定性数据频繁项集的方法

该文探讨挖掘不确定性数据频繁项集,在Carson Kai-Sang Leung等人提出的一种基于树的UFPgrowth算法的基础上进行改进,提出新算法-UFP-growthT.实验表明,该算法可以有效地挖掘不确定性数据的频繁项集,且拥有高效性和伸缩性.改进后的算法在一定程度上减小了UFP-tree的大小,加快了挖掘过程...     

基于不确定数据的频繁项查询算法

频繁项的查询是一项非常重要的技术,但在新兴的不确定数据领域却是一项新的研究课题.基于不确定数据,提出了一种新的频繁项定义,并提出了两条过滤规则,可以有效地减少检测数据的数量.最后提出高效的频繁项查询算法UFI,该算法通过找到概率求解中的递推规律,极大提高了单点检测效率.实验结果显示:提出的方法可以有效地减少候选集,降低...     

基于FP-tree最大频繁模式超集挖掘算法

数据挖掘应用中的最大频繁项集挖掘算法大多存在候选项目集冗余问题,造成时间和空间的浪费.针对此问题,通过构造条件FP-tree,对不符合要求的项目进行剪除并对MFIT算法进行改进,提出一种基于FP-tree的最大频繁模式超集挖掘算法.此算法无需产生大量的候选集,同时减少数据集扫描次数,降低数据库遍历时间,提高算法效率.实验证明,此算法在降低候选项目集冗余度的同时有效减少了算法运行时间.