面向android手机平台的网络恶意数据流挖掘研究

由于android手机平台网络中数据流众多,以往研究出的面向android手机平台网络恶意数据流挖掘方法,均无法对网络恶意数据流进行高效、准确挖掘。故提出一种挖掘效率和挖掘准确性均较高的android手机平台网络恶意数据流挖掘方法。网络恶意数据流通常均有自动收发行为,所提方法利用概率分类法和邻近值法对android手机平台网络数据流进行预分类,使具有自动收发行为的网络数据流优先进行网络恶意数据流挖掘,提高挖掘效率和挖掘准确性。该挖掘方法将网络数据流划分成多段行为向量,对具有自动收发行为的网络数据流和不具有自动收发行为的网络数据流采取不同精度的挖掘操作,输出网络恶意数据流,存储网络非恶意数据流,供下次挖掘使用。经实验验证可知,所研究的方法挖掘效率高、挖掘准确性高。     

相联规则的粗熵挖掘方法及其在肇事逃逸侦破中的应用

针对传统数据挖掘算法在处理包含不确定性因素的多源信息场景中存在的因掺杂额外的人为因素而导致误差的缺陷,提出了一种基于粗糙熵的相联规则的挖掘方法,并给出了该方法的评析途径·将研究的方法应用于公安系统的交通肇事逃逸案的侦破中,从历史数据中挖掘出了相联规则,为公安系统对交通肇事逃逸案的侦破提供了一种高效和实用的手段·应用范例验证了该方法的有效性·     

复杂属性环境下NoSQL分布式大数据挖掘方法研究

由于复杂属性环境下的大数据挖掘工作需要涉及到对大数据的分析、清理、转换和集成等一系列操作,导致以往提出的复杂属性环境下大数据挖掘方法无法同时拥有较强的准确性、稳定性和实用性,故提出复杂属性环境下NoSQL分布式大数据挖掘方法。所提方法利用NoSQL数据库的物理分散逻辑,在复杂属性环境下构建NoS QL数据库,给出挖掘条件,对数据库中大数据的特征、位置、方向和长度属性的关联性进行分布式挖掘,经由挖掘公式给出挖掘结果。利用挖掘聚类公式对大数据的特征、位置、方向和长度属性的关联性挖掘结果进行聚类,获取所提方法的最终挖掘结果。经实验分析可知,所提方法在挖掘工作中具有较强的准确性、稳定性和实用性。     

基于非随机初始种群遗传算法的分类规则挖掘

数据挖掘中分类问题一直是数据挖掘领域中研究的热点问题,先后提出了各种分类算法;其中遗传算法被认为是一种高效的分类算法.但是,传统的GA存在着易于陷入局部最优,致使得到的分类规则概括性不强的问题.提出了一种基于非随机初始种群的遗传算法分类规则挖掘算法.算法利用均匀种群方法生成非随机的初始种群,并通过均匀算子确保连续迭代过程中种群的多样性,从而达到防止GA早熟的目的.采用两个标准的公共领域的数据集验证了算法的有效性.实验结果表明,该算法能消除遗传算法在分类挖掘任务中收敛于局部最优的局限性,且能快速挖掘出易于理解的分类规则,提高对知识的理解力.     

属性受限状态下低维冗余聚类数据快速挖掘方法研究

针对传统数据挖掘方法存在挖掘精度低、速度慢、占用内存多而不适于实际应用等缺点,提出一种属性受限状态下低维冗余聚类数据挖掘方法。通过计算低维冗余聚类数据的支持度,把低维冗余聚类数据挖掘问题转变成频繁项集挖掘问题;利用支持度与可信度对关联规则产生结果进行评价,并添加属性对其进行限制,以减少无用规则的产生。通过属性位复用方法建立候选区域,产生关联规则集,对符合关联规则集的低维冗余数据进行聚类,实现对其挖掘。实验结果表明,通过所提方法对属性受限状态下低维冗余数据进行挖掘,挖掘速度快,结果可靠。     

基于三段式编码GA的连续属性关联规则挖掘方法

如何有效地从具有连续属性的数据中挖掘关联规则,是目前数据挖掘领域的一个研究热点。论文基于遗传算法,提出了一个连续属性关联规则挖掘方法。在该方法中,首先采用三段式编码将连续属性离散化、属性约简和规则提取集成在一起,然后将小生境引入到遗传算法中,以避免早熟、提高挖掘效率。实验表明,该方法是有效的。     

基于滑动窗口的时间序列离群数据挖掘

离群数据挖掘是数据挖掘中的重要内容.本文针对时间序列数据进行离群数据挖掘方法的研究.在引入了基于局部离群点因子的离群数据挖掘方法与时间序列上滑动窗口基础上,将二者相结合,提出了基于滑动窗口的时间序列离群数据挖掘算法,并将算法应用于海表温度数据得到海表温度的异常之处.     

面向历史轨迹的多因素驾驶偏好挖掘算法

提出一种新型基于窗口的数据挖掘算法,以用来挖掘所定义的多因素驾驶偏好.具体地,定义了多因素之间的两两权衡来刻画驾驶偏好;提出了一种用于估算偏好分布的挖掘算法,并根据假设引入了椭圆对挖掘算法进行了优化.结果证明,该方法能够发现本文所定义的多因素驾驶偏好,并且算法有效、快速,具有较好的扩展性.     

一种基于粗糙集理论的XML数据挖掘模型

随着大量的XML数据的出现,给数据挖掘领域提出了新的挑战。传统数据挖掘是基于关系数据库和数据仓库的,如何挖掘出XML形式的数据成为研究的热点问题。由于XML文档是一种半结构化数据,使用传统的数据挖掘方法对XML数据进行挖掘是不适用的。提出了一种基于粗糙集理论的XML挖掘模型,并进行了实验,结果表明利用粗糙集理论对XML数据挖掘是可行的。     

一种多层次分布式网络数据挖掘方法的改进研究

针对传统数据挖掘方法时间开销大的问题,提出一种新的多层次分布式网络数据挖掘改进方法,给出多层次分布式网络结构。介绍了常用的随机扰动数据挖掘方法,通过概率歪曲技术完成对多层次分布式网络中原始数据集的扰乱处理,对项集的实际支持度进行重构,经概率转换获取数据挖掘结果。随机扰动方法具有时间效率低的弊端,在时间复杂度要求较低的情况下,通过XMASK方法对随机扰动方法进行改进;在时间复杂度要求较高的情况下,给出相应的改进过程。对提出的多层次分布式网络数据挖掘方法进行实验测试,结果表明,该方法准确性高、挖掘时间短、效果优。     

Mining Frequent Closed Itemsets in Large High Dimensional Data

Large high-dimensional data have posed great challenges to existing algorithms for frequent itemsets mining. To solve the problem, a hybrid method, consisting of a novel row enumeration algorithm and a column enumeration algorithm, is proposed. The intention of the hybrid method is to decompose the mining task into two subtasks and then choose appropriate algorithms to solve them respectively. The novel algorithm, i.e., Intertransaction is based on the characteristic that there are few common items between or among long transactions. In addition, an optimization technique is adopted to improve the performance of the intersection of bit-vectors. Experiments on synthetic data show that our method achieves high performance in large high-dimensional data.     

产品评论挖掘可视化实验平台的开发

针对目前研究人员已经提出多种中文评论挖掘方法,缺乏统一的评论实验数据集的现状,首先从知名网站上随机抽取手机评论,经过垃圾去除、手工标注,最终构造出手机领域的评论挖掘实验数据集.基于实验数据集构造出手机领域的情感词库,并利用模式匹配方法建立了产品特征粒度树,开发出一个可视化平台,研究人员可以直接用其检验挖掘方法的效果,也可以对不同的挖掘方法进行客观比较.     

多层次规则挖掘的约略集方法

约略集理论是一种能处理数据中不确定和噪音的有效数学工具,是数据挖掘的重要方法．结合数据分类层次,提出了利用约略集理论挖掘多层次规则的方法,挖掘过程包含约减的求解、等价类的构造、差别矩阵的建立、规则的挖掘４个阶段,并举例说明了多层次规则的挖掘过程．     

一种采用数据挖掘技术的教学质量分析评价系统

基于多维立方体的数据挖掘思想和方法, 提出一种定量分析和定性分析相结合的教学质量综合测评方法, 并应用数据仓库和联机分析处理技术构建一种“平面”和“立体”相结合的教学质量综合测评体系, 建立多维综合测评联机分析挖掘模型, 并应用于高校教学质量分析评价体系中.     

多粒度时间序列中模糊规则的提取

介绍了一种从多粒度时间序列中提取模糊规则的数据挖掘方法,该方法在时间序列中引入多重时间粒度,以模糊规则的形式给出数据挖掘的结果,建立多粒度时间序列的数学模型,并对提取模糊规则中所涉及的一些基本概念作出定义,在此基础上,给出数据挖掘的具体算法,通过实验证明了该挖掘算法的有效性。     

分布协作式对等网络中大规模空间数据挖掘方法研究

分布协作式对等网络较为复杂,而空间数据规模大,当前数据挖掘方法很难实现对其的准确挖掘。为此,提出一种新的分布协作式对等网络中大规模空间数据挖掘方法,给出分布协作式对等网络的GIS应用架构,在此基础上对分布协作式对等网络进行无向环路遍历,获取分布协作式网络的全部环路,挖掘出目的空间数据所属社区。通过痕迹系数判断目的空间数据流是否经过该社区,如果目标空间数据流经过该社区,则通过计算相关系数获取某个时刻目标空间数据流在社区中的位置,从而实现大规模空间数据挖掘。实验结果表明,采用所提方法对分布协作式对等网络中大规模空间数据进行挖掘,有很高的挖掘有效性,而且挖掘效率和挖掘精度均较高。     

体操运动员平衡木直体后空翻动作数据抗干扰挖掘

针对当前数据挖掘方法挖掘精度低、抗干扰能力差,挖掘效率低等问题,提出一种新的体操运动员平衡木直体后空翻动作数据抗干扰挖掘方法。给出体操运动员平衡木直体后空翻动作完成过程,利用体操运动员平衡木动作数据的预测值和实际值间的误差去除干扰数据。依据关联系数矩阵与差异性系数矩阵求出体操运动员平衡木直体后空翻动作数据集之间的关联映射,结合关联映射确定数据集间的关联规则,计算出同一空间下平衡木直体后空翻动作数据集之间的关联因子,获取两个数据集的挖掘公式,从而实现数据的抗干扰挖掘。实验结果表明,所提方法具有很高的挖掘精度和挖掘效率。     

分布式数据挖掘中的最优K相异性取样技术

为了弥补基于集中式处理的分布式数据挖掘方法的不足,有效地实施分布式数据挖掘(DDM)任务,需要一种能从分布式数据源中获取多样化代表性取样集的技术.提出了一种新的适用于分布式数据挖掘环境的数据取样算法(OptiSim-DDM方法),算法核心是基于最优K相异性进行数据选择,采用移动Agent技术和扩展的最优K相异性数据多样化代表性子集选择方法,能在各分布式数据场地中轮转选择出全局数据集的多样化代表性取样集.该方法通过降低所挖掘的数据集的数据规模来降低数据挖掘算法的时空复杂度,降低网络通讯代价,提高数据挖掘的执行效率,适合于各场地数据是互相关联和互相依赖的分布式数据挖掘任务.实验结果证实该方法是可行、有效的.     

数据挖掘工具和应用中的问题

基于国内外的最新研究成果对数据挖掘技术的工具和方法论进行了综述,提供了数据挖掘方法的基本流程,对目前比较成熟的挖掘工具进行了介绍和应用性能上的比较分析,为用户建议了一条为什么要挖掘、挖掘什么、怎样挖掘的路子,从而为此技术的研究和推广应用起到了积极的作用·     

大规模数据库中非显著特征动态数据实时挖掘技术研究

从大规模数据库中挖掘非显著性特征数据时,容易产生大量数据通信和中间数据,存在大量交集操作,影响挖掘实时性。为此,提出一种新的基于Hadoop分布式架构的非显著性特征数据实时挖掘方法。对数据显著度进行检测,提取非显著性特征;搭建Hadoop分布式架构硬件结构,按照非显著性特征数据挖掘的特性和功能,建立Hadoop分布式架构非显著性特征数据挖掘软件架构;包括交互层、应用层、非显著性特征数据挖掘层和分布式计算层。把大数据集分割为若干数据块,将数据块分配至所有计算节点,依据非显著性特征进行并行计算,将map阶段的本地输出结果合并在一起,降低节点间数据交换量。通过reduce函数把所有计算节点的临时文件合并为垂直项集,求出项支持度。当无更多频繁项集的数据输出时,即可得到非显著性特征数据。实验结果表明,所提方法挖掘结果可靠,实时性强。