基于敏感元组的隐私数据保护方法

针对现有k-匿名隐私保护方法的缺点,提出了3种基于敏感元组的隐私数据发布方法.首先,通过定义敏感元组,设计了只保护隐私信息的朴素敏感元组匿名方法(NSTAM).然后,在引入敏感元组密度的基础上,提出了一种扩展的敏感元组保护方法(e-STAM);该方法通过对敏感元组进行mk-匿名运算,引入(1-m)k个非敏感元组,并同等概化引入的非敏感元组,使得匿名后每个分组中的敏感元组密度满足用户设定的阈值m.最后,针对实际应用中发布数据的敏感度差异,引入了加权敏感元组密度概念,并设计了加权的敏感元组数据保护方法(WSTAM);该方法通过对敏感值和敏感元组赋予不同的权重,实现对敏感元组的区别保护.理论分析和实验结果表明,这3种算法能够提高发布数据的精度,保证敏感数据的安全度,因此是有效可行的.     

一种物化Web视图的在线选择算法

建立了一个考虑更新代价的Web视图置换测度模型,并以此为基础,提出一种物化Web视图在线选择算法DCR.该算法在简单的缓存算法基础上引入了选择置换机制, 通过监测提交的用户查询, 决定是否将其结果予以保存, 必要时依据置换测度值的大小进行置换, 实现Web视图物化总量的控制, 防止视图过分物化, 以降低动态缓存管理、索引和检索的开销.同时可结合适当的维护方式, 提高更新效率, 避免频繁的更新对查询性能产生太大的影响, 使整个算法更具适用性. 实验表明, 在查询集较大、数据源更新比较频繁的场合, DCR算法可以降低视图检索开销, 并可通过机会更新有效减少了失效视图的数量,使算法在用户查询响应性能方面显示出较大的优势.     

DMVR:一种基于Cache的动态物化视图置换算法

采用硬盘cache机制实现的物化视图选择算法具有良好的动态适应能力,能够根据用户查询的变化即时地进行物化视图集的调整,但这类算法都是基于内存机制的简单移植,未考虑物化视图从硬盘回读的代价,在代价模型构建方面存在不足,为此提出一种基于cache的动态物化视图置换算法DMVR,其具有严格的数学模型,可以很好地适用于物化视图的动态选择与调整.同时为了适应系统负荷率较高的情况,又提出了DMVR的改进算法DMVR-IDLE,以保证高频度查询条件下数据仓库对用户查询仍具有较好的响应速度.实验表明DMVR算法与DMVR-IDLE算法是有效可行的.     

分布式数据挖掘中的最优K相异性取样技术

为了弥补基于集中式处理的分布式数据挖掘方法的不足,有效地实施分布式数据挖掘(DDM)任务,需要一种能从分布式数据源中获取多样化代表性取样集的技术.提出了一种新的适用于分布式数据挖掘环境的数据取样算法(OptiSim-DDM方法),算法核心是基于最优K相异性进行数据选择,采用移动Agent技术和扩展的最优K相异性数据多样化代表性子集选择方法,能在各分布式数据场地中轮转选择出全局数据集的多样化代表性取样集.该方法通过降低所挖掘的数据集的数据规模来降低数据挖掘算法的时空复杂度,降低网络通讯代价,提高数据挖掘的执行效率,适合于各场地数据是互相关联和互相依赖的分布式数据挖掘任务.实验结果证实该方法是可行、有效的.     

面向变电设备金属锈蚀检测的分层嵌套标注方法

金属锈蚀对变电设备会造成持续性的破坏,形成安全隐患.基于深度学习的金属锈蚀自动检测方法是目前一种可行的方法.然而金属锈蚀形状的不规则性和可拆分性导致在训练样本标注时,标注者面临很多歧义,存在难以实现标注过程标准化和标注结果一致性的问题.为此,提出一种新的训练样本分层嵌套标注方法.首先,采用较大的矩形框对锈蚀区域进行大面...     

一种时序数据局部相关对象聚类算法

针对高维时序数据中局部相关模式的聚类问题,建立了一种基于相关子模式的spCluster模型,讨论了该模型与平均平方残值的关系.并以此模型为基础,提出了适用于时序数据的确定性双聚类算法sp-TSC,该算法首先利用spCluster模型将局部相关的数据对象符号化,然后将字符序列插入到泛化后缀树中,利用后缀树的性质避免了穷举局部相关子模式的各种组合,有效减小了搜索空间,从而可以在数据矩阵尺寸的线性时间内发现全部最大δ-spCluster.理论分析和实验表明,该算法是高效可行的.     

Outlier-DivideConquer：近似聚集查询中离群分治取样算法

取样是一种通用有效的近似技术,利用取样技术进行近似聚集查询处理是决策支持系统和数据挖掘实现技术中的常用方法.如何正确有效地给出近似查询结果并最小化近似查询误差是近似查询处理的关键和目标.在深入研究近似聚集查询取样方法的基础上,本文提出了一个有误差确界且只需单遍扫描数据集的离群分治取样Outlier-DivideConq...     

在线更新物化Web视图

提出一种基于异步更新和延迟更新相结合的算法ADUA,其中异步更新机制充分利用系统的空闲时间对尽可能多的失效视图进行刷新,对那些没有得到及时更新而被查询的物化视图,则利用延迟更新进行处理而确保查询的时新性.ADUA算法不但可保证数据的时新性,而且通过对系统资源合理的调度,可提高算法在不同负荷条件下的适应能力,进一步降低更新开销对查询响应速度的影响,使Web视图的物化效益得以充分发挥.     

基于不确定图的最可靠最大流的改进算法

针对网络规模和稠密度的增大最可靠最大流SDBA算法性能下降较快的不足,提出了基于概率和割集双过滤的状态空间划分算法DF-SDBA.首先,在状态空间划分过程中使用概率约束,针对每一个待处理的区间,筛选掉下界分布概率值小于当前最可靠最大流分布的未处理区间,有效地减少了算法迭代的次数;然后,针对不确定的区间使用割集约束,即在区间上界对应的子图中求出最大流,同时求出最小割集,根据最小割集中的边必须都出现在合格子区间上界向量中这一规则,对待划分的子区间进行筛选,从而进一步减少了划分区间的数量.实验结果表明,相对于SDBA算法,DF-SDBA算法有效地减少了需要划分的区间,很大程度上克服了网络规模和稠密度对算法性能的影响,具有显著的性能优势,有效地提高了算法的适用性.     

一种大规模高维数据集的高效聚类算法

大规模高维数据集的聚类算法已成为当前聚类研究的热点,由于高维的原因,聚类往往隐藏在数据空间的某些子空间中,传统的聚类算法无法获得有意义的聚类结果.此外,高维数据中含有的大量的随机噪声也会带来额外的效率问题.为了解决以上问题,该文在CLIQUE算法的基础上提出了一种基于最优区间分割和数据集划分的聚类算法—OpCluster,并使用仿真数据对该算法加以验证,实验结果表明,OpCluster对大规模高维数据集具有很好的聚类效果.