基于网格分组和属性权值的相似重复记录识别算法

针对在处理海量数据时,传统的相似重复记录识别方法具有检测效率不高、检测精度较低等缺陷,提出了一种基于网格分组和属性权值的相似重复记录检测算法。该算法采用分而治之的思想,使用网格法将海量数据进行分组,并为各属性设立相应的权值,然后进行相似重复记录的识别。理论分析和实验表明,网格分组有效减少了记录之间的比对次数,基于属性综合权值的方法更加准确反映各属性对记录的贡献度,两者结合能够有效解决大数据的相似重复记录的识别问题。     

融合正域及边界质量的实域属性约简方法

基于邻域关系提出一种综合考虑正域和边界数据的属性约简方法.该方法利用邻域关系对数据进行离散化处理,通过定义基于邻域的正域属性重要度、边界属性重要度和邻域综合属性重要度概念,设计一种新的启发式属性简约算法.该算法从空约简集出发,利用邻域属性重要度启发式搜索属性空间以扩展约简属性集,理论分析和实验表明该算法有效可行.     

基于遗传算法和变精度粗糙集的离散化算法

目前常用的离散算法多为单属性离散化算法.利用该类算法对多维连续属性进行离散化时,逐次对单个属性进行离散化,割裂了多维属性之间的关系.基于此提出了一种基于遗传算法和变精度粗糙集的多属性离散化算法.该算法基于变精度粗糙集所具有的较好数据分类容错和抗噪能力,通过变精度粗糙集近似分类精度建立遗传算法适宜度评价函数,并利用遗传算法在多维连续属性候选断点集上寻找最优断点子集.基于UCI数据集比较了所提算法与多种常用的离散化算法的差异,实验结果表明,该算法可以获得相对较好的离散化效果.     

基于Skowron分明矩阵的有效属性约简算法

为降低基于Skowron分明矩阵属性约简算法的复杂度,提出了简化分明矩阵及其相应属性约简的定义,并证明了基于简化分明矩阵的属性约简与基于原分明矩阵的属性约简等价.在简化决策表的基础上,定义了一个函数,该函数能度量条件属性在简化分明矩阵中出现的频率,并给出了计算该函数的快速算法,其时间和空间复杂度均为O(|U/C|).用该函数设计了一个有效的基于原分明矩阵属性约简算法,算法的时间复杂度降为O(|C||U|)+O(|C|2|U/C|),空间复杂度降为O(|U|);并用实例证明了算法的有效性.     

一种改进的多属性系统结构分析模型

为减少系统结构分析中的主观因素影响及模型计算量,提出一种改进的多属性系统结构分析模型。采用由要素到属性的分析思路,区分要素/属性的类别。通过影响度"合成"和贡献度"分解"计算要素/属性的影响程度。对通信网络系统结构的实例分析表明,该模型能够定量、合理地给出各网系/指标的贡献度和关联度,具有一定的客观性和可行性。     

基于粗糙集和证据理论的决策规则提取

提出一种基于粗糙集和证据理论的两阶段决策规则提取算法, 该算法首先利用粗糙集中属性缩减的思想, 找出每条规则中的重要条件属性集合, 然后再基于证据理论中证据结合的思想进一步去掉重要条件属性集中的冗余条件属性, 从而得到最终的决策规则. 所给算法简化了属性集的约简, 对高维数据也是可行的. 实验结果表明, 利用该算法能够挖掘出高质量的决策规则.     

一种基于属性依赖的属性约简算法

针对现有属性约简算法存在的问题,利用信息论和粗糙集理论,提出了基于属性依赖的属性约简算法,该算法不用求核.首先利用单个条件属性与决策属性的依赖度来选择条件属性,取与决策属性依赖度大的属性,计算完毕后,将得到的条件属性两两之间进行依赖度计算,删除冗余属性,最后得到条件属性的约简.理论分析及实验结果表明该算法具有较好的约简效果及更高的运行效率.     

一种基于相对粒度的不完备决策表约简算法

为有效地从不完备决策表中获取最小相对约简,提出了一种基于相对粒度的不完备决策表约简算法.该算法通过分析研究知识的相对粒度在属性约简过程中的变化趋势,并基于属性约简定理,尝试通过不断向核属性集中增加属性的方法,从不完备决策表中获取最小相对约简.最后通过实例验证了该算法的有效性.     

基于改进属性约简的粗核聚类算法

核聚类算法是一种能够处理样本间差异微弱的有效聚类算法.以粗糙集理论为基础,将基于属性重要度的属性约简算法应用到核聚类算法中,提出一种新的聚类改进算法,由此可以得到高准确率低复杂度的良好结果.该算法在使用核函数对样本优化前,首先用基于属性重要度的约简算法对样本属性进行处理,同时引入信息熵来改进约简算法,从而删除冗余属性得...     

基于信息熵属性约简的矩阵方法

给出基于信息熵的属性约简的矩阵表示,由此设计一个新的基于信息熵的属性约简算法,并用实例验证算法的可行性.该算法比较直观,容易理解,而且所占用的辅助空间少.