基于MapReduce的C-Cubing并行算法

封闭立方体计算的主要任务是在生成一个数据单元时,判断其是否封闭。针对该问题,C-Cubing是新近提出的一种有效的方法,不同以往基于输出或基于元组的方法,它仅通过特定的度量,即封闭性度量,就可以判断出封闭单元。然而随着数据量的增加,C-Cubing的性能下降,因此它的并行算法还有待研究。本文提出基于MapReduce并行框架,采用C-Cubing对封闭立方体并行计算的方法,并在Hadoop上给予了实现。实验结果表明,本方案能够利用廉价的PC机器,有效提高了在较大数据集上计算封闭立方体的性能。     

一种适应于动态环境范围查询的数据立方体

范围查询是对数据立方体进行数据分析的有效方法,预计算技术可以提高数据立方体范围查询的速度,实现快速的用户响应.近年来研究人员基于多维联机分析处理(MOLAP)预计算的研究主要以prefix sum及分块技术为基础,本文对分块方案及如何组织块内单元实施prefix sum方法进行探索,提出了前缀区域数据立方体结构(Prefix Region Cube,PRC),采用基于前缀区域的不规则的分块方案,这种分块方法利于从起始单元开始的前缀区域范围查询的实现.另外PRC在分块及对划分后的块内单元实施prefix sum时都采用回归分割技术,在不增加额外立方体空间的前提下,实现范围查询和数据更新的代价都为O(logdn).     

立方体外壳片段算法在财务数据仓库中的应用

高校管理数据涉及的主题众多,其中财务数据仓库是典型的高维应用情形.财务数据对精度要求极高,不允许数据的丢失,这些特点都将影响财务数据仓库中数据立方体预计算算法的选择.分析了各种立方体预计算算法的特点和适用范围,同时研究了财务数据仓库的特殊性质和需求,以高校科研财务数据仓库为基础,提出了科研财务数据仓库事实星座模型.根据对数据立方体预计算算法的分析,分别使用立方体外壳和立方体外壳片段算法进行物化操作,提出立方体外壳片段算法是一种比较适合财务数据仓库的数据立方体预计算算法,并通过性能分析实验证明了该算法能在预计算时间、存储空间和联机分析处理效率等各方面取得较好的平衡.     

立方体外壳片段算法在财务数据仓库中的应用

高校管理数据涉及的主题众多,其中财务数据仓库是典型的高维应用情形.财务数据对精度要求极高,不允许数据的丢失,这些特点都将影响财务数据仓库中数据立方体预计算算法的选择.分析了各种立方体预计算算法的特点和适用范围,同时研究了财务数据仓库的特殊性质和需求,以高校科研财务数据仓库为基础,提出了科研财务数据仓库事实星座模型.根据对数据立方体预计算算法的分析,分别使用立方体外壳和立方体外壳片段算法进行物化操作,提出立方体外壳片段算法是一种比较适合财务数据仓库的数据立方体预计算算法,并通过性能分析实验证明了该算法能在预计算时间、存储空间和联机分析处理效率等各方面取得较好的平衡.     

一种改进的MC算法

MC方法是医学图像三维重建常用方法.传统MC方法在计算中需遍历整个体数据场,而等值面只与部分立方体相交导致计算效率不高,对此已有相应的改进方法.但已改进的方法在计算过程中仍产生冗余多边形,使计算效率下降.笔者针对此问题提出了一种减少冗余多边形的进一步改进的MC方法,并根据该算法对CT数据进行三维重建.实验结果表明本算法与原改进MC算法效率相比有一定提高.     

基于空问定位的聚类算法在电信业客户划分中的应用

随着电信市场竞争的不断加剧,电信企业传统的营销模式正在向主动、精确营销模式转变.因此,客户划分显得至关重要.采用数据挖掘中聚类的方法对电信业的客户进行划分,在比较了现有聚类算法计算复杂度普遍较高的的基础上,采用了一种基于空间定位的方法,将客户数据对象映射到特征空间中,并利用空间立方体的某些特殊顶点定位任意数据,通过计算数据点与空间立方体顶点群的距离差异,完成聚类过程.为了适合电信业客户的特殊性质,改进对客户属性数据的处理过程.通过电信客户的数据实验结果表明,算法的时间复杂度降至 O(N) 级别.     

基于空间划分的海量数据K邻近新算法

逆向工程中,对测量数据的处理首先要建立数据点之间的拓朴结构,这通常通过计算点的K邻近来实现.文中在分析现有算法的基础上,提出了一种新的基于空间划分的海量数据K邻近算法.该算法综合考虑了点云密度、点云数量以及K值对小立方体栅格边长的影响,通过确定合适的小立方体栅格边长以及排除不包含点云数据的小立方体栅格来确定邻近点最佳搜索范围,从而提高了搜索速度,保证了搜索结果的正确性.最后通过逆向软件的二次开发编程验证了算法.     

数据仓库中一种有效的高维联机分析处理方法

在大量数据仓库系统中,对于一个d维的data cube, 数据立方体(cube)可以生成2d个聚集cuboids, 然而随着数据仓库维数的增长,计算这些预聚集数据已经成为一个瓶颈.在minimal cubing方法的基础上,提出一种具体层次语义特性的多维层次数据立方体--前缀索引立方体(prefix-index cubing)技术,将高维cube划分成若干个低维立方体cube, 以实现高维cube的分布式存储和并行计算.理论分析与实验结果表明,相对于以往的minimal cubing等方法, 前缀索引立方体方法的性能显著提高.     

钢筋砼桁梁桥侧倾稳定性分析的超级单元法

针对钢筋砼箱形截面桁梁桥的侧倾稳定性分析 ,提出一种基于薄壁杆件理论的新型超级单元 .通过采用结构矩阵分析中的逆步变换原理和静态凝聚方法 ,得到了超级单元刚度矩阵 ,并利用文中提供的算法编制了FORTRAN语言计算程序LSAP .由于超级单元具有较少的自由度 ,所以本文算法降低了对计算机内存和计算机时的需求 ,利用微机即可有效地分析工程问题 .文中对一桁梁桥设计方案进行了实际计算 ,并与桁梁桥挠曲扭转理论计算结果进行了对比     

胞元结构对点阵多孔材料力学性能的影响

为丰富点阵多孔材料的胞元结构,提高点阵多孔材料力学性能,文中以PA12(尼龙)粉末为原料,采用激光粉末烧结(SLS)技术制备了正立方体、小斜方截半立方体和大斜方截半立方体3种晶胞单元结构的尼龙点阵多孔材料试样,并通过准静态压缩试验获得了3种不同胞元结构的尼龙点阵多孔材料的工程应力应变数据。结果表明,胞元结构对尼龙点阵多孔材料的压缩强度、弹性模量等力学性能影响较大;小斜方截半立方体尼龙点阵多孔材料在3种胞元结构中表现出最优的力学性能。最后,通过扫描电镜对断口形貌进行观察与分析,发现尼龙点阵多孔材料的加工缺陷会影响其力学性能;准静态压缩的尼龙点阵多孔材料其断裂模式为韧性断裂,与试验结果一致。