MapReduce模型下基于R树索引的Skyline查询算法

提出一种MapReduce并行计算模型下基于R树索引的Skyline查询算法, 解决了海量空间数据集下执行Skyline查询效率低的问题. 通过建立R树索引实现空间数据不同粒度的范围剪枝, 有效降低了分布式Skyline查询需扫描的数据规模, 提高了在MapReduce模型下Skyline查询的执行效率. 在不同数据分布下进行对比实验的结果表明, 该方法比已有算法在执行效率上更具优势.     

交通流大数据中的套牌车并行检测算法

传统的套牌车识别算法通过串行工作方式在网格化城市交通监控系统所产生的大规模数据中进行两两比对实现套牌车检测,因此在处理海量数据时存在性能瓶颈问题.提出了一种新的基于Hadoop的MapReduce算法模型,该算法具有并行特征,通过引入多台硬件计算资源协同处理大规模数据下的套牌车检测问题,显著提高了计算性能.同时,采用基于动态旅行时间实时的时空窗口计算技术,能进一步提高算法的检测速度和识别精度.     

基于MapReduce的并行协同过滤推荐算法

推荐系统的协同过滤(Collaborative filtering)算法是目前推荐系统应用最为广泛的推荐算法,然而,CF推荐算法的计算复杂度高,阻碍了其在大型系统中的应用.该文在一个云计算平台即Hadoop上通过MapReduce生成同现矩阵和评分矩阵两非负矩阵,利用同现矩阵和评分矩阵相乘产生推荐结果,实现了基于项目的CF推荐算法.实验结果表明,该推荐算法可以有效地实现大规模数据的推荐,并解决了系统可扩展性问题.     

数据密集型计算环境下离群点挖掘算法设计与实现

在数据密集型计算环境中,数据具有海量、高速变化、分布存储和异构等特征,对数据挖掘算法的设计与实现提出了新的挑战.基于MapReduce模型,提出了一种网格技术与基于LOF方法相结合的离群点挖掘算法MR_LOF.Map阶段采用网格进行数据约简,将代表点信息发送给主节点;Reduce阶段使用基于密度的离群点挖掘算法,借助网格期望值E筛选出稠密区域.该算法只需计算稀疏区域对象的LOF值,降低了算法的时间复杂度.实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘.     

k-means聚类算法的MapReduce并行化实现

针对k-means聚类算法特点,给出了MapReduce编程模型实现k-means聚类算法的方法,Map函数完成每个记录到聚类中心距离的计算并重新标记其属于的新聚类类别,Reduce函数根据Map函数得到的中间结果计算出新的聚类中心,供下一轮MapReduce Job使用.实验结果表明:k-means算法MapReduce并行化后部署在Hadoop集群上运行,具有较好的加速比和良好的扩展性.     

基于混合权平滑的细分连接性重新网格化

针对单边界亏格为0的三角网格提出一种细分连接性重新网格化算法. 该算法通过构造原始网格的准保角参数化及混合面积和顶点分布密度权的伞算子平滑进行细分连接性重新网格化. 为了加快重新网格化算法的速度, 提出一种基于矩形剖分的点定位算法. 通过典型的三维模型实验和比较可见, 该方法能快速生成细分连接性网格, 所得网格的质量较现有单一的采用面积权或顶点分布密度权的伞算子平滑方法有明显改进.     

基于有符号距离场的矿山三维模型布尔运算

针对复杂形态的矿山三维模型构建,提出一种基于三角网格的有符号距离场的三维模型布尔运算算法.首先借助方向包围盒层次树快速计算三角形之间的交线,然后通过约束德洛内三角剖分对候选的三角形逐个进行拆分,分别计算三角网格模型的顶点、边和面的角度加权伪法矢,建立要运算的2个三角网格的有符号距离场,从而根据有符号距离场确定拆分后三角形单元与另一个模型的位置关系,最终根据布尔运算类型进行取舍得到表面模型的运算结果.该算法能有效的对三角网格表面模型实施布尔运算,适用于各种复杂的矿山三维模型.     

基于Voronoi图的磁共振PROPELLER数据网格化算法

PROPELLER数据采集成像算法是磁共振成像中的一项新技术,由于其数据的网格化直接影响该成像算法的效果,因此提出一种基于Voronoi图的网格化算法．该算法对采样数据集进行网格分组查找,快速消除位置相同点;加入边缘闭包后进行Voronoi网格化,计算Voronoi网格面积并将其作为网格化的密度补偿权函数,提出基于网格分组的快速网格化算法并成像．实验表明,该算法运行速度快,成像清晰,图像对比度和细节较好,信噪比得到有效提高．     

基于布尔矩阵和MapReduce的FP-Growth算法

关联规则挖掘是数据挖掘的一个重要组成部分.为提高关联规则的挖掘效率,提出了一种基于布尔矩阵和MapReduce的FP-Growth算法(BPFP),分析了算法的时间和空间复杂度.该算法使用Hadoop框架和布尔矩阵以减少对事务数据的扫描次数,利用两次MapReduce来实现频繁项集的挖掘.在多个数据集上的实验结果表明,与原FP-Growth算法相比,BPFP算法具有更高的执行效率、更好的加速比.     

气泡堆积法生成局部加密非结构化网格

对生成非结构化网格的气泡堆积法(BPM)进行改进,提出了一种生成局部加密非结构化网格的算法.该算法通过向多边形顶点添加任意大小气泡以及在内部设置点源,并利用反距离加权平均法传递节点信息,简单地实现了局部加密/稀疏网格的生成.同时,还提出了气泡数量的控制方法,可对过于稠密或者疏松的气泡群进行气泡的删除和添加,使所有的气泡更好地与计算区域相匹配,消除了不规则三角形网格的生成,提高了生成网格的质量.用改进的BPM算法对矩形区域生成了边界加密、中心稀疏的非结构化网格,在雷诺数为1000的工况下对方腔项盖驱动流进行了数值模拟,与基准解对比非常吻合,证明生成的网格质量较好.