内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.     

网络广告定向技术综述

近几年来网络广告异军突起,形式也逐渐多样化.随着网络广告市场的急剧增加,越来越多的广告主希望在推出某产品或服务后,能够用更少的支出吸引更多对该产品或服务感兴趣的用户与广告进行交互(看到广告,点击广告,注册、下订单、购买产品等等后继行为).网络广告定向技术因此应运而生.本文介绍了定向技术的分类,并对每种定向技术具体阐述了其应用场景;总结和对比了近几年网络定向技术中常用的方法和模型.     

轨迹大数据的比较算法研究

为了对轨迹大数据比较算法进行深入了解和研究, 介绍了各类轨迹比较算法, 并结合轨迹大数据的研究发展和应用背景, 对轨迹大数据比较算法进行较为全面和系统的综述。 随着轨迹大数据应用问题的不断凸显,轨迹大数据的研究需要结合目标需求, 深入研究轨迹数据比较算法的大数据计算、 算法智能性以及算法的效率和有效性等问题。     

面向内存计算的连接算法

内存和CPU技术的快速发展标志着内存计算时代的来临.本文系统地回顾了基于内存计算的连接算法,具体在嵌套循环连接、哈希连接、排序归并连接和单机环境、分布式环境两个分类的维度上分析了已有算法的优点与不足,展望了未来的研究方向,最后介绍了基于Claims原型系统关于分布式连接方面的研究工作.     

面向OceanBase的存储过程实现技术研究

存储过程是一段被命名后保存在数据库服务器端,并预先编译好的代码,可以减少前台应用程序和后台数据库间的网络传输量.本文主要研究基于静态语言和动态语言,两种典型的存储过程实现方法,来阐述存储过程实现的基本原理.并基于此,进一步探讨了在OceanBase主存数据库服务器中添加存储过程模块的解决方案和技术难点.     

LCDJ:面向内存集群计算的局部感知连接算法

等值连接是数据库系统中最为重要的操作之一,哈希连接在处理等值连接时,表现出较高的性能.在分布式内存数据库系统中,数据即已分布式地存储于多个节点上,哈希连接通常情况需要将参与连接的两个关系表在连接属性上按照相同的哈希函数进行数据重分区,从而保证连接属性值相同的元组被传输到同一个节点上进行本地连接操作.由于内存数据处理速率远远高于网络的数据传输速率,因此数据重分区占据了连接算法的绝大部分时间,成为分布式内存数据库系统中等值连接操作的性能瓶颈.本文提出了一种新颖的分布式内存数据库环境下的等值连接算法LCDJ(Locality Conscious Distributed Join),在充分利用高效的内存计算的同时尽量减少网络数据传输量.算法首先对每个表连接属性的数据分布进行精确的统计,并结合并行度和计算负载均衡因素,进而建立代价模型来衡量不同调度策略下的时间开销,并求出最优的调度策略.LCDJ实现于基于内存的分布式原型系统Claims中.实验结果表明,本文所提算法有效地降低了网络传输代价,大幅度减少了响应时间,比起当前流行的Hive和Shark等系统有明显的性能提升.     

大规模分布并行计算系统容错与恢复技术

当前,拥有超级计算能力的计算机系统通常是大型商用系统形成计算机集群.与所有的分布式系统一样,这些系统通过独立的计算机硬件协同合作共同实现超级计算的能力.然而在拥有超级计算能力的同时,集群中的任何一个组件随时都可能失效,从而导致错的输出.为了提高集群在系统出现故障的情况下的鲁棒性,许多容错技术已经被设计和实现,用以处理各种类型的系统故障.本文对各种现有的容错技术进行了总结归纳,以便在此基础之上进行进一步的研究从而适应当前环境下的系统容错.     

内存数据索引:以处理器为核心的性能优化技术

随着单机内存容量的持续上升,内存数据库技术逐渐取代传统磁盘数据库为数据管理提供更快速的支持.本文分析了设计内存索引结构所需要考虑的基本要素;对目前的内存索引结构进行了分类总结,并分析各结构的优缺点;针对当前应用发展趋势,指出内存索引未来发展的机遇与挑战;最后介绍了我们正在研发的分布式集群感知内存数据库(CLAIMS)中的内存索引结构.     

集群资源统一管理和调度技术综述

随着互联网的快速发展和大数据的来临,基于数据密集型应用的集群计算框架不断涌现,并且这些计算框架都只面向某一类特定领域的应用.基于这一特点,互联网公司往往需要部署和运行多个计算框架,从而为每个应用选择最优的计算框架.因此,资源统一管理和调度系统作为集群共享平台被提出来.集群资源统一管理和调度系统需要同时支持多种不同计算框架,如何管理集群计算资源和不同计算框架间的资源公平分配成为关键技术难点.不同计算框架的作业是异构的,如何在不同框架间进行作业调度,以充分利用集群资源和提高系统吞吐量,成为了新的挑战.本文针对现有的资源管理系统和应用需求特点,研究和分析了集群资源管理和调度的关键技术,并对现有的集群资源管理技术存在的问题和未来发展进行了探讨.