一个内存数据库管理系统的数据组织

在分析多种内存数据库概念的基础上,给出了新的内存数据库的形式定义,提出了内存数据库的一种数据组织结构,在Ｔ树的基础上,经过改造开发了一个在自行研制的主动实时ＤＢＭＳ原型系统中实现的索引结构Ｔ树,着重讨论了其严格的定义和操作算法．     

内存数据库索引技术研究

本文简析了当前几种常见的内存数据库索引结构,并针对B＋树作出了一定的改进,新的索引结构能提高处理器缓存的利用率,提供更好的性能。     

基于大页内存的学习索引内存分配策略

大数据时代,数据信息的不断膨胀给数据的快速存取带来了巨大挑战.因此,设计一种高效的索引结构具有重要意义. ALEX (updatable adaptive learned index)是一种利用机器学习模型代替传统B-树索引结构的学习索引,具有较好的时间、空间性能,但存在频繁的缺页中断问题.为解决此问题,进一步提升ALEX性能,在ALEX基础上提出了一种基于大页内存的内存预分配策略,较好地降低了内存缺页中断率,提升了ALEX性能.在内存分配阶段,采用预分配策略;在内存回收阶段,则采用延迟释放策略.在Longitudes数据集上的实验表明,该策略具有良好的效果.     

用于RFID中间件的主存数据库索引结构

根据EPC Global标准,提出了基于RFID数据特征的网格索引结构.该索引结构针对RFID应用场景设计,不仅能实现高效的插入、查询以满足实时性的需求,还能够提高内存的利用率,节省内存.与传统索引相比,提出的索引结构能够完全适用于真实的RFID应用场景,实现条件查询、范围查询等其他传统索引很难实现的操作.可以减少内存消耗,提升条件查询,范围查询的速度.实验结果证明基于RFID数据特征的网格索引不但在插入效率上不亚于传统索引,而且在条件查询,范围查询的效率远远高于其他传统索引结构,并且内存占用率也具有一定优势.     

一个内存数据库管理系统的数据组织

在分析多种内存数据库概念的基础上，给出了新的内存数据库的形式定义，提出了内存数据库的一种数据组织结构，在Ｔ树的基础上，经过改造开发了一个在自行研制的主动实时ＤＢＭＳ原型系统中实现的索引结构Ｔ＾＊树，着重讨论了其严格的定义和操作算法。     

关于索引文件的进一步探讨

本文探讨了索引文件的组织结构及访问方式,并对两种索引文件进行了分析.     

内存数据库查询优化

基于一种广泛接受的内存数据库系统基本概念及内存数据库中的SB-树索引结构，提出了更方便关系代数操作的SB^*-树．在此基础上，提出了优化的关系代数操作的实现算法．根据这些算法和关系代数等价定理，给出了对关系代数查询树进行逻辑优化的规则，并证明了逻辑优化的正确性．最后给出了代价评估模型，实验表明提出的内存数据库查询优化算法相对于传统的优化算法具有更好的时间及空间性能．     

建立内存机制保证海量数据实时性系统的运行

在实时性很强且数据量很大的系统中提高处理数据效率,是近年来很多人一直在探讨的一个话题.把研究对象建立在一个大型证券交易系统的数据库中,像这类普遍使用关系数据库的系统中,诸如实时数据处理和更新等事务往往通过硬盘操作耗费很多时间,我们的目的就是运用内存和实时数据库的一些主要思想和原理,研究一套合适和高效的内存(主存)机制,使得在不破坏原有数据库结构和不利用大成本建立实时数据库的基础上,大大提高数据存储的速度,进而提高交易过程的效率.结合一个实际项目,遵循软件工程的基本流程,在需求分析阶段获取了业务上需要达到的数据处理要求并进行了进一步的可行性分析,同时参阅了内存机制相关的资料,在设计阶段根据交易系统数据库的结构提出了适合交易数据库的内存表框架,在全表中选出了需要放在内存空间中的表,设置了优化的调用参数,并且利用改进的红黑树设计了一套索引算法,以及结合实时数据库的做法建立了一套事务处理机制和通信机制.在随后进行的一些效率和强度测试中,证明了实际应用中能使存储的效率提高一个数量级,并使整体的交易处理效率提高3倍以上.最后我们还考虑了维护方面的的问题,保证了系统能够长时时间正确运行.     

变电站监控系统中内存数据库的研究

变电站综合自动化系统的发展,对可靠性、大数据量的管理、速度,提出了更高的要求。为此研究内存数据库系统,内存数据库是变电站监控软件系统中的重要组成部分,用以管理实时上传的变电站数据信息。根据内存数据库的特点,介绍了其数据存储方式和索引结构SB-树。系统设计中采用面向对象的鳊程思想,把整个内存数据库分解成相对独立的类以实现它的功能。     

图形处理器上内存数据库索引T-树的研究

为进一步提高内存数据库索引结构T-树的操作性能,提出一种基于图形处理器的T-树无锁并行计算方案.该方案通过分析平衡树结构的父子节点间的关系,在图形处理器平台上实现使用m个线程并行创建具有m个节点的T-树索引,从而以最大并行度的方式构建T-树.为验证方案的正确性,提出以堆栈的方式在图形处理器上遍历T-树的算法,对各平台上构建T-树的方案进行性能分析,并通过页锁定内存的方式提高CPU和GPU间的数据传输速率.通过对多个处理器平台上的实验结果的对比发现,提出的方案在并行构建T-树和T-树的批量节点插入上相比于传统CPU平台方案分别获得12倍和8倍以上的加速比.     

如何客观评测内存数据库的性能

在过去的10年间,随着硬件技术不断发展,内存价格越来越低,许多计算机系统均布置了大容量内存.数据库系统开发商和研究人员认识到这一趋势,并开发出多款内存数据库产品,其特点在于先将数据装载到内存之中,再执行相应的数据管理任务.随着内存数据库的出现,如何客观、公正地评测它的性能显得愈发重要.尽管当前不乏关于关系型数据库系统的评测基准,例如威斯康星测试基准和TPC-X系列等,但是这些基准并未充分考虑内存数据库的重要特性,因此不适合评测内存数据库.本文提出了一种面向内存数据库的评测基准(InMemBench),与传统的关系数据库基准显著不同,它综合考虑了内存数据库特有的数据预取过程、物理组织方式和压缩能力等方面的重要特点.最后,本文还通过新基准比较了4款内存数据库的性能.     

基于内存计算的大规模图数据管理研究

图是一种重要的数据模型,能够描述结构化的信息,在诸如交通网络、社交网络、Web页面链接关系等领域应用广泛,因而获得了广泛的研究.海量的图数据管理对传统的图分析处理技术提出了挑战,分布式集群计算为大规模图数据分析提供了基础平台.随着计算机硬件性价比的大幅提升以及高性能应用需求,基于内存计算的海量数据处理技术获得了业界青睐.图数据高效存储和计算与内存计算密切相关,在此背景下,文章综述了大规模图数据处理相关技术进展,研究了典型的基于内存计算的大规模图数据管理系统,最后总结了基于内存计算的图数据管理的关键点.     

内存数据仓库集群技术研究

随着硬件的集成度不断提高,多核处理器和大内存成为当前主流的计算平台,内存计算也成为新兴的高性能数据分析平台.内存数据仓库集群技术面向高性能分析计算,是实现大数据实时分析的基础平台.本文概括地介绍了中国人民大学高性能数据库团队在内存数据仓库集群技术方面的研究工作,包括:以列分布和列计算服务为中心的ScaMMDB内存数据仓库集群,以水平分片、并行计算为中心的ScaMMDBⅡ和reverse-star schema分布、集群向量计算为特征的MiNT-OLAP Cluster等技术的研究发展过程.分析了内存数据仓库集群技术的关键问题及技术挑战,并针对新的内存数据仓库集群应用需求展望未来技术的发展.     

内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.     

基于FastDB的内存数据库实现机制研究

FastDB是一个高效率的内存数据库系统,相对于传统磁盘数据库,内存数据库通过将数据完全加载到内存,在内存中实现对数据的管理.通过对实现方式的深入分析、比较,选用合适的方式对内存数据库的实现机制等方面进行了改进,给出了内存数据库的实现方法、步骤和主要数据结构,进而对共享内存管理进行了阐述,使得内存数据库在处理数据上比磁盘数据库快,可以有效地使用CPU周期和内存,从而在一定程度上改善了数据吞吐量.较好的避免了内外存数据交换的发生,有效解决了不同行业中对系统响应要求高的问题.     

大数据环境下并行计算模型的研究进展

在大数据时代,制约并行计算发展的掣肘正在发生改变,为分布式并行计算带来了前所未有的机遇和挑战.回顾了并行计算的发展和大数据环境下的新变化;结合硬件环境、计算模式、以及应用需求等对于并行计算模型研究的影响,综述了面向批处理、面向流处理、面向图数据以及面向内存等几类并行计算模型的相关研究;展望了其发展趋势.     

Spark上的等值连接优化

等值连接作为数据分析中最常用、代价最高的操作之一,在Spark上的实现和优化与传统并行数据库有很大的差别,传统并行数据仓库中基于数据预划分的连接算法在Spark上难以实现,而目前被广泛采用的Broadcast Join和Repartition Join性能较差,如何提高连接性能成为基于Spark的海量数据分析的关键.本研究将Simi-Join与Partition Join的优势相结合,并基于Spark上的特性提出了一种优化的等值连接算法.代价分析和实验表明本算法比现有基于Spark的数据分析系统中的连接算法性能提升1~2倍.     

内存数据管理技术在族谱信息系统中的应用

设计并实现了具有数据录入、数据服务、数据输出功能的族谱信息系统.族谱信息系统采用了分布式结构,在每个分布数据节点引入内存数据管理技术,采用列存储模型,自动初始化热点数据,并根据用户请求组织数据建立索引,同时利用事务日志对每个分布数据节点的内外存进行数据同步,对中心数据节点和分布数据节点进行数据同步.     

支持通信数据查询分析的分布式计算系统

本文详细介绍一种基于分布式内存的通信数据管理平台,可以有效支持针对通信数据的实时处理以及在线查询分析任务.首先,通过对分布式技术、内存技术进行分析,依据通信业务的特点进行技术选型;然后,基于高性能的分布式内存计算环境,设计、实现针对通信数据的实时处理与在线查询分析平台;最后,利用内存技术对平台实现方案进行技术优化.实验结果表明,基于内存的分布式计算系统在查询响应速度、实时数据处理效率、系统资源利用率以及数据吞吐量上较基于硬盘的系统较大的性能提升.     

LCDJ:面向内存集群计算的局部感知连接算法

等值连接是数据库系统中最为重要的操作之一,哈希连接在处理等值连接时,表现出较高的性能.在分布式内存数据库系统中,数据即已分布式地存储于多个节点上,哈希连接通常情况需要将参与连接的两个关系表在连接属性上按照相同的哈希函数进行数据重分区,从而保证连接属性值相同的元组被传输到同一个节点上进行本地连接操作.由于内存数据处理速率远远高于网络的数据传输速率,因此数据重分区占据了连接算法的绝大部分时间,成为分布式内存数据库系统中等值连接操作的性能瓶颈.本文提出了一种新颖的分布式内存数据库环境下的等值连接算法LCDJ(Locality Conscious Distributed Join),在充分利用高效的内存计算的同时尽量减少网络数据传输量.算法首先对每个表连接属性的数据分布进行精确的统计,并结合并行度和计算负载均衡因素,进而建立代价模型来衡量不同调度策略下的时间开销,并求出最优的调度策略.LCDJ实现于基于内存的分布式原型系统Claims中.实验结果表明,本文所提算法有效地降低了网络传输代价,大幅度减少了响应时间,比起当前流行的Hive和Shark等系统有明显的性能提升.