内存数据库索引研究

内存数据库将数据存储在内存中进行操作,与基于磁盘的数据库相比在性能上得到提升,但是由于MMDB与DRDB的性能瓶颈的差异,用于DRDB的B+树索引算法已经不再适用于MMDB。为适应内存数据库的性能,T树,CSS树,CSB+树等索引算法相继被提出,但是这些算法没有考虑到TLB失效会影响索引的性能。本文通过对CSB+树进行改进,得到一种更适用于内存数据库的索引算法。实验证明,该索引结构可以降低TLB失配,提升处理器缓存的利用率,提高查询效率。     

嵌入式Linux内存管理的优化

内存管理是影响嵌入式Linux实时性的一个关键因素,为了提高嵌入式Linux的实时性,对其内存管理进行了优化。首先为系统中的重要任务分配了专用的内存区域,使重要任务在内存不足时不被置换出去,以保障重要任务优先执行;然后通过利用系统空闲时间来扫描系统内存的方法,使得任务在执行时尽量减少缺页中断的发生,从而提高系统的实时性;最后通过实验对比OPT最优算法、LRU算法、优化后的LUR算法的缺页中断数和任务截止期错失率,发现优化后的LUR算法的缺页中断数和任务截止期错失率在三者中最低,说明通过以上的内存优化方法使得嵌入式Linux的实时性得到了提高。     

面向交易实时数据库内存数据的组织方法

研究面向大规模电子交易实时数据库中密集内存数据的高效组织方法.采用线性存储池实现内存数据的物理存储组织,并根据交易事务更新内存数据的update-in-place和append-only特点,采用T树索引实现元组固定数据的逻辑组织,采用缠绕的双向链式索引实现动态数据的逻辑组织.简化了物理空间的分配和调整算法,提高了数据更新和索引重构的效率,降低了内存数据查询访问的时间复杂度.结果表明,基于T-树索引和链式索引的数据查询算法的时间复杂度分别控制在O(lnN)和O(ln(N 1)-1),满足大规模电子交易的需要.     

内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.     

大数据环境下Lucene性能优化方法研究

为提高大数据环境下的数据查询分析效率,该文结合内存计算技术和批量更新技术提出一种优化倒排索引方法——内存磁盘索引(RFDirectory)。基于Lucene实现内存和磁盘相结合的倒排表管理技术。将新增数据写入缓存中,并周期性地写入磁盘索引结构中,从而提升倒排索引的写入性能。通过整合磁盘和内存的多分块倒排结构,为用户提供高效的数据查询分析结果。实验结果表明:在大数据环境下,RFDirectory方法的索引构建时间缩短为磁盘索引(FSDirectory)、内存索引(RAMDirectory)方法索引构建时间的50%,返回1个关键字的检索结果耗时缩短了近15%。     

基于ARM的嵌入式Linux终端系统性能实时优化研究

传统嵌入式Linux终端系统性能优化方法通常忽略了硬件方面的优化,导致整体优化结果不佳。为此,提出一种基于ARM的嵌入式Linux终端系统优化方法。给出基于ARM的嵌入式Linux终端系统内存分配图,根据系统内存分配图,将嵌入式Linux终端系统内存分配问题转换成0-1背包问题,通过动态规划方法解决背包问题,实现嵌入式Linux终端系统内存优化。通过ARM硬件中断管理与数据处理实现Linux终端系统实时性优化,ARM利用高级中断控制器AIC的硬件中断定向功能和优先级控制功能对中断进行管理,数据处理采用主动丢弃策略对实时性问题进行处理,将一些无用或者不重要的数据删除。实验结果表明,将所提方法应用于嵌入式Linux终端系统实时性优化后,嵌入式Linux终端系统时延显著降低,内存分配更加高效稳定。     

基于ARM的嵌入式Linux终端系统性能实时优化

传统嵌入式Linux终端系统性能优化方法通常忽略了硬件方面的优化,导致整体优化结果不佳。为此,提出一种基于ARM的嵌入式Linux终端系统优化方法。给出基于ARM的嵌入式Linux终端系统内存分配图,根据系统内存分配图,将嵌入式Linux终端系统内存分配问题转换成0-1背包问题;通过动态规划方法解决背包问题,实现嵌入式Linux终端系统内存优化。通过ARM硬件中断管理与数据处理,实现Linux终端系统实时性优化。ARM利用高级中断控制器AIC的硬件中断定向功能和优先级控制功能对中断进行管理,数据处理采用主动丢弃策略对实时性问题进行处理,将一些无用或者不重要的数据删除。实验结果表明,将所提方法应用于嵌入式Linux终端系统实时性优化后,嵌入式Linux终端系统时延显著降低,内存分配更加高效稳定。     

内存数据库索引技术研究

本文简析了当前几种常见的内存数据库索引结构,并针对B＋树作出了一定的改进,新的索引结构能提高处理器缓存的利用率,提供更好的性能。     

时序数据多维聚合查询服务的实现

随着电能质量监测点不断扩大,产生海量具有时序特性的多维电能质量数据,当前的诸多数据查询方法不能适应电网电能质量监测数据的交互式多维聚合查询需求。研究提出时序数据多维聚合服务的实现方法,为内存中预聚合后的任务结果建立哈希存储结构,对实时数据建立位图索引存储结构,将历史数据的预聚合数据尽量存储于内存中,改进随机读写的低性能问题,提升查询效率,解决交互式查询问题。同时运用最优聚合任务算法选择出尽量多的预聚合任务数,提高交互式查询命中率。实验验证了该算法的可行性,与分组二维背包算法相比,在预聚合任务数量选择方面具有一定优势。     

重复数据删除中的无向图遍历分组预测方法

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法.该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量.对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能.实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10％时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47％提高到87.6％.     

内存数据管理技术在族谱信息系统中的应用

设计并实现了具有数据录入、数据服务、数据输出功能的族谱信息系统.族谱信息系统采用了分布式结构,在每个分布数据节点引入内存数据管理技术,采用列存储模型,自动初始化热点数据,并根据用户请求组织数据建立索引,同时利用事务日志对每个分布数据节点的内外存进行数据同步,对中心数据节点和分布数据节点进行数据同步.     

AVR单片机实时系统内存分配算法的研究

由于AVR单片机存储资源十分有限,因此对内存的分配及使用会直接影响到整个系统的性能.对设计并实现的嵌入式操作系统iDCX 128的内存分配进行了测试,结果表明由于系统采用首次适应算法,在进行多次内存分配后,内存空间利用率不高.因此对其内存分配算法进行改进,通过修改内存区存储任务的堆栈结构及分配机制,使其成为最佳适应算法.实验结果表明改进后算法虽然浪费少量存储单元,并相应地增加了算法执行时间,但内存的整体利用率却得到了较大的提高.     

内存数据库查询优化

基于一种广泛接受的内存数据库系统基本概念及内存数据库中的SB-树索引结构，提出了更方便关系代数操作的SB^*-树．在此基础上，提出了优化的关系代数操作的实现算法．根据这些算法和关系代数等价定理，给出了对关系代数查询树进行逻辑优化的规则，并证明了逻辑优化的正确性．最后给出了代价评估模型，实验表明提出的内存数据库查询优化算法相对于传统的优化算法具有更好的时间及空间性能．     

如何客观评测内存数据库的性能

在过去的10年间,随着硬件技术不断发展,内存价格越来越低,许多计算机系统均布置了大容量内存.数据库系统开发商和研究人员认识到这一趋势,并开发出多款内存数据库产品,其特点在于先将数据装载到内存之中,再执行相应的数据管理任务.随着内存数据库的出现,如何客观、公正地评测它的性能显得愈发重要.尽管当前不乏关于关系型数据库系统的评测基准,例如威斯康星测试基准和TPC-X系列等,但是这些基准并未充分考虑内存数据库的重要特性,因此不适合评测内存数据库.本文提出了一种面向内存数据库的评测基准(InMemBench),与传统的关系数据库基准显著不同,它综合考虑了内存数据库特有的数据预取过程、物理组织方式和压缩能力等方面的重要特点.最后,本文还通过新基准比较了4款内存数据库的性能.     

变电站监控系统中内存数据库的研究

变电站综合自动化系统的发展,对可靠性、大数据量的管理、速度,提出了更高的要求。为此研究内存数据库系统,内存数据库是变电站监控软件系统中的重要组成部分,用以管理实时上传的变电站数据信息。根据内存数据库的特点,介绍了其数据存储方式和索引结构SB-树。系统设计中采用面向对象的鳊程思想,把整个内存数据库分解成相对独立的类以实现它的功能。     

基于位置的发布/订阅索引结构

为了使空间文本数据的处理更加快捷准确,针对基于位置的发布/订阅提出了将R-tree与布尔表达式有效结合的索引结构TR-tree.TR-tree主要由文本索引与空间索引组成,其中文本索引根据订阅中谓词的数量和不同的关键谓词将空间文本数据进行订阅分组和谓词分组.文本索引中使用了操作符列表储存谓词,以达到避免重复储存谓词、减少内存使用的目的.空间索引根据关键谓词与谓词数量构建不同的R-tree,增强了空间修剪的性能.实验结果表明TR-tree具有高效的匹配能力与较好的内存管理性能.     

一种基于模式增长的频繁模式挖掘算法

提出了一种基于模式增长的频繁模式挖掘算法(简称为PGMiner算法).这种算法是一种深度挖掘的算法,不产生任选项集,便于发现较长的模式,避免了Apriori和FP-growth方法存在的问题.通过一种简单的索引结构在映射数据库中不断地增加模式长度.这种索引结构占用较少的内存,使得这种基于内存的算法有很高的执行效率.采用现实数据集以及IBM人工数据集对PGMiner算法进行测试.试验结果显示,对于一般类型的特别是较为稀疏的数据集,PGMiner算法比Apriori和FP-growth方法有更好的性能.     

用于RFID中间件的主存数据库索引结构

根据EPC Global标准,提出了基于RFID数据特征的网格索引结构.该索引结构针对RFID应用场景设计,不仅能实现高效的插入、查询以满足实时性的需求,还能够提高内存的利用率,节省内存.与传统索引相比,提出的索引结构能够完全适用于真实的RFID应用场景,实现条件查询、范围查询等其他传统索引很难实现的操作.可以减少内存消耗,提升条件查询,范围查询的速度.实验结果证明基于RFID数据特征的网格索引不但在插入效率上不亚于传统索引,而且在条件查询,范围查询的效率远远高于其他传统索引结构,并且内存占用率也具有一定优势.     

内存数据索引:以处理器为核心的性能优化技术

随着单机内存容量的持续上升,内存数据库技术逐渐取代传统磁盘数据库为数据管理提供更快速的支持.本文分析了设计内存索引结构所需要考虑的基本要素;对目前的内存索引结构进行了分类总结,并分析各结构的优缺点;针对当前应用发展趋势,指出内存索引未来发展的机遇与挑战;最后介绍了我们正在研发的分布式集群感知内存数据库(CLAIMS)中的内存索引结构.     

基于非易失性内存的LSM-tree存储系统优化

随着大数据时代的到来,金融行业产生的数据越来越多,对数据库的压力也越来越大. LevelDB是谷歌开发的一款基于LSM-tree架构的键值对数据库,有写入快和占用空间小的优点,被金融行业广泛应用.针对LSM-tree架构的写停顿、写放大、对读不友好等缺点,提出了一种基于非易失性内存和机器学习的L0层的设计方法,能够减缓甚至解决上述问题.实验结果表明,该设计能够实现较好的读写性能.