基于非易失性内存的LSM-tree存储系统优化

随着大数据时代的到来,金融行业产生的数据越来越多,对数据库的压力也越来越大. LevelDB是谷歌开发的一款基于LSM-tree架构的键值对数据库,有写入快和占用空间小的优点,被金融行业广泛应用.针对LSM-tree架构的写停顿、写放大、对读不友好等缺点,提出了一种基于非易失性内存和机器学习的L0层的设计方法,能够减缓甚至解决上述问题.实验结果表明,该设计能够实现较好的读写性能.     

日志结构合并树的查询优化技术

针对基于日志结构合并树(Log Structured Merge Tree, LSM-tree)的数据库查询性能较差的问题,目前的研究工作主要集中在利用索引和缓存技术提升LSM-tree的查询性能.本文主要从以下几个方面对LSM-tree的查询优化技术进行了综述.第一,介绍了LSM-tree的基础架构,分析了影响查询的因素.第二,分析了当前的LSM-tree查询优化技术,包括索引优化技术和缓存优化技术.第三,分析了索引和缓存技术是如何提升基于LSM-tree的数据库查询性能的,并总结了一些现有的研究工作.最后,总结并给出了未来可能的研究方法.     

通过精练查询空间改善高维数据的相似性查询

提出了一种新的高维查询空间过滤策略,通过将高维数据动态投影到低维的数据空间中,然后在投影空间中对查询空间进一步过滤,精练并快速缩小查询空间.同时提出了一种有效的投影策略基于最大间隔投影,这种投影策略能够提高投影空间的精练能力.而且,设计了一种新的高维索引结构MS-tree,并将新的过滤策略运用于MS-tree的范围查询.实验结果表明,这种查询空间精练策略能够有效的提高索引的性能,降低相似性查询的IO代价和CPU代价.     

一种应用于无线传感器网络查询的树型索引

数据收集是无线传感器网络的核心任务.提出了一种基于树型索引(TBI)的无线传感器网络结构,其中每个非叶节点可以获知子孙节点的传感类型.TBI通过使用分支限界技术,能够有针对性地投递查询,从而限制了查询扩散的范围.仿真结果表明,TBI能够有效地减小通信开销,在性能上优于基于简单树型结构的本地存储模式.     

基于MVC架构的组合数据查询

数据查询系统是程序设计的一个非常重要的组成部分,而组合数据查询是查询系统中最为复杂的一部分.本文在阐述查询设计方法的基础上,针对包括集合查询在内的组合数据查询要求,提出一种新的基于MVC架构的Jsp、Servlet和JavaBean三层组合条件查询方法,重点对其中的SQL子句转换和合并进行了阐述,并给出了部分源代码.     

基于LSM Tree的分布式索引实现

近年来Log-Structured-Merge(LSM)Tree在NoSQL系统中得到了广泛地应用.主要是因为LSM Tree架构提出了延迟更新和批量写入的算法,将随机写转换为批量写,减少了磁盘臂的移动开销,从而大大地提升了数据库的写入性能.然而,读性能却也因此受到影响.LSM Tree和B Tree之间的本质区别使得NoSQL系统不适宜直接引用B Tree作为辅助索引结构.本文实现了LSM Tree下的一种分布式辅助索引结构,提出针对这种读写分离架构的索引批量加载策略,并对LSM Tree的查询计划树进行了缓冲优化,避免了重复的查询解析,使得索引读的性能得到了相应的提升.     

基于顺序存储介质的电话语音数据存储系统设计

 数据存储系统是电话录音监控系统的重要组成部分之一.存储系统的研究主要包括系统设计和存储调度算法研究两方面.针对电话录音监控系统应用的特点,提出了一种基于顺序存储介质——磁带的电话语音数据存储系统设计方法,并给出了在该系统下进行语音数据文件查询的算法.     

基于P2P分布式多维平衡树的数据索引结构的复杂查询

对等网络(P2P)中,如何高效的支持对多维数据的复杂查询是一个重要的问题.在现有的P2P系统中对于这样的查询经常受到查询类型的约束,或者需要很高的维护开销.将跳跃图技术和平街树索引结合在一起,并借助小波技术辅助平衡负载,设计了一种简单有效的索引结构DMBTI(分布式多维平衡树索引),研究了分布式多维平衡树的构造、导航算法、平衡负载过程和维护方法.进行了性能测试实验,结果证明了这种结构的优越性.     

基于内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,本文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/OBuffer和去掉异步I/O2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。     

多主数据库中基于分区的并发控制

大数据时代,存储计算架构分离的单写多读场景已无法满足海量数据的高效读写需求;另一方面,多个计算节点同时提供写服务还会引起计算节点间的缓存不一致.已有的研究采用全局有序的事务日志来进行冲突检测,并通过广播和回放事务日志维护整个系统的数据一致性.但该类方案由于是在每个写节点维护全局写日志,可扩展性较差.针对这些问题,提出了一个基于分区的并发控制方案:通过分区的方式降低每个写节点需要维护的事务日志,以有效提升系统的扩展能力.基于此想法,在MySQL上实现了分区多主插件,并通过实验验证了该解决方案对系统性能的影响.     

基于I/O的广域网数据异步复制系统设计与实现

设计实现了一个基于I/O(输入输出端口)的广域网数据异步复制系统(DARS),提出了一种基于"活动日志+位图"的数据复制方法,以较小的空间和时间开销,解决了生产中心掉电或网络阻塞造成的生产中心与灾备中心数据不一致问题.采用独立缓存代理,实现了数据缓冲服务的灵活部署,确保了低带宽复制链路下系统的I/O吞吐率.系统实现和测试表明:与基于日志卷的数据异步复制系统LogDARS相比,DARS以33%的日志存储空间开销,获得了20%的写性能提高.     

XML文档结构索引的更新维护

xml作为一种数据表示方式,越来越为人们所接受.最近,基于xml/半结构化数据的索引的查询引起了人们的广泛关注.有人提出来用结构索引来支持基于xml/半结构化数据的查询.由于xml/半结构化数据的结构不严格、不规则,结构索引会随着数据的增加或删除而变化,维护结构索引就成了首要问题.本文研究了在xml文档集合上增加多个文档和删除一个文档时结构索引的更新,提出了在这两种情况下的索引维护算法,这两种算法比现在已知的其它算法的性能要更优秀.     

基于数据广播的空间关键字查询处理

为了解决无线广播环境下空间关键字查询的问题,研究广播环境下空间关键字k近邻查询处理(BkSKQ),设计了一种结合kd树、倒排位图和(1,m)索引机制的空间关键字索引(ISKW)结构,以有效地组织对象的关键字信息、位置信息以及索引信息.该索引结构为客户的查询处理提供有效的指导,使得他们尽可能只下载查询处理所必须的数据信息.在ISKW索引结构的基础上,提出了BkSKQ查询处理算法.最后,通过模拟实验验证了提出的索引结构和算法的性能,实验结果表明所提出方法在访问时间和调谐时间上明显优于基于IR树的方法(BIRM).     

公路网移动终端的KNN查询技术

公路网中移动兴趣点(POIs)的查询处理是一个难点,目前的研究多基于欧氏距离对静态POIs进行处理,不能很好地适应移动环境下终端弱连接和频繁移动的需要.文中在公路网移动计算场景下,设计了一种存储分区数据对象的结构来表示公路网图形模型,提出适用于移动终端的连续KNN查询(CQ-KNN)算法.该算法改进了Wang等提出的MKNN算法,将逐层渐近探测和检索边列表结合起来进行近邻查询,避免了MKNN算法在限定层数不够却不得不执行范围查询时所带来的开销;同时使用缓存策略来支持移动终端提交的连续查询请求,并给出基于广播位置失效报告的缓存一致性维护策略.仿真结果表明,CQ-KNN算法较MKNN算法有更快的CPU处理速度和更短的网络响应延时,并且能支持移动终端的离线KNN近似查询.     

QGrid:一种空间移动对象并行索引结构

为提高空间移动对象数据更新效率和查询准确率,提出了一种空间移动对象并行索引结构.利用主索引和辅助索引支持对空间对象进行基于范围的查询和基于对象标识的查询,还通过查询索引将更新操作和可能受其影响的查询操作相连接,在满足并行操作时间片语义的同时,避免了传统方法进行范围查询时对查询范围内相关对象及相关索引结构全部进行锁定的需求.实验结果表明:高负载环境下,该索引结构不但能保证查询准确率,其处理能力也明显优于传统索引结构.该索引通过提高系统并行度,使同一范围内的更新和查询操作可以并行执行,提升了系统整体运行效率.     

支持联合查询的高效可搜索对称加密方案

采用基于Diffie-Hellman类型操作的安全两方计算实现的OXT方案是目前支持联合查询的最优可搜索对称加密方案,但Diffie-Hellman类型操作计算开销大,将成为该方案的计算性能瓶颈.为了提高计算性能,提出一个支持联合查询的高效可搜索对称加密方案(EXT方案).该方案采用客户端单独计算关键字与文档之间的关系,并交给服务器检验该关系的方法来实现联合查询,从而避免了Diffie-Hellman类型操作.并从正确性、安全性以及性能方面对EXT方案进行分析.分析结果表明:与OXT方案相比较,EXT方案将系统初始化的计算量、查询时客户端的计算量、查询时服务器的计算量、存储开销分别降低了95.05%、97.67%、98.48%、55.05%.     

基于HBase的车联网海量数据查询

针对如何高效存储并快速查询海量数据问题,提出一种基于分布式数据库HBase的车联网海量数据存储查询方案.首先对实测交通数据进行数据预处理,剔除劣质数据并对车辆定位信息做地图匹配;其次,针对车联网数据特征和查询应用场景设计HBase表结构,包括列族与行键设计,使数据得到合理的分布;最后,根据行键结构设计多种车联网交通信息的查询模式.实验表明,该行键方案在查询耗时上相比没有行键设计的方案具有明显优越性.     

DB2:基于RAID设备的表空间部署与优化

冗余磁盘阵列(RAID)是一种性能和可靠性兼备的存储系统,结合DB2的使用经验,提出一套基于RAID设备的数据库表空间优化配置方案,以提高数据存取效能。     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

云环境下基于衰减因子网格的Skyline查询

为了解决云环境下对于海量数据的Skyline查询,提出了在Map-Reduce框架下基于衰减因子网格Skyline查询(SQBDFG)算法,该算法通过衰减式的网格进行区域划分,利用网格间的统治关系进行快速过滤,达到减少传输开销的目的,并针对网格的衰减速度会影响实际查询性能进行进一步优化.首先提出网格的最大剪枝空间和最大剪枝效率两个概念,然后从理论上证明了采用衰减式网格在处理海量数据的Skyline查询时在这两方面具有明显的优势.最后通过Hadoop分布式集群上的大量实验,在Skyline查询时间和数据I/O开销两个方面进行对比,证明了提出的SQBDFG算法具有良好的有效性和实用性.