基于Cluster的并行内存数据库恢复机制的设计与实现

文章提出的恢复子系统模型是根据差分日志记录的特点,将已提交事务的日志经并行日志管理器收集后并行写入到多个磁盘,通过“协调者”全局检验点和站点局部检验点的协调操作,具有更高的并发度和更高的系统吞吐量,并且能快速地支持系统失败恢复．经过验证试验表明该子系统有效地减少了日志信息量,缩短了系统的恢复时间,提高了系统的性能．     

多主数据库中基于分区的并发控制

大数据时代,存储计算架构分离的单写多读场景已无法满足海量数据的高效读写需求;另一方面,多个计算节点同时提供写服务还会引起计算节点间的缓存不一致.已有的研究采用全局有序的事务日志来进行冲突检测,并通过广播和回放事务日志维护整个系统的数据一致性.但该类方案由于是在每个写节点维护全局写日志,可扩展性较差.针对这些问题,提出了一个基于分区的并发控制方案:通过分区的方式降低每个写节点需要维护的事务日志,以有效提升系统的扩展能力.基于此想法,在MySQL上实现了分区多主插件,并通过实验验证了该解决方案对系统性能的影响.     

主动实时数据库的数据管理研究

讨论主动实时数据库（ＡＲＴＤＢ）系统中数据和事务的特征及其对数据与日志的安置、日志记录和数据库恢复的影响，进而给出了一个合理的数据与日志的安置策略     

面向日志结构化数据存储的高效数据加载

近年来,随着互联网技术的快速发展,无论是互联网企业还是传统的金融机构,用户量和业务处理数据量都在快速地增长.传统的通过增加服务器并采用基于分库分表的方法来解决扩展性问题,需要大量的人工维护成本和硬件开销.为降低开销和分库分表带来的各种问题,业界通常用新型数据库系统替换原有的系统,其中,基于日志结构合并树存储的数据库系统(如OceanBase)被广泛采用,这类系统磁盘上存储数据块呈现全局有序的特征.在从传统数据库切换到新型数据库过程中,需要将大量数据加载到新数据库系统中,长时间加载的过程中可能出现数据库节点宕机.为了减少总加载时间和故障恢复时间,提出了一种负载均衡且支持高效容错的数据加载方法;为了支持负载均衡的数据加载,与预确定分区划分数据的方法不同,考虑到目标系统默认存储块大小,采用通过基于文件大小和目标系统默认存储块大小预计算分区数目,并利用分库分表的数据导出往往已经排序的特点,采用选取部分采样块和等间隔选取样本的方式确定分区之间的切分点,避免了全局采样和随机或头部样本选取方式确定切分点带来的高开销;为了加快故障恢复速度,利用日志结构合并树存储系统的多备份减少故障恢复时的数据量,提出了基本副本局部故障恢复方式,避免了完全重新加载的故障恢复方式.实验结果表明,相比采用预确定分区数目和全局选取采样块的随机或头部选取样本方法,采用预计算分区数目和部分选取采样块的等间隔选取样本确定切分点的方法,提高了数据加载的性能,并且验证了基于副本局部故障恢复方法相比完全重启加载恢复方法的高效性.     

面向交易实时内存数据库的故障恢复方法

论述交易事务更新交易数据的update-in-place和append-only特征,提出了面向交易主存数据库的一种故障恢复方法,给出恢复管理机构的模型,并讨论了该模型的工作机制 .采用活动一致检查点技术和重做事务日志技术,实现了基于数据镜像和可恢复事务日志的故障恢复措施,解决了系统故障恢复的正确性和一致性问题.结果表明,该方法满足面向交易主存数据库失败恢复的需要.     

基于区块链的链下数据库高吞吐量数据可信保障方法

传统结构的区块链在保证系统去中心化需求的同时占用了大量存储空间,且吞吐量无法得到提升.为了更加高效、安全地存储海量数据,提出了一种区块链结合数据库的架构,它可以提高系统整体的吞吐量.此外,区块链适用于云存储环境下日志型数据的存储,如视频日志、音频日志、图像日志等日志型数据,但不适合常规内容频繁更新的使用场景,如数据库应用场景.基于此,提出了一种数据可信保障方法,通过验证事务日志是否发生改变推导出数据是否被恶意篡改.采用Hyperledger Fabric结合MySQL的实例,通过实验说明该方法可验证频繁更新的数据库数据是被正常更新还是被异常篡改,并且可恢复数据库的安全.     

基于数据段优先级分区重装策略

提出一种基于数据段优先级分区重装策略PRS-DSP,其考虑数据特征及与之相关的事务特点,根据数据段优先级对数据库进行分区,并为每个分区设置相应重装频率,故障恢复时按照数据分区的重装频率来分区重装数据库,系统恢复服务后,根据新事务对数据的请求及数据分区重装频率来设置剩余分区的重装优先级。模拟实验结果表明,该分区重装策略降低了系统事务超截止期比率,其重装性能明显优于完全重装策略。     

非结构化信息数据库的恢复技术

介绍了一种针对非结构化信息数据库的恢复技术,初步设计了针对非结构化信息数据库的容错、故障恢复机制,设想采用非缓冲型日志设计,逻辑日志和物理日志相结合的形式,记录所有对数据库所作的操作及改变,降低日志记录的冗余以及对日志操作的复杂性,结合备份策略来提供各种故障的恢复服务.     

一个基于日志服务器的内存数据库恢复系统

在内存数据库中,由于内存的易失性使得数据库的恢复较为复杂,而恢复过程涉及到I/O操作,对系统的整体性能影响很大.文章提出了一个基于日志服务器的内存数据库恢复系统,日志服务器能有效地减少内存数据库记录日志和检查点的开销;给出了系统的整体结构、日志记录过程和恢复算法;并对一些关键技术,如脏页缓冲、检查点等进行了详细分析.     

移动分布式数据库系统中合作事务恢复技术

形式地给出了合作事务定义及事务间由于消息交换而形成的各务间的检验点依赖和恢复依赖，基于这些定义，某一事务记检验点时，所有检验点依赖于该事务也记检验点，当某一事务恢复时，所有恢复依赖于该事务的事务也恢复到其检验点的状态，开发了一种适合于移动环境的事务恢复技术，；在事务正常的消息传送中，通过额外的一点带宽附加传送事务间的依赖关系，在事务记检验点时，尽可能并行地通知所有相关的事务记检验点，实验表明，该事务恢复技术能减少系统检验点的响应时间，提高系统的恢复速度及系统吞吐率，对网络带宽的要求基本没有增加。     

An Efficient Crash Recovery Technique for Real-Time Main Memory Database

This paper presents an efficient recovery scheme suitable for real-time main memory database. In the recovery scheme, log records are stored in non-volatile RAM which is divided into four different partitions based on transaction types. Similarly, a main memory database is divided into four partitions based data types. When the using ratio of log store area exceeds the threshold value, checkpoint procedure is triggered. During executing checkpoint procedure, some useless log records are deleted. During restart recovery after a crash, partition reloading policy is adopted to assure that critical data are reloaded and restored in advance, so that the database system can be brought up before the entire database is reloaded into main memory. Therefore down time is obvionsly reduced. Simulation experiments show our recovery scheme obviously improves the system performance,and does a favor to meet the deadlines of real-time transactions.     

A partition checkpoint strategy based on data segment priority

A partition checkpoint strategy based on data segment priority is presented to meet the timing constraints of the data and the transaction in embedded real-time main memory database systems(ERTMMDBS) as well as to reduce the number of the transactions missing their deadlines and the recovery time.The partition checkpoint strategy takes into account the characteristics of the data and the transactions associated with it;moreover,it partitions the database according to the data segment priority and sets the corresponding checkpoint frequency to each partition for independent checkpoint operation.The simulation results show that the partition checkpoint strategy decreases the ratio of trans-actions missing their deadlines.     

内存数据库系统的恢复技术

讨论内存数据库管理系统ＡＲＴｓ－ＭＭＤＢＳ的恢复机制，包括ＣＨＥＣＫＰＯＩＮＴ算法、重装算法和事务的提交处理算法。它们力图将数据库的恢复活动与事务处理并行进行，尽量不妨碍事务的处理，从而缩短了系统的响应时间，为满足实时事务的时限约束提供了有力支持。     

一种实时数据库服务质量管理策略

针对动态负载下实时数据库系统难以同时维护事务实时性与数据实时性的问题,提出了一种数据质量与事务质量的管理策略.该策略给出一种综合了数据时域与值域特点的数据质量的定义,并据此提出了一种通过调整更新周期与数据动态相似度下限来调整数据质量的方法.该策略使用数据质量调整方法,反馈控制与接纳控制来保证服务质量.实验表明,该策略比...     

分布式实时事务一阶段实时提交

给出了分布式实时事务一致性实时提交协议的形式化定义和一致性实时提交协议的正确性准则;在此基础上,提出了适合于分布式实时事务的一致性实时提交协议———一阶段实时提交协议(1PRCP),1PRCP通过参与者与协调者的一次消息交换,在一个阶段完成分布式实时事务的提交活动.结合超时恢复协议,1PRCP能避免由于站点故障或网络通信链路故障而导致的阻塞.研究结果证明了1PRCP的正确性和优越性.     

基于Access数据库的PowerBuilder事务对象参数加密与存取

PowerBuilder通过事务对象建立与数据库连接的方式主要有两种,一是将事务对象参数直接在应用程序中设置,这种方式由于灵活性差,已很少在实际应用中使用;二是将事务对象参数经过加密存入.ini文件,通过PowerBuilder提供的函数存取的方法实现,这种方式灵活性和安全性兼备,是一种较理想的方式,但由于.ini文件是一个文本文件,仍然缺乏强有力的安全保证.针对上述问题,本文利用PowerBuilder支持多个事务对象的特点给出了另一种更加可靠、更加安全的实现方法.建立两个事务对象A,B,事务对象A通过方式二建立与Access数据库的连接,将事务对象B的参数经过加密处理存入Access数据库,应用程序通过事务对象B建立与应用程序数据库的连接.     

A recovery method using recently updated record information in shared-nothing spatial database cluster

A shared-nothing spatial database cluster is system that provides continuous service even if some system failure happens in any node. So, an efficient recovery of system failure is very important. Generally, the existing method recovers the failed node by using both cluster log and local log. This method, however, cause several problems that increase communication cost and size of cluster log. This paper proposes novel recovery method using recently updated record information in shared-nothing spatial database cluster. The proposed technique utilizes update information of records and pointers of actual data. This makes a reduction of log size and communication cost. Consequently, this reduces recovery time of failed node due to less processing of update operations.