支持主动实时事务的内存数据库技术

采用灵活而高效的数据存储管理机制是实现内存数据库管理系统的关键，提出一种适合内存数据库的“影子内存”组织方法，并给出具体的内存空间的组织管理，存储结构和存取策略。     

面向交易实时数据库内存数据的组织方法

研究面向大规模电子交易实时数据库中密集内存数据的高效组织方法.采用线性存储池实现内存数据的物理存储组织,并根据交易事务更新内存数据的update-in-place和append-only特点,采用T树索引实现元组固定数据的逻辑组织,采用缠绕的双向链式索引实现动态数据的逻辑组织.简化了物理空间的分配和调整算法,提高了数据更新和索引重构的效率,降低了内存数据查询访问的时间复杂度.结果表明,基于T-树索引和链式索引的数据查询算法的时间复杂度分别控制在O(lnN)和O(ln(N 1)-1),满足大规模电子交易的需要.     

OceanBase内存事务引擎

OceanBase是一个分布式可扩展的关系数据库,采用基线静态数据与动态增量数据分离存储的架构设计.其内存事务引擎提供了动态数据的存储、写入和查询服务,用户写入的数据被存储在内存中称为Memtable的数据结构中.Memtable及其周边的事务管理结构共同组成了内存数据库引擎,来实现事务的ACID特性.在事务引擎中,通过多版本的并发控制技术实现读写相互不阻塞,实现只读事务满足"快照隔离"级别;通过经典的行锁方式实现多个写之间的并发控制,实现最高满足"已提交读"的事务隔离级别.     

一种分布式实时内存数据库的系统故障恢复模式

提出了一种适合分布式实时内存数据库的、基于日志的故障恢复模式.在该恢复模式中,日志记录被存储在非易失高速存储设备中,非易失日志存储区依据事务类型被分成四个不同的日志分区,不同类型事务的日志被存储在不同的日志分区;采用了执行频率动态可调的模糊检验点模式,在检验点执行过程中,一些无用的日志记录被删除;故障发生后,系统重启、恢复时,分区重装策略被采用;恢复算法结合相关恢复协议,确保了全局事务故障的原子性.实验显示,该故障恢复模式明显地改进了系统性能,提高了实时事务满足截止期的比率.     

内存数据库的可用性综述

随着计算机硬件技术的高速发展,内存的成本不断降低,数据库管理系统将其工作数据集完全放入内存变得可行.相比于常规的磁盘数据库,内存数据库具有更快的数据存储速度、更高的吞吐量和更强的并发访问能力,满足了许多应用的快速响应需求.然而,由于内存是易失性存储介质,与磁盘数据库在可用性方面有一定区别.本综述重点讨论了适用于内存数据库提高可用性的主要策略,包括快速恢复策略、冗余备份和容错等.     

基于划分和压缩数据库的改进Apriori算法

针对Apriori算法在面对大规模数据时效率较低的问题,提出了一种基于划分和压缩数据库的改进方法。该方法首先依据特征数据出现的频率将数据按照升序存储在临时数组中;然后将原始事务数据库分为几个互不相交的事务数据库,使得子数据库能够容纳在内存中;最后根据每个子数据库计算出的频繁项集计算整个数据库的频繁项集,从而消除了不必要的冗余数据。通过改进可以将大规模数据集进行有效的划分和压缩,对子数据库进行关联规则挖掘。实验结果表明,改进的Apriori算法在针对海量数据挖掘的执行速度和效率都有很大提高。     

主动实时数据库的嵌套事务处理

根据主动实时数据库所特有的时间要求给出了主动实时嵌套事务的结构模型和语义模型,对该模型下事务的ACID特性进行了扩充,并提出了基于内存数据拷贝版本的主动实时嵌套事务的实现策略。该策略提高了主动实时环境下复杂内部的的并发性,使复杂事务满足其截止期的可能性得到提高。     

ARTs—I：一个主动实时内存数据库系统

给出了一个主动实时内存数据库系统ＡＲＴｓ－Ｉ，着重讨论了它的体系结构、新型主动机制、内存数据库管理和新型的执行模型，提出了一种的实时事务调度算法和有效的内存数据库管理机制。     

ARTs－I：一个主动实时内存数据库系统

给出了一个主动实时内存数据库系统ＡＲＴＳ－Ⅰ，着重讨论了它的体系结构、新型主动机制、内存数据库管理和新型的执行模型．提出了一种新的实时事务调度算法和有效的内存数据库管理机制．     

主动实时数据库复杂事务的管理

讨论了嵌套事务模型在主动实时数据库中的应用，提出了一种管理主动实时数据库嵌套事务的策略和方法。允许子事务的不同步执行使最紧急的事务尽可能快地执行，子事务的独立提交或中止可将失败影响局限在局限范围内，在实时数据库系统中尽可能地满足事务的时限。     

主存数据库组织的偶图方法

提出一种新的ＭＭＤＢ的物理组织方法——主存数据库偶图方法,详细描述了它的物理实现和其上的数据操作．研究表明,这种方法提高了系统的空间利用率和存取性能,是实现ＭＭＤＢ的一种有效方法．     

大数据的长期归档存储研究

应对大数据的长期存储需求,对基于COTS的归档系统进行改进,采用云计算技术扩展系统对跨数据中心存储的支持,SVM和本体方法对归档数据的存取进行分类以提高数据访问存取效率,采用非固定单元的检错次序检错,调整多错误区域的条带以优化RAID系统的磁盘检错策略.     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

基于区块链的非结构化大数据动态安全存储

当前大数据交互的不透明性以及数据文件访问形式的不合理性, 导致大数据存储存在存储延时长、 安全性较差的问题, 为此提出基于区块链的非结构化大数据动态安全存储技术。 构建多用户规则调度模型, 利用存储数据包生成独立的行向量与 n 阶矩阵, 基于列不满秩概率完成存储算法设计; 采用区块链非对称加密技术的公私钥, 实现透明与完整的数据交互, 对次要信息与数据访问形式实施记录。 引入分布式文件系统, 将其与Mongo DB 非关系型数据库有效结合, 从而使非结构化大数据得到安全存储。 仿真实验结果表明, 该方法不仅具有理想的存储速率, 而且使大数据的完整性得到了保证, 具有理想的有效性与实践性。     

基于区块链的农产品可信检测数据存储方法

针对现阶段农产品质量检测数据的可信存取，以及数据的高吞吐量、低事务处理延时问题。本文提出了一种基于区块链的农产品可信检测数据链上链下分类存储方法。首先根据区块链的去中心化、不可篡改、带时间戳特性，将敏感的小文件检测数据存储在区块链，为其提供存储授信支持；其次将非敏感的大文件数据存储至链下数据库，从而缓解将整个检测记录链上存储所带来数据的高吞吐量；最后利用布隆过滤器的哈希函数快速判断查询元素是否在指定数据集中，来提高链上检测数据的查询效率。为了验证该方法的查询效率，本文比较了在同一区块链数据存储环境下的有或者无布隆过滤器的两套实验方案。结果表明，前者的链上数据查询速度要高于后者，因此，本文提出的方法能够为农业产品检测数据提供一个有效、可信的存取途径。     

嵌入式视频处理EDMA数据存储

嵌入式系统中内部RAM存储空间普遍较小,无法直接将视频处理系统处理的大量数据存储到内部RAM上,而增强型直接内存存取（EDMA）可独立于CPU进行后台批量数据传输,并行用于嵌入式视频处理系统快速数据交换。以嵌入式平台TMS320DM6446 DSP为例,详细介绍了如何使用EDMA优化数据存取的策略。     

基于．NET的异构数据访问组件设计与实现

针对需要同时访问多种数据库和其它数据源的情况,设计了一款基于．NET的异构数据访问组件,能够在系统运行时态访问实际需要的数据库,并为操作不同类型数据库提供了统一接口．该组件也可以集成到数据访问层,构建系统时能极大地提高开发效率,减少开发和维护成本．     

数据库安全访问控制通信中间件的设计与实现

系统的安全性与适应复杂场景的灵活性并存成为人们研究访问控制的目标.为确保敏感数据安全,在全面分析和研究数据库安全漏洞、安全策略、安全目标的基础上,提出了一种利用中间件技术实现客户访问数据库的控制方法,确保了数据库的信息安全.     

网格存储中的自适应负载平衡策略

为了优化网格存储的系统性能,针对网格环境中不同存储单元的性能差异,基于文件的访问特点提出一种自适应的负载平衡策略. 通过建立能量模型体现文件访问对存储单元的负载压力;通过与用户访问复合减少负载调整开销;通过创建和回收副本实现数据访问优化. 实验证明,提出的负载平衡策略与传统的磁盘冷却算法相比,请求处理时间和系统吞吐量均有20%左右的提高.     

面向资源融合网格的语义数据融合

网格中的数据资源多种多样,为用户提供具有语义支持的、按需访问的数据服务是资源融合网格中数据融合的关键问题。本文提出了基于本体的语义数据容融合方法ODSF;该方法中的基本元素是数据对象,通过数据对象和领域本体之间的映射关系来表达数据对象的语义,使用嵌套关系模型来表达数据对象的模式信息,通过一个网格节点中集成的所有数据对象作为下一个节点的数据对象来实现数据资源由粗到细的融合;定义了ODSF的语义模型,给出了虚拟数据库的查询执行过程和算法,可以为使用者提供具有语义支持、服务质量保障的数据访问服务;通过原型系统验证了ODSF中理论和关键技术的正确性和可行性。