OceanBase内存事务引擎

OceanBase是一个分布式可扩展的关系数据库,采用基线静态数据与动态增量数据分离存储的架构设计.其内存事务引擎提供了动态数据的存储、写入和查询服务,用户写入的数据被存储在内存中称为Memtable的数据结构中.Memtable及其周边的事务管理结构共同组成了内存数据库引擎,来实现事务的ACID特性.在事务引擎中,通过多版本的并发控制技术实现读写相互不阻塞,实现只读事务满足"快照隔离"级别;通过经典的行锁方式实现多个写之间的并发控制,实现最高满足"已提交读"的事务隔离级别.     

VFP数据库的并发控制

结合实例,分析了数据库应用中的事务并发问题,介绍了在数据库管理系统(VisualFoxPro)中的事务管理和基于锁事务的并发控制方法,并且对在加锁过程中可能出现的一些问题进行讨论。     

VFP数据库的并发控制

结合实例,分析了数据库应用中的事务并发问题,介绍了在数据库管理系统(Visual FoxPro)中的事务管理和基于锁事务的并发控制方法,并且对在加锁过程中可能出现的一些问题进行讨论.     

性能测试海量数据持续生成的解决办法

<正>一、简介在许多性能测试项目中,我们都需要大量的数据库测试数据,用来模拟真实测试场景中的数据。但是,这也可能会面临以下几个问题:(一)海量的基础测试数据如何才能快速且方便的生成?(二)怎样设计测试场景,从而保证性能测试能保持长时间运行而不会中断?二、场景设计下面以学生报名表为例,设计一个简单的测试场景,来解决以上问题,供大家参考。(一)测试需求后台数据库是报名表表头(Entry_head)、表体(Entry_list)和工作流(Entry_workflow)三张表为基础的性能测试数据库,并且要求基础报名     

对象管理在面向对象数据库中的应用研究

为解决面向对象在对象数据库中的管理问题,描述了面向对象的数据库管理系统(OODBMS:Object Oriented Data Base Management System)的基本概念及其实现过程,给出了该系统的数据模型、系统结构及其各系统模块的实现方法.该系统引入面向对象的概念和方法,以传统关系数据库存储结构为底层,提出面向对象数据库的数据模型,使其支持数据类型类层关系和继承性,具有复杂对象管理和版本管理等能力.同时详述了数据定义(DDL:DataDefinitionLanguage)、数据操纵(DML:Data Manipulation Language)、对象缓冲区管理以及查询模块处理和版本管理等子系统的实现过程和方法,并给出该系统在工程数据库图形图像管理中的应用.该系统可对非格式化的数据进行有效的管理.     

关系数据库管理系统RDBMS的数据子语言及其预编译技术

关系数据库管理系统RDBMS是我们数据库小组在RD—11微机上实现的。此系统设有数据定义语言DDL、数据操纵语言DML;还有求和、求平均值、计数、求最大值、求最小值等库函数。本文第一部分对上述内容作了简单介绍;第二部分介绍了数据子语言的预编译技术;第三部分介绍了LL(1)分析表改成状态表的算法。     

使用事务实现数据完整性

确保数据库数据的完整性和一致性有多种办法,简单的业务逻辑可以利用约束、规则,复杂的业务逻辑可以利用事务结合存储过程来实现.该文通过对数据库中相关业务逻辑流程的研究,阐述了事务的特点和作用,并结合实际说明了怎样利用事务在数据库中实现包含多任务流的业务逻辑.     

对象管理在面向对象数据库中的应用研究

为解决面向对象在对象数据库中的管理问题, 描述了面向对象的数据库管理系统（OODBMS： Object Oriented Data Base Management System)的基本概念及其实现过程, 给出了该系统的数据模型、 系统结构及其各系统模块的实现方法。该系统引入面向对象的概念和方法, 以传统关系数据库存储结构为底层, 提出面向对象数据库的数据模型, 使其支持数据类型类层关系和继承性, 具有复杂对象管理和版本管理等能力。同时详述了数据定义(DDL： DataDefinitionLanguage)、 数据操纵(DML：Data Manipulation Language)、 对象缓冲区管理以及查询模块处理和版本管理等子系统的实现过程和方法, 并给出该系统在工程数据库图形图像管理中的应用。该系统可对非格式化的数据进行有效的管理。     

基于文法差异的ADO.NET组件化研究及其应用

为解决ADO.NET在多数据库访问中因驱动程序API、数据库DDL和DML语言等差异带来的系统性冗余和移植困难等问题,在抽象工厂模式中产品创建责任和消费责任相分离的模型基础上,设计了数据访问层接口和产品族,实现了ADO.NET跨数据库访问及多数据库间的动态移植.结果表明,该方法为数据访问层提供了灵活的动态扩展机制,降低了业务层和数据访问层的耦合度.     

基于简单工厂模式的ADO.NET跨数据库访问技术研究

在简单工厂模式中有效分割客户端产品创建责任的模型基础上,通过对.NET数据访问层简单工厂接口和产品族的设计,解决了ADO.NET在多数据库访问中因为驱动程序API、数据库DDL和DML语言等差异带来的数据库移植困难等问题并用CJHJ语言实现了该方法.该方法分离了.NET应用程序业务层对数据库产品对象的创建责任和消费责任,提高了.NET应用程序对不同数据库的兼容性能.     

非阻塞事务型实时数据注入技术研究与实现

伴随着大数据时代来临,传统数据库系统已逐渐无法应对海量数据处理带来的挑战,而分布式数据库系统得到了越来越多的部署和应用.分布式数据库系统部署数据于多台机器上,利用大规模并行计算技术实现了对海量数据的存储、管理和分析.但针对金融领域严苛的事务型实时数据注入需求,现有分布式数据库系统对其支持有限,其主要原因在于利用锁和两阶段提交等方式实现分布式事务处理,无法做到非阻塞式数据注入,极大地影响了数据注入的性能.华东师范大学数据科学与工程研究院自主研发的分布式内存数据库系统——CLAIMS,已能提供面向关系型数据集的实时数据分析服务,但尚不能支持实时数据注入.针对上述实时数据注入的问题,本文重点分析了现有数据注入技术和基于分布式事务处理的实现方式,设计了面向元数据的集中式事务处理策略,利用无锁编程技术,实现了支持分布式事务的高性能实时数据注入框架,并通过热备机制实现系统的高可用性.上述框架在CLAIMS系统中的实现,经充分实验表明:该框架能够实现高通量的事务型实时数据注入,同时支持低延时的实时数据查询.     

智能气田一体化模型数据共享平台建设与实践

一体化仿真模型是智能气田建设的重要基础,如何利用数据驱动模型高效运转已成为亟待解决的关键难题。针对数据源分散、可用性差及与模型交互程度低等问题,开展了以下技术攻关:(1)结合数据服务总线(DSB)与PI OLEDB接口技术,实现多源结构化数据的有效集成与实时抽取,满足一体化模型对不同时间维度生产数据的业务需求;(2)建立数据质量规则库和自动扫描制度,实现数据质量的有效管控,确保一体化模型的正常运行;(3)开发基于数据流引擎技术的数据交互工具,实现了综合数据库与仿真模型的自动交互,其优势在于应用场景改变时,能够应用灵活编排基础服务的方法高效复用前期数据建设成果,大幅提高开发效率。研究表明,与国内外同类技术相比,应用数据流引擎技术突破了一体化模型与外部数据资源的交互壁垒,打破了该领域数据应用定制化开发的服务模式,为智能气田建设奠定了技术基础。     

PHP与MySQL平台下的事务实现探讨

针对MySQL数据库不同类型存储引擎的数据表,总结出事务实现的方法及步骤.通过分析MyISAM与InnoDB存储引擎的特点,给出两个数据表为保证数据一致性在两种存储引擎环境下的事务实现方式.设计数据库表时应考虑是否会涉及事务应用以及基于该表的主要操作类型,根据情况决定采用MyISAM或InnoDB存储引擎,再根据不同存...     

确定性分布式数据库中长事务处理方法研究

确定性分布式数据库Calvin在执行长事务时,面对长事务中交替出现的读写请求,容易发生读写冲突,并且长事务会导致缓冲区置换频率升高,这些会影响系统的吞吐量。提出一种基于数据访问规则的事务处理方法与一种事务访问文件。基于数据访问规则的事务处理方法通过对事务间的读写集合进行分析,利用数据记录更新映射表来生成事务的数据访问规则。事务访问文件对历史事务更新数据进行整理,有效降低缓冲区置换频率。实验证明,改进方法可以有效降低长事务对确定性分布式数据库Calvin吞吐量的影响。     

面向Cedar的列存储设计与实现

随着数据规模和分析需求的日益增长,数据库面向联机分析处理(On-Line Analytical Processing,OLAP)应用的查询性能变得愈发重要.Cedar是一款基于读写分离架构的分布式关系数据库,由于它主要面向联机事务处理(On-Line Transaction Processing,OLTP)业务,在面对分析处理负载时性能表现不足.对于这个问题,很多研究表明列存储技术能够有效地提高I/O(Input/Output)效率,进而提升分析处理的性能.在Cedar上提出了一种列存储机制,分析了其适用场景并针对这种机制改进了Cedar的数据扫描和批量更新方法.实验结果表明,该机制能大幅度地提升Cedar分析处理性能,并且对事务处理性能的影响控制在10%以内.     

LTE网络S1接口流量监测技术的研究与实现

为了实现对长期演进(long term evolution,LTE)网络的流量监测,对S1接口用户面协议栈和应用层协议进行了分析,利用模块化设计思想实现了对S1接口应用层协议的全面监测。针对传统信令监测系统数据业务识别度低、统计能力不强的问题,在传统的监测系统基础上,应用深度包检测（deep packet inspection,DPI）技术对应用层业务进行精细化识别, 并设计了基于传输流的业务呼叫/事务详细记录(call/transaction detail record,xDR)合成方法,实现了对业务流量的精确监测。经现网测试验证,所设计的基于深度包检测技术的业务识别方案和基于传输流的呼叫/事务详细记录合成方案达到了预期的效果,在移动通信网络业务流量监测领域具有推广意义。     

指纹考勤信息管理系统设计与实现

就考勤信息管理信息化的基本情况和安全问题作出了阐述,从需求分析方面做了业务需求分析、数据分析、功能需求分析以及非功能需求分析并采用了数据流程图、业务场景图、用例图来进行分析.系统设计部分做了考勤管理模块设计(考勤时间设置、请假信息管理、出差信息管理、统计查询)、公告信息管理模块设计、系统管理模块设计(用户信息管理、权限管理);并给出了接口设计、数据库概念设计、数据库表设计.     

多主数据库中基于分区的并发控制

大数据时代,存储计算架构分离的单写多读场景已无法满足海量数据的高效读写需求;另一方面,多个计算节点同时提供写服务还会引起计算节点间的缓存不一致.已有的研究采用全局有序的事务日志来进行冲突检测,并通过广播和回放事务日志维护整个系统的数据一致性.但该类方案由于是在每个写节点维护全局写日志,可扩展性较差.针对这些问题,提出了一个基于分区的并发控制方案:通过分区的方式降低每个写节点需要维护的事务日志,以有效提升系统的扩展能力.基于此想法,在MySQL上实现了分区多主插件,并通过实验验证了该解决方案对系统性能的影响.     

SQL数据库中并发控制的研究

通过对数据库中并发控制的研究,介绍了SQL数据库中锁机制的种类和事务间的隔离级别,并结合实际阐述了怎样利用锁和事务隔离级别解决多用户并发问题。     

关于业务数据商店系统若干问题的研究

介绍了业务数据商店 (ODS)的概念 ,对数据库、业务数据商店和数据仓库三者的技术特点进行了比较分析 ,给出了面向应用的ODS分类结构以及在应用中所要注意的问题 ,并对业务数据商店系统设计的关键技术进行了分析研究