非阻塞事务型实时数据注入技术研究与实现

伴随着大数据时代来临,传统数据库系统已逐渐无法应对海量数据处理带来的挑战,而分布式数据库系统得到了越来越多的部署和应用.分布式数据库系统部署数据于多台机器上,利用大规模并行计算技术实现了对海量数据的存储、管理和分析.但针对金融领域严苛的事务型实时数据注入需求,现有分布式数据库系统对其支持有限,其主要原因在于利用锁和两阶段提交等方式实现分布式事务处理,无法做到非阻塞式数据注入,极大地影响了数据注入的性能.华东师范大学数据科学与工程研究院自主研发的分布式内存数据库系统——CLAIMS,已能提供面向关系型数据集的实时数据分析服务,但尚不能支持实时数据注入.针对上述实时数据注入的问题,本文重点分析了现有数据注入技术和基于分布式事务处理的实现方式,设计了面向元数据的集中式事务处理策略,利用无锁编程技术,实现了支持分布式事务的高性能实时数据注入框架,并通过热备机制实现系统的高可用性.上述框架在CLAIMS系统中的实现,经充分实验表明:该框架能够实现高通量的事务型实时数据注入,同时支持低延时的实时数据查询.     

NoSQL系统的容错机制:原理与系统示例

NoSQL数据管理系统因其具有良好的可扩展性和容错性,在以Web数据管理和分析处理为代表的新型大数据应用环境中得到了广泛使用.这些系统通过新型一致性模型和数据冗余等技术,实现了集群环境中的容错处理.本文在对集群环境数据管理系统的一致性保持和容错处理基本原理进行介绍的基础上,对Bigtable、HBase、Dynamo、Cassandra,以及PNUTS五个典型的NoSQL系统的容错机制及其实现进行分析与对比,并讨论它们的设计原则和实现技术对于系统的可用性、性能、复杂负载的处理能力等方面的影响.最后,讨论现有NoSQL系统容错机制对于设计和实现支持关键任务的内存数据管理系统的借鉴意义.     

异构分布式实时系统中容错调度模型的研究

研究了基于异构分布式系统的实时容错调度算法 ,同构分布式系统中的处理机完全相同 ,而在异构分布式系统中各个处理机均不相同 ,各个处理机有不同的处理能力和不同的健壮性 .提出了可靠性成本概念 ,建立了一个基于异构分布式系统实时容错调度模型 .基于该模型 ,设计了一种实时容错调度算法 ,算法在不增加系统硬件成本的情况下 ,提高了实时分布式系统的可靠性 .     

基于主动请求与动态分配负载的CAN容错算法

控制器局部网(CAN)总线应用于负载较重的分布式系统时,系统的可靠性和实时性难以保证,容错算法是提高分布式系统容错性能的重要手段。文中通过对多种容错算法的分析比较,在冗余服务中引入主动请求与动态分配负载的思想,提出了一种有效的CAN冗余容错算法.CAN节点可根据自身的负载情况决定是否作为冗余服务器主动请求任务,管理系统综合考虑负载和节点主机的当前状况,动态分配负载给各冗余服务器,同时系统还可动态改变冗余服务器的个数.最后,构建了该算法的数学模型,与RAWA算法进行了对比,并通过实例证明该算法性能较好,可用于高可靠、高实时性的控制系统中.     

负载均衡的分布式系统任务调度优化算法

针对当前分布式系统任务调度算法存在节点负载不平衡,资源利用率低等缺陷,提出一种基于负载均衡的分布式系统任务调度优化算法.首先分析了当前分布式系统任务调度优化算法的研究现状;然后对节点的实时性能指标进行估计,并根据估计结果分配不同的任务;最后通过仿真实验与其他算法进行对比.实验结果表明,相比于经典分布式系统任务调度算法,该算法缩短了任务完成时间,使得系统各节点的负载更均衡,提高了节点资源的利用率.     

异构分布式实时系统中容错调度模型的研究

研究了基于异构分布式系统的实时容错调度算法,同构分布式系统中的处理机完全相同,而在异构分布式系统中各个处理机均不相同,各个处理有不同的处理能力和不同的健壮性。提出了可靠性成本概念,建立了一个基于异构分布式系统实时容错调度模型。基于该模型,设计了一种实时容错调度算法,算法在不增加系统硬件成本的情况下,提高了实时分布式系统的可靠性。     

基于CITA区块链的纠删码分片存储实现

O (n) O (1)摘要:区块链系统采用全复制的数据存储机制,为每个节点保留整个区块链的完整副本,系统扩展性差.同时由于区块链系统中拜占庭节点的存在,导致传统分布式系统中使用的分片方案不能被直接应用于区块链系统中.本文结合纠删码和拜占庭容错算法,使每个区块的存储消耗由降到,增强了系统的可扩展性.本文还提出了对区块数据进行划分的方法,在降低存储冗余的同时减小对查询效率的影响.提出了无需网络通信的编码块存储方法,降低了系统存储和通信开销.还提出了区块链节点加入和退出的动态重编码方法,既保证系统的稳定性,又降低了系统重编码开销.最后,在开源区块链系统CITA上实现,并通过充分的实验,证明系统可扩展性、可用性和存储效率提升.     

支持通信数据查询分析的分布式计算系统

本文详细介绍一种基于分布式内存的通信数据管理平台,可以有效支持针对通信数据的实时处理以及在线查询分析任务.首先,通过对分布式技术、内存技术进行分析,依据通信业务的特点进行技术选型;然后,基于高性能的分布式内存计算环境,设计、实现针对通信数据的实时处理与在线查询分析平台;最后,利用内存技术对平台实现方案进行技术优化.实验结果表明,基于内存的分布式计算系统在查询响应速度、实时数据处理效率、系统资源利用率以及数据吞吐量上较基于硬盘的系统较大的性能提升.     

具有容错机制的网格监控系统

提出了一种基于JMX实现远程监控的网格监控系统.重点论述具有容错机制的层次式系统架构的实现原理,系统采用模块化结构,通过备用管理节点的自动选择和实时在线启动实现容错机制.测试结果表明,可以减少单点故障造成的影响,提高系统的可靠性.     

分布式系统的实时容错任务调度算法设计

提出一种分布式实时容错调度算法,并研究了该算法的时间复杂度．这种容错调度算法称为“副版本后调度（ＢＫＣＬ）算法”,该实时容错调度算法可以同时调度具有容错需求的实时任务和无容错需求的实时任务,所产生的调度可保证在分布式系统中一个节点机失效的情况下,具有容错需求的实时任务仍然可在截止时限内完成．