NoSQL系统的容错机制:原理与系统示例

NoSQL数据管理系统因其具有良好的可扩展性和容错性,在以Web数据管理和分析处理为代表的新型大数据应用环境中得到了广泛使用.这些系统通过新型一致性模型和数据冗余等技术,实现了集群环境中的容错处理.本文在对集群环境数据管理系统的一致性保持和容错处理基本原理进行介绍的基础上,对Bigtable、HBase、Dynamo、Cassandra,以及PNUTS五个典型的NoSQL系统的容错机制及其实现进行分析与对比,并讨论它们的设计原则和实现技术对于系统的可用性、性能、复杂负载的处理能力等方面的影响.最后,讨论现有NoSQL系统容错机制对于设计和实现支持关键任务的内存数据管理系统的借鉴意义.     

Ranking Related Research Papers Based on Citation Graph

Research papers are of great importance for researchers to record and share their ideas, studies and results. Meanwhile, they are the bases for further research work. Finding related research papers is the preliminary of good research. A new method for ranking related research papers is introduced in this paper. Given a set of interested papers, the method proposed in this paper may rank related papers just based on a citation graph by constructing the minimal Steiner trees. The method can work with the existing keyword based methods. Intensive experiments on a specific research topic show that the proposed method provides a different ranking criterion to existing ones, and can effectively retrieve those highly related papers.     

TLGM-QL：基于图模型的Web数据分析性查询语言

随着万维网规模和应用的飞速发展,如何有效存储和利用Web数据已成为计算机科学诸多研究领域的巨大挑战.针对这些迫切的需要,介绍一种新的Web分析工具TLGM-QL(tagged and labeled graph model query language),用户只需要编写描述性的类SQL分析性查询语句,即可获得对于以图形式组织的Web数据分析结果.用户不需要关心底层的实现,系统可将TLGM-QL查询语句生成物理执行计划分配给集群高度并行执行,最终返回查询结果.     

裁定文书中企业破产事件的自动化抽取

提出了一种企业破产事件抽取框架,该框架可以从法律裁定书等卷宗资料中检测出相应的法律事件,并抽取出与事件相关的结构化要素信息.该框架结合从法院所获得的裁定书等卷宗信息,运用远程监督技术来构建模型训练数据;再通过命名实体识别技术对句级别的文书进行序列标注;最后结合自定义的事件触发词表与事件字典,运用事件抽取技术对法律文书进行事件识别,并给出对应事件的结构化信息.实验结果表明本框架能够取得较高的事件识别精度,是一种有效的企业破产事件抽取框架.     

CWI中的分布式图数据存储与查询

现存的Web分析技术大多基于数据的文本内容,而忽视了数据本身的结构信息.为此,介绍CWI--一种新的海量数据分析和查询工具.作为CWI的一部分.TLGM和TLGM-Q1实现了对于Web数据内容和结构的查询分析,并且在分布式环境下实现了TLGM的图数据存储.实现了TLGM-QL的4个基本算子,实验证明该结构具有良好的平衡性和可扩展性.     

分布式日志结构数据库系统的主键维护方法研究

目前在电子商务、社交网络、移动互联网等各类应用中存在大量的写密集型负载(例如,电子商务的秒杀活动、社交用户生成的数据流等),这使得基于日志结构的存储成为现代数据库系统中普遍的后端存储方式.而基于日志结构的数据存储方式一般只支持追加操作,高效的主键维护(主键的生成和更新)可以很好地提升数据库追加操作的性能.此外,在分布式和并发的环境中实现主键维护功能还要面临主键唯一性约束、事务性维护、高处理性能的挑战.因此,本文针对日志结构数据存储的特点,研究了如何在分布式日志结构数据库系统中实现高效的主键维护功能.首先,我们提出了两类先读后写操作的并发控制模型;其次,我们应用这两类模型设计了几种高效的主键维护算法;最后,我们在自己的基于日志结构的分布式数据库系统CEDAR中实现了本文提出的主键维护方法,并通过一系列实验验证了所提方法的高效性.     

分布式数据库系统中的并行分组聚合实现

伴随着新型互联网应用中对数据统计、分析需求的增大,分组、聚合已经成为数据分析应用中出现频率最多的请求之一.本文就类OLAP(on-line transaction processing)应用中常见的Aggregation、GroupBy原理进行了分析.针对一般事务型数据库采用排序分组的缺点,提出了两种Hash分组聚合的具体实现方案,并提出一种利用统计信息动态决策Hash桶数、Hash分组聚合方案的策略.根据分布式数据库多副本的特点,本文又提出了一种Hash分组聚合节点级的并行方案.最后,在开源数据库OceanBase进行了具体的实现.通过实验证明,本文提出的利用统计信息动态决策Hash分组聚合方案相比排序分组具有极大的效率提升.     

一致性协议在分布式数据库系统中的应用

近年来分布式数据库产品层出不穷,但分布式数据库较于单机数据库更复杂,为了让系统可用,设计者需要采用一致性协议来保证分布式数据库系统中的可用性和一致性这两个重要特性.保证一致性需要使用一致性协议为并发的事务更新操作确定一个全局的执行顺序,并协调局部状态和全局状态不断的达成动态一致;保证可用性需要一致性协议协调多副本之间的一致来实现主备节点的无缝切换.因此分布式一致性协议是实现分布式数据库系统的重要基础.详细介绍了经典的分布式一致性协议以及在目前常见的几种分布式数据库系统中一致性协议的应用,并从读写操作、节点类型与网络通信等方面进行对比分析.