ODTrans:适用于云数据存储系统的容错的事务协议

云数据存储系统中,由于数据的分片、冗余存储以及频繁的节点故障,导致分布式事务的原子提交问题发生变化,使得原先的两阶段提交协议(2PC)不再适用.作者对云存储中事务提交的典型场景进行刻画,重新定义分布式事务的提交问题,并提出基于一致性协议的方法ODTrans,用于处理分布式提交和副本更新.相比于传统的2PC和主备复制方法,在一个没有拜占庭将军问题的集群中,它可以始终取得进展.实验结果表明,所提方法可以获得与已有的方法相近的性能,既可以容忍从节点发生错误,也可以应对主节点的故障.     

ODTrans:适用于云数据存储系统的容错的事务协议

云数据存储系统中,由于数据的分片、冗余存储以及频繁的节点故障,导致分布式事务的原子提交问题发生变化,使得原先的两阶段提交协议(2PC)不再适用.作者对云存储中事务提交的典型场景进行刻画,重新定义分布式事务的提交问题,并提出基于一致性协议的方法ODTrans,用于处理分布式提交和副本更新.相比于传统的2PC和主备复制方法,在一个没有拜占庭将军问题的集群中,它可以始终取得进展.实验结果表明,所提方法可以获得与已有的方法相近的性能,既可以容忍从节点发生错误,也可以应对主节点的故障.     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中, 需要对海量矢量据和栅格数据进行存储并对高并发的用户查询请求提供高效响应, 传统的设计方案难以满足需求的问题, 提出一种使用基于内存存储的分布式数据库HBase存储空间数据, 并设计基于GeoHash的分布式空间索引, 实现了矢量空间数据与栅格空间数据的分布式存储与快速查询. 实验表明, 该方法提升了海量空间数据的查询速度.     

海量空间信息的分布式运算

阐述了在三维数字城市系统中，由于三维资料的显示速度主要依赖于数据调度和逻辑运算的速度，海量数据的调度和频繁的逻辑运算使得单机系统不堪重负，因此通过分布式计算可以在多台计算机上平衡计算负载，也可以把程序放在最适合运行它的计算机上．该分布式运算系统基于COM 中间件技术，运用VC6．0／VC7．1和Oracle9i开发环境，借助于ATL动态模板库、IDL接口定义语言，实现了在三维数字城市系统中海量空间信息的分布式调度和分布式运算．     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验.为减少读写速率的损失,系统通过调用HDFS(Hadoop distributed filesystem)的API接口方式实现数据存储及对集群的状态监控和管理.实验表明:传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低.     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

分布式环境下数据库加密密钥管理方案

针对分布式环境下数据库加密密钥管理问题，分析了密钥管理的特点，提出了一种基于矩阵模型的密钥转换表方案，并严格论证了其安全性，矩阵中存储的都是密文，敌手不能从中得到有用的信息或推导，系统能够根据用户的数据库访问请求，进行密钥变换，从而安全高效地响应用户的请求。另外，此方案既能够提供各个子数据库系统之间一定程度的数据共享，又能够保持各自的独立性。     

分布式多空间数据库复杂时态数据提取技术

传统方法实现过程复杂、历史复杂时态数据的片面性,导致其无法全面地描述时态数据;且相似性计算无法准确匹配具有动态性与复杂性的时态数据,造成提取精度低。为此,提出一种新的分布式多空间数据库复杂时态数据提取技术。设计动态RBF神经网络,对分布式多空间数据库中未知动态进行识别和建模;通过建模结果完成对复杂时态数据的描述。依据加权关联规则与时态关联规则对支持度和置信度的定义,获取T-FS-tree加权时态关联规则中支持度和置信度。将复杂时态数据描述序列、最小支持度、最小置信度作为输入,将加权时态关联规则作为输出,建立T-FS-tree加权时态关联规则挖掘算法。按照向量计算获取加权时态频繁1项集以及频繁2项集,依据获取的加权时态频繁项集建立初始频繁项集树;依据初始频繁项集树获取全部时态频繁项集;通过获取的频繁项集产生加权时态关联规则。从所有关联规则中选择优先度高的规则,构建的复杂时态数据提取器,实现复杂时态数据提取。实验结果表明,所提方法复杂性低,提取结果更加全面、可靠,有很高的准确性。     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

一种面向金融应用的海量分布式关系数据库

提出了一种面向金融应用的海量分布式数据库架构CBase,该架构融合了关系数据库和非关系型数据库的优点,既支持关系查询和跨行跨表的事务处理,又支持数据的分布式存储和节点的快速扩展.系统改进了现有分布式数据库单点故障的问题,具有较高的吞吐率和快速的响应时间,已经在银行业务中得到实际应用.实践证明:该数据库可满足金融业务对于大数据存储和查询的性能需求.     

OceanBase分布式存储引擎

OceanBase是一个分布式关系型数据库,其目的是存储海量的高速增长的结构化数据,以廉价的服务器集群实现高可用、高可扩展、高性价比的服务.OceanBase采用内外存混合存储的模式,使用内存存储增量(新写入)数据,而使用外存存储基线(只读)数据,并将基线数据划分成大致等量的数据分片并采用分布式B+tree的形式将分片存放在很多的数据服务器上,利用定时合并机制不断将增量数据与基线数据融合.本文介绍OceanBase基线数据存储的基本结构和分布方式、定时合并机制,以及基线数据在OceanBase中的具体存储格式的设计和实现.     

模糊关系数据库的几点注记

在讨论了模糊关系及其特征之后,给出了在元组隶属函数约束下的模糊关系λ－截集数据库和模糊关系模式的概念,引入并讨论了用模糊集包含度刻划的模糊属性值及元组的语义包含相似度及其性质．在此基础上,导出了经典函数依赖（ＦＤ）的４种相互等价的形式化定义,并由此扩展得到模糊函数依赖（ＦＦＤ）的相应形式化定义和相应于Ａｒｍｓｔｒｏｎｇ公理的有效且完备的推导规则．认为文［１］对（ＦＦＤ）的讨论只是本文的特例     

基于关系数据库的模型库系统研究

用关系数据库技术取代传统的文件方式创建和管理模型库系统,能够方便灵活地完成模型的存储和管理.文中分析了模型库系统的结构,阐述了模型字典的作用和组织方式,设计了模型字典的表结构,研究了模型库管理系统的功能,最后给出了软件成本估算专家系统模型库中FPA的TCF模型的设计实例.     

粗糙关系数据库及其发展

对粗糙关系数据库(rough relational database,RRDB)在国内外的发展状况进行了探讨。具体分为两部分,其一,对于与粗糙关系数据库相关的几个概念及它们之间的关系进行了研究;其二,从多值信息系统的规则生成及属性约简、RRDB的粗糙算子研究、RRDB的数据查询及数据更新、RRDB的度量研究及粗糙函数依赖等几方面对目前粗糙关系数据库在国内外的发展状况进行了总结回顾。     

关系数据库模式信息的提取

鉴于关系数据库是当前Web的主要信息源,关系数据库模式信息的提取是实现当前Web向语义Web迁移的基础技术之一,介绍关系数据库模式信息提取原型工具RDBSExtractor,分析与总结关系数据库的模式信息,给出基于JDBC API的RDBSExtractor设计思想和实现技术,案例研究表明。基于JDBC API的模式提取方法是可行的,RDBSExtractor是有效的。     

粗糙关系数据库及其发展

对粗糙关系数据库(rough relational database,RRDB)在国内外的发展状况进行了探讨.具体分为两部分,其一,对于与粗糙关系数据库相关的几个概念及它们之间的关系进行了研究;其二,从多值信息系统的规则生成及属性约简、RRDB的粗糙算子研究、RRDB的数据查询及数据更新、RRDB的度量研究及粗糙函数依赖等几方面对目前粗糙关系数据库在国内外的发展状况进行了总结回顾.     

OceanBase关系数据库架构

传统关系数据库本质上是单机系统,通常采用昂贵的高端服务器和高端存储,难以应对互联网应用的高可扩展、高性能、高可用和低成本的挑战.OceanBase是阿里巴巴研制的开源分布式无共享关系数据库,采用主流通用PC服务器,很好地满足了互联网对关系数据库的需求.OceanBase已经用于淘宝、天猫和支付宝的多个生产系统.本文介绍了OceanBase关系数据库系统的架构、目标和系统特点,特别分析了基于该系统架构的读写事务流程.     

基于关系数据库的图的运算

针对在数据库应用程序中经常遇到的一种查询和实际问题的求解，提出了在关系数据库中对图进行表示和运算的方法。在该方法中，图中各项点信息用字段来存放，图中的边用记录来表示，给出了在该表示方法中对图进行遍历和求解最小生成树的算法。通过对一无向图的遍历及其最小生成树的求解举例，表明该方法表示图易于存储数据，对于解决数据库应用中遇到的复杂问题具有一定的参考价值。     

Integrating Multi-Source Web Records into Relational Database

How to integrate heterogeneous semi-structured Web records into relational database is an important and challengeable research topic. An improved model of conditional random fields was presented to combine the learning of labeled samples and unlabeled database records in order to reduce the dependence on tediously hand-labeled training data. The pro- posed model was used to solve the problem of schema matching between data source schema and database schema. Experimental results using a large number of Web pages from diverse domains show the novel approach＇s effectiveness.