面向商业OLAP的并行数据抽取接口设计

商业竞争日趋激烈的今天,单纯的联机事务处理系统已经不能满足管理者的决策支持要求,联机分析处理(OLAP)技术的出现具有重要意义.研究了目前联机分析处理的关键技术,数据仓库的经典解决方案,数据预处理的相关方法,提出了一种面向商业OLAP的并行数据抽取接口设计方案,并对设计过程中的数据清理、数据集成和变换、数据归约等数据预处理技术作了重点介绍和应用研究.最后结合实际应用阐明了提出的数据抽取方案对于实现商业OLAP功能的有效性和实用性.     

政务云中心数据存储架构与智能存取技术

政务系统是一种联机分析处理/联机事务处理(OLAP/OLTP)的混合型系统,通过分析政务云数据中心架构特征,针对传统存储模型所造成的网络与I/O瓶颈问题,在Oracle Exadata基础上,针对集中式社会服务特点,提出了云数据中心的垂直一体化的存储体系架构与多项智能存取技术,提供了若干关键优化访问算法,可支持云数据中心对快速增长的海量数据的有效管理,并最大程度地提高数据访问效率.对具有高负载混合型的政务应用系统,可提高数10~100倍的存取性能.     

联机分析挖掘(OLAM)技术的现状与发展

从联机分析处理技术与数据挖掘技术的互补性出发,介绍了联机分析挖掘(On-Line Ana-1ytical Mining,OLAM)技术的形成原因、功能特征、分析操作方法以及模型结构,分析了目前该技术存在的主要问题以及实现的关键技术,并展望了OLAM未来的发展方向.     

基于数据仓库技术的医院信息系统应用研究

基于联机事务处理(OLTP)的传统医院信息系统(HIS)主要追求日常医疗及管理业务电子化的高速度和准确性,不能满足管理者对复杂数据的系统分析和决策支持的需求.数据仓库和联机分析处理(OLAP)则弥补了传统数据库在分析型应用上的不足.提出了一个实现医院的数据仓库系统解决方案,并以实例说明OLAP和数据挖掘技术在药房信息管理和分析决策中的应用.实际应用表明,新的解决方案对降低劳动强度和提高工作效率有明显的效果.     

基于语义的Data Cube数字水印技术

数字水印技术可以有效地保护版权,数据仓库中用于OLAP(OnLine Analyti-cal Processing,联机分析处理)的Data Cube(数据立方体,亦称多维数据集)不仅包含有价值的数据,而且其设计模式与分析模式也体现了Data Cube拥有者的知识产权.将数字水印技术引入Data Cube中,并充分利用Data Cube的语义信息,从而提供一个通用、实用的Da-ta Cube数字水印技术解决方案.     

应用数据仓库技术实现管理决策支持系统

简述了数据仓库、联机分析处理、数据挖掘的概念和技术。提出了一种利用数据仓库技术及数据析取方法 ,基于现有的事务处理设备管理系统的管理决策支持系统方案     

应用数据仓库技术实现管理决策支持系统

简述了数据仓库、联机分析处理、数据挖掘的概念和技术。提出了一种利用数据仓库技术及数据析取方法,基于现有的事务处理设备管理系统的管理决策支持系统方案。     

非阻塞事务型实时数据注入技术研究与实现

伴随着大数据时代来临,传统数据库系统已逐渐无法应对海量数据处理带来的挑战,而分布式数据库系统得到了越来越多的部署和应用.分布式数据库系统部署数据于多台机器上,利用大规模并行计算技术实现了对海量数据的存储、管理和分析.但针对金融领域严苛的事务型实时数据注入需求,现有分布式数据库系统对其支持有限,其主要原因在于利用锁和两阶段提交等方式实现分布式事务处理,无法做到非阻塞式数据注入,极大地影响了数据注入的性能.华东师范大学数据科学与工程研究院自主研发的分布式内存数据库系统——CLAIMS,已能提供面向关系型数据集的实时数据分析服务,但尚不能支持实时数据注入.针对上述实时数据注入的问题,本文重点分析了现有数据注入技术和基于分布式事务处理的实现方式,设计了面向元数据的集中式事务处理策略,利用无锁编程技术,实现了支持分布式事务的高性能实时数据注入框架,并通过热备机制实现系统的高可用性.上述框架在CLAIMS系统中的实现,经充分实验表明:该框架能够实现高通量的事务型实时数据注入,同时支持低延时的实时数据查询.     

数据仓库和 OLAP 在高校毕业生就业分析系统的应用研究

以高校教学管理为背景,以近几年教学管理系统中积累下来的毕业生就业的相关数据为研究对象,探讨就业管理数据仓库的构建,并利用数据仓库的数据分析工具—OLAP(On-Line Analysis Processing),对就业单位反馈到某高校的毕业生就业评价数据进行分析研究,从这些海量数据中分析出隐藏在其中的有用信息,从而以此为依据来指导高校培养计划的修订。     

基于数据仓库及OLAP的人口统计预测系统

为了解决新形势下公安工作对决策支持的需求，提高公安系统办事效率和速度，实现了基于数据仓库技术以及OLAP(On-Line Analytical Processing)技术的人口统计预测系统。该系统是将人口理论应用于实际的一个计算机软件系统，它可以对公安部门人口业务数据进行查询、统计、分析及预测，具有查询统计速度快，分析预测形象、直观、效果好等优点，满足了公安部门决策支持的一般需要。     

机场离港系统的应用

计算机离港控制系统(Departure Control System),简称DCS,是中国民航引进美国优利公司的航空公司旅客服务大型联机事务处理系统,分为旅客值机(CKI)、配载平衡(LDP)、航班数据控制(FDC)三大部分。本文对机场离港系统的应用进行了介绍.     

AOP在事务处理的应用研究

面向对象(OOP)的软件开发实现了软件的模块化设计,面向切面的软件开发思想(AOP),是面向对象开发方法的有力补充,它将分散在各模块的非业务功能(如,事务处理,日志处理)抽象成为切面进行统一处理。本文通过简介SpringAOP在事务处理中的应用,介绍了在面向对象的开发过程中使用AOP的方法进行事务处理的优缺点。     

OLAP技术在ERP系统中的应用

介绍了联机事务处理和联机分析处理,通过构建针对ERP系统客户分析的数据仓库,描述了ERP系统中OLAP的设计和实现方法,分析了OLAP服务器的内部结构,并着重研究了OLAP数据库的设计和OLAP服务器对客户端的支持。     

PAR平台中并发分布式事务处理机制及其应用研究

随着大数据、云计算和云服务等新技术的兴起,并发分布式计算作为这些新技术的基础,扮演着越来越重要的角色.在分布式计算中,数据的一致性难以得到保证,而事务处理技术能够有效解决该问题.为了提升PAR平台在高可靠应用程序的使用范围,在其建模语言Apla中融入了并发分布式事务处理机制,使得Apla语言不仅支持分布式数据库事务,还支持分布式非数据库事务.该文对Apla语言并发分布式事务处理机制进行了深入地研究,并将其应用在学生管理系统、在线购物系统等实际应用场景中.     

基于数据仓库的联机分析处理

随着信息技术的发展,数据形成了海量式的增长,为了分析数据、提取决策信息,数据仓库技术飞速发展,为了充分利用数据仓库中的数据、满足决策需要,数据仓库工具应运而生。联机分析处理（0n—line Analytical Processing OLAP）是数据仓库中一个最典型的应用,它把数据的组织由二维平面结构扩充到多维空间结构,并提供了多维数据分析方法。     

联机分析处理与关联规则挖掘的集成化模型研究

通过分析关联规则挖掘和联机分析处理(OLAP)的特点,提出了一种联机分析处理与关联规则挖掘的集成化模型,并给出了其代数结构描述;在此基础上,提出了一种基于OLAP的关联规则挖掘理论,从而为简化挖掘步骤,提高挖掘效率奠定了理论基础;使用超市的实际数据进行实验分析,验证了该模型及其挖掘理论的正确性和可行性.     

开源软件中的大数据管理技术

 随着谷歌文件系统和宽表结构为代表的技术打破依赖关系数据库管理海量数据的限制,以Apache Hadoop为代表的开源大数据管理系统软件新技术与系统不断涌现,并快速成熟应用。针对Apache开源社区中面向在线事务处理和在线分析处理场景的大数据管理软件,介绍了大数据管理中的数据存储、数据分区、副本机制、分布式协议等,并比较分析了分布式文件系统、键值库、时序数据库等典型分布式数据管理系统的优缺点。     

一种异步多线程的Web数据流高效处理模型

提出并实现了异步多线程的Web数据流高效处理模型．主要工作包括：(1)分析了传统web数据流处理模式并发处理机制的不足,用大流量并发请求和复杂数据流环境的实验揭示了传统模式的弱点;(2)提出了一种新的基于分而治之思想的多线程缓冲处理模型MTBP(Multithreads-buffering Processing Model),它利用异步处理机制高效灵活地处理各类复杂的web数据流;(3)提出了MTBP模式用于处理并发可串行化事务的调度算法CSTS;(4)实验验证MTBPCSTS对大量并发数据流请求的处理速度提高到2倍以上,对复杂数据流处理的响应速度提高到1个数量级以上．     

中间件在联机事务处理系统中的应用

本文针对联机事务处理系统分析了终端方式、客户/服务器以及三层体系结构的实现方式,并讨论了三层客户/服务器结构中的中间件技术及其应用.     

内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.