基于SQL Server的矿井通风信息实时共享模块的设计

为了实现煤矿的安全生产及信息化管理,大多数煤矿安装了具有相应功能的系统,但各系统均存在信息量大、系统之间不能兼容、实时数据共享性差等不足.针对上述问题,提出了一种基于SQL Server的实现实时数据共享的方法.该方法首先设计、建立基于SQL的共享数据库,采用自定义存储过程,然后利用创建应用程序定时调用存储过程,实现了矿区安全生产监测监控系统数据与通风系统信息的实时共享.该方法具有可行性与实用性,可以实现系统的兼容、实时数据的共享、减小系统数据库的负担、增强系统可靠性.     

基于IP-SAN的容灾备份系统数据一致性研究

数据已经成为当今用户越来越重要的战略资源,随着网络的发展,分布式数据存储已经成为对付各种数据灾难的一种有效手段。基于IP-SAN的异地容灾备份系统充分利用了IP-SAN自有的优势。研究了基于IP-SAN备份系统的关键数据一致性问题,设计了一种基于IP-SAN备份系统数据一致性测试方法,利用可靠的摘要算法以及改进的报文传输方式,有效地提高了数据一致性测试速度,降低了对网络的负载,提高了系统的可靠性与响应速度,实验证明是一种代价相对较低且切实可行的数据一致性检测方案。     

基于云存储的高考视频监控数据管理技术

介绍了云存储的系统结构及服务模型,分析了目前主要的视频监控技术,设计了基于云存储技术的高考视频监控数据管理系统.利用云存储实现高考视频监控数据管理中的远程监控处理、分布式存储、备份等.针对多级监控下容易出现的单点失效问题,提出了一种同级互连并多点备份的方法,提高了系统的鲁棒性.     

无线传感器网络的HBase数据存储模型性能分析

基于HBase数据存储结构的特点,设计了一个有效的实时存储模型,实时的数据流在集群数据库中存储速度更快,满足了用户对数据存储性能的多种需求.使用可拓学原语整合存储在HBase数据库中的异构数据集,存储管理目录研究双层分布式存储架构,提高了存储和访问的效率.研究了在存储空间不够或者集群文本系统的存储空间太大的情况下,HBase数据库集群如何动态地更新或优化数据库空间.仿真结果表明,简单的动态更新HBase数据库集群有助于优化数据库空间使用.     

海洋遥感数据一体化管理方法

将WebGIS、空间数据存取、网络传输等技术引入海洋光学遥感数据一体化管理中,设计了面向海洋遥感数据的速报地理信息系统(GIS).系统集成了数据自动批量入库、数据批量自动远程分发、空间数据可视化实时发布等功能模块,具备海洋遥感数一体化管理功能和数据网络实时发布功能.同时,研究了海洋遥感数据存取方法,探讨了将数据加密验证与Java Socket网络通信技术相结合的数据高效安全传输实现方法,分析了双效数据库连接池机制,并提出了结合动态数据文件生成与可视化缓冲技术的海洋遥感数据高效可视化策略.系统运行实例结果表明：该系统能够支持分布式异构数据库,支持多用户的并发操作,具有较高的安全性和与客户端平台无关等优点.     

基于SQL-DMO的数据备份和恢复的设计与实现

应用系统的重要数据都存储在数据库中,为了避免这些数据遭到破坏或丢失,加强数据库的备份与恢复功能,采用ASP.NET技术,在VS.NET_2003和SQL SERVER 2000环境下,应用C#语言和SQL-DMO组件设计并实现了数据库的本地、异地等多种方式的备份和恢复功能,从而保证了系统中数据的安全性,最后分析了实现方法的部分关键代码。     

航天产品可靠性信息云数据库平台构建技术与方法

为了解决航天产品可靠性设计与评估工作中数据备份和恢复操作效率低,无法快速有效地获得准确数据,整个数据的监控和安全机制无法统一调度等方面的缺陷,文中以关系型云数据库为着眼点,分析可靠性信息云数据库平台的系统架构,设计该模型下的数据访问策略,进行了海量数据存储、访问、分析和管理方面的研究。最后构建一种适应航天产品可靠性信息复杂性、海量性和多源性特点的数据库体系架构。为未来可靠性信息云数据库平台支持系统扩展、信息安全管理、海量数据存储和恢复备份研究提供思路。     

基于MongoDB集群的遥感数据存储方法的研究

随着遥感探测技术的发展,遥感数据的数量和质量都在逐步提高,如何有效地存储和管理这些数据成为当前研究的重点。应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,设计了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究,根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型。最后针对所提出的存储方法设计了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储。     

内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.     

非阻塞事务型实时数据注入技术研究与实现

伴随着大数据时代来临,传统数据库系统已逐渐无法应对海量数据处理带来的挑战,而分布式数据库系统得到了越来越多的部署和应用.分布式数据库系统部署数据于多台机器上,利用大规模并行计算技术实现了对海量数据的存储、管理和分析.但针对金融领域严苛的事务型实时数据注入需求,现有分布式数据库系统对其支持有限,其主要原因在于利用锁和两阶段提交等方式实现分布式事务处理,无法做到非阻塞式数据注入,极大地影响了数据注入的性能.华东师范大学数据科学与工程研究院自主研发的分布式内存数据库系统——CLAIMS,已能提供面向关系型数据集的实时数据分析服务,但尚不能支持实时数据注入.针对上述实时数据注入的问题,本文重点分析了现有数据注入技术和基于分布式事务处理的实现方式,设计了面向元数据的集中式事务处理策略,利用无锁编程技术,实现了支持分布式事务的高性能实时数据注入框架,并通过热备机制实现系统的高可用性.上述框架在CLAIMS系统中的实现,经充分实验表明:该框架能够实现高通量的事务型实时数据注入,同时支持低延时的实时数据查询.     

实时数据库在分布式广播电视监测调度指挥系统中的应用与设计

从数据模型的确定,存储介质和存储结构的选择,实时数据库的数据通信设计,实时数据库的更新管理,实时数据库的分布式设计5个方面介绍实时数据库技术在分布式广播电视安全播出监测调度指挥系统中的应用与设计.实时数据库的应用有效地解决了当前监测调度指挥系统存在的调度指挥与监测之间的连动性、协调性差的问题,最大化地发挥了广播电视调度指挥监管效能.     

服务器群环境中的数据库分析与设计实例

结合中国银行东方资产管理公司的东方会计核算系统的实例，设计了在服务器群环境中，基于ORACLE数据库的分布式存储及分布式处理方案，该方案充分发挥了分布式数据库的优点，解决了北京总部与异地办事处间的数据传输和系统数据备份问题，实现了异地数据库间的连接，总服务器与不同地方的分服务器的互相通信以及数据库间的复制机制，本方案在中行资产管理公司获得良好的应用价值。     

基于差异数据的块级数据库备份系统

针对传统数据库备份系统中备份方法存在的重复数据过多、磁盘存储空间利用率低等问题,本文提出了一种基于块差异数据的数据库备份系统.该系统通过实现基于rsync算法的块差异备份,将备份文件划分固定大小的块并利用索引表对块进行排序,Hash表对块进行标识,检测相邻时间点备份文件间及备份文件内部的重复数据,并利用块差异数据备份文件和块差异指示文件实现备份数据的差异传输.实验结果表明,与传统数据库备份系统的备份方法相比,该系统的块差异备份方法消除了各时间点备份数据中的重复数据,从而有效地提高了存储空间的利用率.     

航空飞行器维修信息系统中分布式数据库的设计

本文对民用航空生产维修信息系统中分布式数据库子系统的主要特征进行了阐述,包括分布式数据库的设计原则,系统结构、时间统一、数据复制、备份与恢复及分布式查询与数据更新等内容,对我国民用航空事业的信息化建设具有重要的作用。     

一种基于触发器技术的SQL Server数据库实时备份方案

基于触发器技术的SQLServer数据库实时备份方案使用双机备份方式,根据触发器自动执行数据备份的代码和关系数据库存储数据变化前后的状态检索、数据变化痕迹,可以快捷地实现数据恢复,具有很强的实时性和直观性。     

基于瓦片金字塔模型的海量空间数据快速分发方法

针对分布式并行环境下海量空间数据的快速显示和浏览问题,提出一种基于分层、分专题的海量空间数据金字塔模型及基于数据库存储方案的瓦片数据快速分发方法.对比分析了瓦片数据在文件式管理和数据库管理两种模式下的存储机制和响应流程,并以时间跨度59年的沙尘暴观测数据为例,验证了该方法不仅能有效地组织管理海量空间数据,实现高效数据互操作,而且在多用户并发访问时,能快速响应客户端请求.     

大型文本数据库中分布式数据去重备份方法研究

数据去重可删除备份过程中的冗余数据,节约存储资源与与网络带宽,是目前数据存储领域研究的重点问题。针对传统方法去重率和吞吐量低的问题,提出一种新的大型文本数据库中分布式数据去重备份方法。介绍了大型文本数据库中分布式数据去重方法基本思想,通过文件管理部分对数据片组中的扶贫数据进行查询和统计,给出数据片组路由策略,分析了数据预取过程。通过最终权值完成对数据块的排列,以恢复时间与恢复成本达到最小化为目的设计适应度函数。通过改进遗传方法对大型文本数据库中分布式扶贫数据进行备份。实验结果表明,所提方法有很高的去重率和吞吐量,且成本低,恢复速度快。     

分布式空间数据库中有效数据频繁项实时检测研究

当前数据频繁项检测方法往往具有数据存储结构复杂、维护困难和复杂度高的弊端;针对这种情况,提出一种新的分布式空间数据库中有效数据频繁项实时检测方法。对事物数据进行分配,建立全局VFP树,将最近窗口中全部项集添加至全局VFP树,通过临时表对项集信息进行保存,利用遍历全局树实时检测有效数据的频繁项。通过滑动窗口的初始化阶段与滑动阶段对最旧一批项集临时表进行处理,实现维护。实验结果表明,所提方法能够有效实现分布式空间数据库中有效数据频繁项的实时检测;和其他方法相比,复杂度低、检测可靠性高。     

基于实时操作数据存储的动态警情分析

通过监控公安业务系统日志, 从业务系统日志中实时抽取细节数据到操作数据存储, 实现操作数据存储与业务系统的秒级实时同步, 建立基于“日志 操作数据存储 数据仓库”三层体系结构的公安数据仓库, 基于即时在线联机分析查询、 操作数据存储的多维数据集动态更新和数据集市的多维数据集, 提供即时在线联机分析服务. 实验结果表明, 该动态数据仓库能够提供实时警情决策分析, 并且具有对业务系统负荷小、 实时性强、 访问效率高等特点, 较好地满足了公安系统对实时性的要求.     

Design and development of real-time query platform for big data based on hadoop

This paper designs and develops a framework on a distributed computing platform for massive multi-source spatial data using a column-oriented database(HBase).This platform consists of four layers including ETL(extraction transformation loading) tier,data processing tier,data storage tier and data display tier,achieving long-term store,real-time analysis and inquiry for massive data.Finally,a real dataset cluster is simulated,which are made up of 39 nodes including 2 master nodes and 37 data nodes,and performing function tests of data importing module and real-time query module,and performance tests of HDFS's I/O,the MapReduce cluster,batch-loading and real-time query of massive data.The test results indicate that this platform achieves high performance in terms of response time and linear scalability.