基于云平台的分布式数据注册中心访问性能

面向数据的体系结构(data oriented architecture,DOA)采用"面向数据和以数据为核心"的思想,建立数据大平台与碎片化应用的数据生态系统;研究其中数据注册中心(data register center,DRC)以My SQL Cluster分布式数据库技术为核心,部署在Open Stack云计算平台中的可行性。通过对DRC组件原理的分析,对DRC在云平台中具体的环境部署与搭建,利用LoadRunner测试工具对系统进行测试。基于测试结果,对DRC系统性能进行分析和评估.结果表明以云平台为基础的DRC设计,可以应对大数据变革对软件体系结构所带来的挑战。     

基于ADAM优化卷积神经网络的火电厂大数据平台预警模型测试与应用

为了提高火电厂大数据平台的生产维护安全化、监控管理精细化、经济效益持续化,提出了大数据平台内开发故障诊断预警系统,采用基于自适应力矩估计(adaptive moment estimation, Adam)算法优化二维卷积神经网络方法建模技术融入于大数据平台中,并结合大数据平台和专家故障预警诊断功能进行测试与应用。首先对故障预警模型进行数理建模及模型训练优化,直至满足模型功能要求,实施模型算法代码与大数据平台的合库部署上线、满足提前发现系统故障的功能,并结合机理分析对故障系统进行细致化分类,最终发现根本的故障原因。实现了火电厂生产过程中各系统运行特性的全周期监控,在系统或设备发生故障前进行预警并推送异常信息,规范化了模型部署在大数据平台后的测试与实施工作,进一步发现模型缺陷,提高模型准确率。     

基于Neo4j的面向体系架构(DOA)的数据注册中心(DRC)的实现

为解决大数据时代下数据急剧增长带来的信息孤岛、系统扩展难及数据管理过度复杂等现象,采用面向数据体系架构(DOA)的思想和相关技术,结合Neo4j,设计了基于图形数据库的具有分布式、高效率、扩展性强的数据注册中心(DRC)方案,并搭建了实验平台.采用分布式图形数据库的注册方案已得到初步验证,与传统的数据注册方案相比,能够提高系统的运行效率,增强系统的扩展性,同时,简化了数据管理.     

面向大数据服务的物联网软件平台设计

提出了一种面向大数据应用服务的城市物联网软件平台,以满足城市及其主要利益相关者对物联网的需求。首先,提出了专用平台架构用于物联网城市服务环境,该平台可收集和处理大数据。以智能交通系统为应用场景,描述如何使用该物联网平台来满足相关场景的应用需求。此外,定义了关键数据处理组件,这些组件对于以实时的方式提供高质量的数据流至关重要。最后,采用真实且大规模的数据集对本平台进行测试,测试结果表明,本物联网软件平台能够为城市物联网提供低延迟的分析环境。     

基于PXI虚拟仪器的IPMC输出力测试

离子聚合物金属复合物(ionic polymer metal composite,IPMC)是一种离子型的电致动聚合物,在低电压驱动下可以产生较大的位移形变,因其柔性好、响应速度快、无噪音、与人类肌肉特性相近等特点,成为仿生驱动材料的较佳选择.针对IPMC材料的输出力进行测试研究,搭建了一套基于美国国家仪器(NI)公司的面向仪器系统的PCI扩展(PCI extensions for instrumentation,PXI)虚拟仪器平台的IPMC力学测试系统,通过LABVIEW开发环境编写了IPMC力测量数据的采集与分析处理软件,通过该系统可以直观得到IPMC输出力变化规律.针对商业离子基膜和自浇铸离子基膜的IPMC进行测试对比分析,得到IPMC材料的输出力变化规律.     

一种基于代理的DAIS数据服务方案设计与实现

针对 DAIS(Data Acquisition from Industrial Systems)数据接口、数据模型及其与CIM (Common information model)数据模型之间的差异性,提出一种 DAIS 数据服务代理的结构方案,旨在解决因 DAIS 数据服务与底层数据服务之间频繁的数据交换而出现的模型转换、线程冲突问题,隔离:DAIS 组件与底层服务之间的直接交互,以简化模块结构的设计,提高数据访问的效率,避免数据访问冲突,增强数据服务的稳定性.     

Co-OLAP:CPU&GPU混合平台上面向星形模型基准的协同OLAP（英文）

当前GPU(图形处理器),即使是中端服务器配置的中端GPU也拥有强大的并行计算能力.不同于近期的研究成果,中端服务器可能配置有几块高端CPU和一块中端GPU,GPU能够提供额外的计算能力而不是提供比CPU更加强大的计算能力.本文以中端工作站上的CoOLAP(协同OLAP)为中心,描述如何使中端GPU与强大的CPU协同以及如何在计算均衡的异构平台上分布数据和计算以使Co-OLAP模型简单而高效.根据实际的配置,基于内存容量,GPU显存容量,数据集模式和订制的AIR(数组地址引用)算法提出了最大高性能数据分布模型.CoOLAP模型将数据划分为驻留于内存和GPU显存的数据集,OLAP计算也划分为CPU和GPU端的自适应计算负载来最小化CPU和GPU内存之间的数据传输代价.实验结果显示,在SF=20的SSB(星形模型基准)测试中,两块至强六核处理器的性能略优于一块NVIDA Quadra 5 000GPU(352个cuda核心)的处理性能,Co-OLAP模型可以将负载均衡分布在异构计算平台并使每个平台简单而高效.     

Co-OLAP:CPU&GPU混合平台上面向星形模型基准的协同OLAP

当前GPU(图形处理器),即使是中端服务器配置的中端GPU也拥有强大的并行计算能力.不同于近期的研究成果,中端服务器可能配置有几块高端CPU和一块中端GPU,GPU能够提供额外的计算能力而不是提供比CPU更加强大的计算能力.本文以中端工作站上的Co-OLAP(协同OLAP)为中心,描述如何使中端GPU与强大的CPU协同以及如何在计算均衡的异构平台上分布数据和计算以使Co-OLAP模型简单而高效.根据实际的配置,基于内存容量,GPU显存容量,数据集模式和订制的AIR(数组地址引用)算法提出了最大高性能数据分布模型.Co-OLAP模型将数据划分为驻留于内存和GPU显存的数据集,OLAP计算也划分为CPU和GPU端的自适应计算负载来最小化CPU和GPU内存之间的数据传输代价.实验结果显示,在SF=20的SSB(星形模型基准)测试中,两块至强六核处理器的性能略优于一块NVIDA Quadra 5 000GPU(352个cuda核心)的处理性能,Co-OLAP模型可以将负载均衡分布在异构计算平台并使每个平台简单而高效.     

基于数据驱动的自动化测试平台设计

以目前流行的自动化测试框架为基础,以数据驱动测试框架为核心,采用数据驱动脚本技术,在设计自动化测试平台的过程中实现了测试数据与测试脚本的分离.同时借鉴了测试脚本模块化的思想,将测试脚本进行分层次、嵌套管理,完成了基于数据驱动的自动化集成测试平台的设计.     

面向服务架构的数据服务在数据访问中的应用

虽然面向服务架构(SOA)具有跨平台、松耦合等特性,但其并不支持异构数据源直接访问及处理.为了在数据访问中减少对应用程序的依赖,采用数据服务初步实现了面向服务架构的数据访问机制.在分析传统异构数据访问方法优缺点的基础上,针对SOA中Web服务不能直接访问数据源的问题,探讨了面向服务架构的数据服务和基于数据服务的访问方式,并对基于SOA的数据服务平台进行了研究.使用微软的ADO.NET Data Service实现了数据服务,通过实例验证了数据服务不仅能够直接访问数据源,并且能通过标准的Web服务接口集成到SOA中.与其他数据访问方式的对比分析结果表明,数据服务不依赖应用程序即可对异构数据源进行统一访问.     

基于数据仓库的数据清理技术概述

数据清理在数据仓库与数据挖掘中有着重要而广泛的应用。作者论述了数据清理的基本概念、作用和方法。     

反计算机取证技术研究

分析了反计算机取证的基本概念和方法,比较了反计算机取证所采用的数据擦除、数据加密、数据隐藏、数据混淆和数据转换等主要技术,并提出了一种安全、高效的基于m序列的数据擦除方法.     

数据虚拟化研究综述

大数据系统中数据源多,数据规模大,且数据具有异构异质的特点,为满足各种数据集成需求,如何快速高效地整合数据就显得越来越重要且具有挑战性。数据虚拟化能够灵活地实现各种数据集成需求,介绍数据虚拟化的概念、优势及应用需求,给出一种数据虚拟化系统架构,并对其中的数据虚拟化平面与管理平面以及各层的功能进行了阐述。重点针对数据虚拟化系统中存在的一些关键问题与挑战进行了详细分析,给出了需要进一步研究的课题与方向。     

基于DataGuard的Oracle RAC高校数据保护研究

数据是高校管理信息化产生的最重要的无形资产,数据的丢失或者损坏都将极大地损害教学、管理和科研工作的正常开展．Oracle RAC是目前使用最为广泛的数据库集群化管理方式,在此基础上开展DataGuard数据保护技术的应用研究,可以弥补集群数据库环境在数据容灾、备份和故障恢复方面的不足,提升数据的安全性,确保高校各类应用系统的正常运行．     

ACM程序设计竞赛探讨

ACM程序设计竞赛,是由ACM主办的年度性的国际大学生程序设计比赛。该竞赛是世界范围内大学生中最具影响力,历史最悠久的国际计算机赛事。ACM程序设计竞赛的题目对算法设计、编程实现都有较高的要求,需要参赛者掌握数据结构、算法设计和程序设计方面的知识。文章对ACM程序设计竞赛的题目进行剖析,总结出一套实用的解题方法,分别从输入输出数据的规范化、数据结构的选择、数据类型的转换以及运算的选择4个方面辨明题意、快速设计算法。     

数据仓库技术研究

数据仓库是近几年数据库领域研究的热点问题之一 ,也是决策支持系统 ( DSS)与数据库技术的结合点。在对传统的数据库与数据仓库的实现技术进行分析的基础上 ,讨论了数据仓库的实现过程、关键环节及相关技术。     

基于模糊神经网络的空间数据挖掘方法研究

本文针对庞大空间数据集性质复杂且非线性、持续性及噪音普遍存在的情况，提出利用模糊神经网络模型进行空间数据挖掘，并具体讲述其挖掘步骤及发现知识的类型。     

基于Web的数据挖掘模型

Web上有大量的数据信息,怎样对这些数据进行复杂的应用成了现今数据库技术的研究热点.提出一个具有良好发展前景的基于Web进行数据挖掘的模型,并详细阐述了该模型的结构和工作机理.     

基于数据拆分的数据集成技术研究

分析了数据集成过程中需要将集中存放的数据进行拆分实际问题,提出了基于字段的纵向拆分、基于记录的横向拆分和基于表的双向拆分等3种数据集成方法,实现了数据集成和资源共享,其思想对于数据集成的过程中需要将各自分布的数据合并起来的实际问题也有很大意义。     

基于数据仓库的4G地学空间数据集成技术研究

针对多源、 海量、 异构分布的4G地学空间数据集成难题, 在分析联邦数据库、 中间件集成、 数据仓库等常用数据集成方法优劣的基础上, 提出基于数据仓库与中间件的地学数据集成管理模式; 以JB地区2005年度矿区及所属矿山的10种矿产作为数据源, 构建基于SQL(Structured Query Language) Server的面向服务的体系结构进行验证。结果表明, 该模式既能满足4G地学空间数据异构分布、 网络化传输的特点, 又能满足数据更新快、 实时一致性高的要求, 便于在云平台上实现。