基于Oracle的实时数据存储访问

面对快速发展的数据分析需求,流程工业实时数据库单纯的数据存储和回溯功能已不能满足实际的应用要求.以关系数据库为介质,研究了基于Oracle的实时数据获取、处理、存储和访问技术.重点探讨了实时数据的压缩存储,并给出采用Oracle数据库内部语言PL/SQL实现数据压缩算法,由于数据的存储和访问中引进了数据压缩技术,在低频率和点数较少时,该技术可作实时数据库的替代方案.给出的方法在Oracle10g企业版中测试通过,并成功应用在某大型石化企业的丁二烯分离装置上,取得了良好的效果.     

基于列存储数据库的压缩态数据访问算法

基于列存储数据库数据访问的特点, 对主流整数压缩格式进行改进, 提出了3种整数压缩算法及相应的压缩态数据访问算法. 实验结果表明, 不解压而直接访问压缩态数据非常高效, 从而为数据的压缩态运算提供了有力支持.     

基于Hadoop企业私有云存储平台的构建

针对企业级用户面临文件和数据量的指数级增长,现有的文件存储设施不能适应业务增长问题,提出基于Hadoop构建企业私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理业务。比较了私有云存储和传统存储模式,分析了私有云存储技术优势和可行性,提出企业私有云存储架构模型。分析结果表明:企业私有云存储平台适用于关键业务应用、在线事务处理,满足企业对海量数据存储、数据规模易扩展性的要求。     

工业现场传感器实时数据存储系统设计与实现

针对工业现场中大量的传感器以连续高并发的方式所产生的海量实时数据难以高效可靠存储的问题,设计了基于 Hadoop 与 HBase 的工业现场传感器实时数据存储系统,并利用5台服务器和1个磁盘阵列构建了数据存储系统原型,最后通过仿真程序模拟工业现场传感器实时数据的高并发特性,对所提出的数据存储系统性能进行了验证。实验表明,所提出的工业现场传感器实时数据存储系统数据存储可靠、运行稳定、并发处理能力强。     

基于语义的自主式存储中介文件系统及其访问策略

自主式存储中介系统(ASAS)是一个联系用户或应用程序与海量存储系统(可同时采用DAS、NAS、SAN等多种存储技术)的中间平台.ASAS能够自主地发现存储系统中所使用的存储设备的种类和可利用的各种资源;针对传统语义文件系统的主要缺点,即无法得到质量较高的文件属性,利用用户访问的模式捕捉用户状态,将直接文件属性设置与间接属性设置方法结合起来,实现基于语义的ASAS文件系统;通过ASAS文件系统扩展元数据的帮助,增加文件属性的数量,提高文件的可分类性;使ASAS能够自动收集用户的应用信息和需求,便于用户合理地存储数据并高效地进行访问.     

云存储中数据安全访问的研究

随着云存储的日益发展,将数据外包存储在不可信的第三方越来越普遍。即使用户对数据进行了加密,攻击者仍然能够通过分析访问模式获得存储数据的信息。在外包存储应用中,无关RAM允许客户对不可信服务器隐藏数据的访问模式,攻击者无法获取数据的有用信息。提出一种新的无关RAM结构,对客户的每个请求仅需常量级代价和少量客户端存储空间即可实现数据的无关访问。     

基于OLE DB的ADO数据访问技术

介绍了基于OLEDB的ADO数据访问技术,并详细介绍了OLEDB/ADO的概念及对象模型和工作原理,还举例说明了ADO数据访问技术的一般过程和实现方法.     

基于Hadoop的云存储集群的设计

随着信息技术的快速发展,高校在科学研究中的数据呈几何倍增长.为了整合教育资源、节约教育成本,本文利用Hadoop构建一个高效、稳定、可扩展的云存储集群,从而解决高校在教育教学过程中资源浪费和存储空间不足的问题.     

数据存储的探讨

随着信息化进程加速,数据爆炸性的增长使得数据的存储变得尤为重要.本文介绍了当今数据存储领域中的三种主流存储模式DAS、SAN、NAS,并对这几种模式进行了分析比较.最后,结合运用实际提出了选择数据存储的见解.     

基于ADO.NET的通用数据访问模型的实现

利用面向对象和软件重用的思想,在ADO.NET基础上设计出数据库的通用访问模型和底层数据访问引擎,并就开发周期、响应速度、稳健性等方面进行了性能分析,给出了基于此模型的示例.采用该模型,程序员无需再关注底层数据访问细节而迅速地开发出基于数据库的.NET应用程序.     

基于Hadoop的大数据处理平台研究

大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.     

基于Hadoop的大数据论坛日志系统的分析与设计

大数据时代的诞生,为解决挖掘海量数据存储的信息带来了技术上的革命,通过网站点击存留的日志数据,分析这些数据,可获知许多对网站运营至关重要的信息。本文采用Hadoop分布式平台,使用HDFS数据存储,利用Hive来分析日志数据,设计一种Web日志分析系统,并阐述了系统的设计过程。     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

基于Hadoop的校园网视频流量访问偏好分析

针对传统视频用户访问日志的偏好分析方法存在数据客观性差和用户关联分析困难等问题,在传统偏好分析方法的基础上,面向互联网数据原始流量,提出一种基于主流大数据平台技术Hadoop的校园网视频用户访问偏好分析方案。该方案利用网络爬虫和深度包检测技术,对视频访问内容进行精细化识别,进而研究了校园网视频流量的访问偏好,并对比了MySQL和Hive的查询效率。结果表明,文化层次的差异导致了视频用户群体的不同需求,低成本硬件环境下对大数据的处理Hive更显健壮性。另外,该方案能稳定可靠地实现对校园网视频流量访问的偏好分析,捕捉用户网络舆情,制订定向营销方案并提供个性化视频推荐服务。经现网测试验证,设计的视频访问偏好分析方案达到了预期的效果。     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

基于Hadoop的即时查询分析平台

为了解决大数据的深度挖掘和即时查询的需求,建立了一个分布式、可伸缩、低成本和大容量的并行计算集群,实现了半结构化数据的SQL查询分析,并提供了标准对外接口。     

基于Hadoop云平台的数据传输保护研究

Hadoop是一套开放的云计算平台,使用Map Reduce处理数据的分割与合并,简单的设置就可使用云计算的强大功能.但随之而来的是个人数据在没有任何保护的情况下随时可能遭受攻击,因此云平台上的个人信息安全问题就显得格外重要.本研究提出了一种具备安全数据传输的Hadoop云平台规则来增加云数据分割与合并的安全度.实验结果证明,本安全方案确实提高了云平台数据传输的安全性.     

基于Hadoop的油气水井生产大数据分析与应用

基于Hadoop框架的分布式存储、并行计算以及数据仓库建模等技术,构建Kylin多维分析平台,实现油气田注入井生产数据的统一存储、计算、分析功能,解决多表联合查询效率低、多数据库之间存在数据孤岛等问题。实现16个分散数据库的快速查询和管理优化,查询分析效率提升3倍。该平台可统一管理8×10~4余口注入井生产数据,业务分析时间由原来的1 d缩短到现在的5 s,查询时间为秒级响应。通过建立注入井生产数据多维分析模型,在中国石油天然气集团公司实现了注入井宏观管理分析、问题井管理分析、注入井生产运行分析等应用。实现了系统的快速响应,满足了高效分析需求。注入井生产数据分析粒度由原来的油田细化到单井,业务分析更为细致,能够实时掌握油气生产动态。     

Hadoop平台下MapReduce模型的数据分配策略研究

针对Hadoop开源云计算平台下MapReduce并行编程模型中间数据分配不均衡的问题,提出基于抽样的改进型MapReduce模型,即SMR(Sample MapReduce)模型.SMR模型采用MapReduce作业方式对各分块数据集进行并行抽样,基于抽样结果,利用LAB(leen and balance)均衡算法对Map端输出的中间数据进行均衡分配,以改善Reduce端处理数据负载不均衡问题.实验结果表明:改进型MapReduce模型可以有效减少作业运行时间,Reduce端输入数据达到负载均衡.     

基于云存储的分组域监测系统

针对当前电信分组域监测系统海量数据应用环境的高效性、可扩展性和安全性的不足,提出一种基于云存储的新监测系统.新系统采用Hadoop云存储技术,融合了电信私有云,解决了系统及时处理和存储海量数据的难题,优化了系统整体的性能.通过测试验证,新系统稳定可靠,适合电信大容量监测需要.