Design and development of real-time query platform for big data based on hadoop

This paper designs and develops a framework on a distributed computing platform for massive multi-source spatial data using a column-oriented database(HBase).This platform consists of four layers including ETL(extraction transformation loading) tier,data processing tier,data storage tier and data display tier,achieving long-term store,real-time analysis and inquiry for massive data.Finally,a real dataset cluster is simulated,which are made up of 39 nodes including 2 master nodes and 37 data nodes,and performing function tests of data importing module and real-time query module,and performance tests of HDFS's I/O,the MapReduce cluster,batch-loading and real-time query of massive data.The test results indicate that this platform achieves high performance in terms of response time and linear scalability.     

基于XML与RDBMS的GIS数据存取技术

介绍GIS (geographic information system, 地理信息系统)空间数据在关系数据库中的存储方法.以shape文件为例,分析shape文件系列(*.shp, *.shx, *.dbf)的存储格式,研究在IBM DB2 9关系数据库系统中以XML (extensible markup language, 可扩展标识语言)方式存储GIS空间数据的方法,实现了shape文件在DB2 9关系数据库中的存储.     

基于Oracle的实时数据存储访问

面对快速发展的数据分析需求,流程工业实时数据库单纯的数据存储和回溯功能已不能满足实际的应用要求.以关系数据库为介质,研究了基于Oracle的实时数据获取、处理、存储和访问技术.重点探讨了实时数据的压缩存储,并给出采用Oracle数据库内部语言PL/SQL实现数据压缩算法,由于数据的存储和访问中引进了数据压缩技术,在低频率和点数较少时,该技术可作实时数据库的替代方案.给出的方法在Oracle10g企业版中测试通过,并成功应用在某大型石化企业的丁二烯分离装置上,取得了良好的效果.     

体全息存储技术的研究

为优化球面参考光体全息存储技术,从理论上推导了球面参考光体全息存储的衍射效率与光路参数之间的关系,讨论了球面波参考光各种参数对体全息存储容量的影响。     

基于Hadoop的录波数据的存储与访问

在智能电网环境下,录波数据具有广域、全景、海量和可靠的特征,传统的存储硬件采用磁盘阵列,数据库管理软件采用关系数据库系统的方法由于系统扩展性差、成本高、可靠性低,难以适应要求。本文提出了一种基于Hadoop的录波数据分布式存储与访问的新方法,并将其与传统方法的访问速度进行了对比,证明了新方法的高效性。     

基于顺序存储介质的电话语音数据存储系统设计

 数据存储系统是电话录音监控系统的重要组成部分之一.存储系统的研究主要包括系统设计和存储调度算法研究两方面.针对电话录音监控系统应用的特点,提出了一种基于顺序存储介质——磁带的电话语音数据存储系统设计方法,并给出了在该系统下进行语音数据文件查询的算法.     

基于OPC技术的MCGS实时数据监控应用

介绍了OPC理论知识和OPC规范在工业控制领域的意义。设计了一种基于PROFIBUS总线和OPC的柴油机涂装远程控制系统,采用MCGS组态软件实现与底层设备的数据交换并建立OPC服务器,OPC客户端以SIMATIC NET为集成软件,对远程OPC服务器进行数据存取和程序控制,并从系统配置、软件设置方面阐述了实现方法,以图示给出了MCGS和OPC连接的具体步骤。应用结果表明,实现了涂装控制系统与工厂管理信息系统的互连,具有很好的实用价值。     

基于Hadoop的大数据处理平台研究

大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.     

基于Mysql的Bind域名数据存储技术研究与实现

通过分析域名软件中域名数据存储技术现状和不足,提出基于Mysql的域名数据存储方法,以Bind 9.4.2为研究对象,采用sdb接口设计并实现了基于Mysql的Bind域名数据存储模块.采用Mysql存储数据的Bind域名系统具有更好的可维护性,易扩展性和安全性.     

基于NAS和SAN技术的校园网数据存储结构策略

基于校园网数据存储的实际需求,在分析当前校园网数据存储存在问题和实际需求特征的基础上,系统研究了网络附加存储技术(NAS,Network Attached Storage)和存储区域网络技术(SAN,Storage Area Network)的技术特点,构建了基于NAS和SAN技术校园网数据存储结构的策略模型,该模型提...