云计算在手机短信分类中的应用研究

云计算技术的应用领域之一就是信息安全,采用kNN分类算法,在基于云计算的环境下,采用HBase数据存储方式存储比对库短信、待测短信和短信特征集,使用MapReduce技术解决短信预处理和分类阶段的各项任务.在有5台PC机的计算机集群环境下,采用改进的k条短信选取规则和分类计算规则下,使得单位时间内分类短信的数量比提高到4,短信识别率最高达到93.5%.     

工业现场传感器实时数据存储系统设计与实现

针对工业现场中大量的传感器以连续高并发的方式所产生的海量实时数据难以高效可靠存储的问题,设计了基于 Hadoop 与 HBase 的工业现场传感器实时数据存储系统,并利用5台服务器和1个磁盘阵列构建了数据存储系统原型,最后通过仿真程序模拟工业现场传感器实时数据的高并发特性,对所提出的数据存储系统性能进行了验证。实验表明,所提出的工业现场传感器实时数据存储系统数据存储可靠、运行稳定、并发处理能力强。     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

基于Thrift的HBase数据存储机制优化

针对Thrift接口服务定义的IDL对HBase数据库按行存储,当数据量大时频繁进行数据请求操作,增加服务调用时间,影响数据通信性能的问题,在详细分析Thrift源码架构基础上,提出了一种新的Thrift IDL设计模型,该模型重新定义了数据传输结构,将多行数据绑定在一起,经过一次RPC调用即可完成多行数据按块存储；采用新的IDL模型,修改了HBase Thrift服务端的接口以及客户端的非阻塞实现。理论分析和实验结果表明,该方法可有效降低IDL向服务端发送数据操作请求频率,使得HBase储存效率提高4~5倍。     

Mobile Internet Big Data Platform in China Unicom简

China Unicorn, the largest WCDMA 3G operator in China, meets the requirements of the historical Mobile Internet Explosion, or the surging of Mobile Internet Traffic from mobile terminals. According to the internal statistics of China Unicom, mobile user traffic has increased rapidly with a Compound Annual Growth Rate （CAGR） of 135%. Currently China Unicorn monthly stores more than 2 trillion records, data volume is over 525 TB, and the highest data volume has reached a peak of 5 PB. Since October 2009, China Unicom has been developing a home-brewed big data storage and analysis platform based on the open source Hadoop Distributed File System （HDFS） as it has a long-term strategy to make full use of this Big Data. All Mobile Internet Traffic is well served using this big data platform. Currently, the writing speed has reached 1 390 000 records per second, and the record retrieval time in the table that contains trillions of records is less than 100 ms. To take advantage of this opportunity to be a Big Data Operator, China Unicom has developed new functions and has multiple innovations to solve space and time constraint challenges presented in data processing. In this paper, we will introduce our big data platform in detail. Based on this big data platform, China Unicom is building an industry ecosystem based on Mobile Internet Big Data, and considers that a telecom operator centric ecosystem can be formed that is critical to reach prosperity in the modern communications business.     

基于MapReduce和HBase的 海量网络数据处理

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中,需要对海量矢量数据和栅格数据进行存储并对高并发的用户查询请求提供高效响应,传统的设计方案难以满足需求的问题,提出一种使用基于内存存储的分布式数据库HBase存储空间数据,并设计基于GeoHash的分布式空间索引,实现了矢量空间数据与栅格空间数据的分布式存储与快速查询.实验表明,该方法提升了海量空间数据的查询速度.     

基于两阶段提交协议的HBase数据故障恢复方法

针对HBase在split期间发生异常会导致数据丢失的问题,以HBase分布式数据库为研究平台,参考关系型分布式数据库的故障恢复方法,提出一种在HBase中实现两阶段提交协议的故障恢复方法. 实验表明该方法能够有效解决split期间发生异常导致数据丢失的问题,有效改善HBase的高可用性.     

大数据存储技术在张衡一号卫星数据服务中的应用

随着张衡一号卫星监测数据的不断增加，目前的HDF5文件存储方式不仅在性能扩展性、读写并发性等方面凸显出劣势，而且无法实现对业务数据的精准时空查询，这给用户带来很大困扰。为解决对海量卫星数据的高效存储和读取，本文分析了HBase数据库和ElasticSearch搜索引擎的优缺点，提出了一种基于二者相结合的卫星大数据存储方案，并搭建了Hadoop架构的大数据试验平台，完成了对张衡一号卫星空间电场ULF频段数据的存储试验和对比测试。结果表明，该方案大大提高了对海量卫星观测数据的读写并发性能，达到当前文件存储方式的几十倍，并实现了对卫星数据的精准定位和快速查询，很好地满足了用户要求。