物联网中的海量数据处理技术

物联网近年来得到了迅速的发展.停随着各种传感设备的使用,物联网所处理的数据量呈现出海量特征.如何对这些数据进行高效处理,从中获取有用信息,进而提供智能决策,是物联网面临的关键问题.该文对物联网中使用的海量数据处理技术进行了介绍.     

DCQD:一种物联网高性能数据采集平台的设计与实现

在物联网环境中,大量的传感器产生了海量的数据.这些数据通常都需要写入到数据库中来实现数据的分析与应用.当这些物联网海量传感器数据插入到数据库中的时候,会在存储系统中产生严重的小数据同步写性能瓶颈.针对此问题,本文设计了一种高性能数据库磁盘缓冲队列DCQD(Disk Cache Queue for Database).DCQD在保证物联网采集数据同步写入磁盘,确保不丢失数据的基础上,可以显著优化海量数据插入到数据库中的性能.实验表明,DCQD在物联网应用环境中,可以显著地提高数据采集系统的性能.     

物联网海量数据存储系统研究

在信息时代的今天,物联网技术的应用和发展如火如荼,在构建智慧城市和智慧社会中起着举足轻重的作用。该文针对物联网所涉及到的海量数据,提出了基于HBase的数据存储方案,从物联网海量数据存储系统的角度对其进行了设计和实现,以便为海量的数据处理提供良好的安全保障。     

一种改进的基于云平台的物联网数据挖掘算法

物联网数据挖掘处理的是海量数据,当前数据挖掘的一个研究热点就是在大规模数据集中快速有效地提取用户所需的信息。对传统Apriori算法做相应的改进,使得检索出全部的频繁项集,只要对事务数据库进行一遍扫描就可以完成,将该Apriori算法进行Map/Reduce化,利用云计算的分布式并行计算的性质,将其应用到基于云计算的物联网数据挖掘,实验验证了改进的Apriori算法的有效性。     

数据挖掘及其应用

数据库—数据仓库技术和网络技术的迅猛发展,使我们积累了越来越多的数据,如何对这种海量数据进行深入分析和利用,并从中发现有用的知识,已成为信息化社会所面临的重要问题。本文探讨近年发展起来的海量数据处理技术——数据挖掘的概念、任务、方法以及其在商业领域中的应用。     

基于物联网的数字化矿山异构信息集成处理模型

为研究煤矿企业安全生产中出现的如何将现有智能物件和子系统链接起来的问题,如何实现应用系统数据大集成的问题,以及如何解决物联网的数字化矿山中海量的异源、异构数据的问题,提出采用基于XML的异构数据源集成算法(XUTD),首先将异构数据转换成统一的XML格式的数据,提高异构处理数据的能力,然后将异源海量数据在物联网的数字化矿山异构信息集成处理模型(DMIT)中应用,将集成的复杂系统数据进一步的通过数字化矿山异构信息集成处理模型进行负载分散,增加了网络传输压力,从而满足煤矿企业异构数据集成的要求,实现了异构、异源数据信息建设的总体思想。为有效利用物联网技术实现数字化矿山数据大集成提出了有效的解决方案。模型在煤矿企业应用后证明,基于物联网的数字化矿山异构信息集成处理模型可以有效解决异源、异构数据接入的问题,满足了煤矿企业异构数据集成的需求。     

NoSQL数据库技术在移动互联网中的应用

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景.     

云计算环境下煤矿应急管理海量数据存储技术

随着物联网、无线传感器网络等技术在煤矿应急管理信息化建设中的广泛应用,煤矿大量监测、控制及自动化等实时系统产生的流式数据会形成相当规模的数据集,对煤矿企业现有信息系统构架的海量数据存储及处理性能提出了更大的挑战。为了研究应对此挑战的海量数据存储技术,通过分析煤矿应急管理海量数据的来源及其特点,设计了云计算环境下基于NoSQL的煤矿应急管理海量数据存储方式,并对煤矿应急云平台进行了Hadoop基准测试,同时利用陕西黄陵矿业集团一号矿井某段周期内的瓦斯数据,对煤矿应急云平台和DBMS系统的处理性能进行对比。实验结果表明,基于Hadoop构建的煤矿应急云平台在海量数据存储与处理时均有良好的性能表现。     

基于多维散列桶的数据定位技术MDHash

传统的关系型数据库常用于永久、稳定的数据,它强调维护数据的完整性、一致性,但无法满足海量数据处理的实时性;而内存数据库虽然读写速度高出传统数据库几个数量级,但其频繁的数据交换、事务操作等由于操作复杂,都无法满足大型应用系统对于相对格式的海量数据进行固定格式的实时比对要求。提出了基于多维散列桶的数据定位技术MDHash,结合多种内存数据库的优点,主要通过散列桶、不定长字符串散列、文档散列共三层散列的方法来实现数据的定位,满足系统对海量数据的实时检索比对。     

数据挖掘技术及其应用研究

数据库—数据仓库技术和网络技术的迅猛发展 ,使我们积累了越来越多的数据 ,如何对这种海量数据进行深入分析和利用 ,并从中发现有用的知识 ,已成为信息化社会所面临的重要问题 .探讨近年发展起来的海量数据处理技术—数据挖掘的概念、任务、方法、过程 ,以及数据挖掘在有关行业中的应用 ,说明了在高校相关专业中开设数据挖掘课程的必要性     

海量数据处理技术在数字城市建设中的应用研究

数字城市中包含着海量数据,如何处理这些海量数据是数字城市建设中的一个重要问题。本文主要介绍了海量数据的数据库设计策略、数据对象的存放策略,以及海量数据处理的若干值得注意的方面。     

海量数据处理过程中数据挖掘算法的应用

信息时代的快速发展带来的是信息总量呈现几何级数的增加,而海量数据的存储和分析处理对计算机硬件能力和数据分析能力都是一个极大的挑战．数据挖掘算法是针对于大批量数据处理而提出并逐步发展起来的,基于完备的数据库技术,可以在云计算算法、矩阵压缩算法和并行关联算法的基础上,进行算法集成,能进一步提高数据挖掘的速度、精度和时效性,在实际海量数据的处理过程中有较好的适应性,为海量数据处理提供了新的技术分析方法．     

浅谈面向物联网传感器信息的数据分配策略

物联网是在技术不断发展的基础上提出的一个全新概念,主要指的是利用物理世界中的物体相互通信协作来完成同一个任务的技术,此技术从提出至今虽然只有短短十几年,但是取得的成绩却十分巨大。物联网传感器数据具有海量性的特征,主要是因为物联网传感器会不断地产生大量的描述物理的信息,而这些信息会被汇聚到数据中心,进而形成海量的数据流,海量数据流不仅包括实时信息,还包括历史信息。因为物联网传感器的数据信息和时间、空间都有关系,所以如果不进行有效的数据分配,很容易产生访问失衡的情况,该文就面向物联网传感器信息的数据分配策略展开讨论,旨在实现数据分配的最优,从而达到全时域中的通信成本最低。     

Web挖掘与粗糙集模型研究

Web上有海量的数据信息,怎样对这些数据进行复杂的应用成了现今数据库技术的研究热点。数据挖掘就是从大量的数据中发现隐含的规律性的内容,解决数据的应用质量问题。充分利用有用的数据,废弃虚伪无用的数据,是数据挖掘技术的最重要的应用。     

ORACLE分区技术

在超大型数据库和数据仓库中,普通的数据库建表方式已经不能满足海量数据的存储和应用要求。针对这一情况,ORACLE以独到的分区技术解决了海量数据应用问题。本文深入浅出地介绍了基本的ORACLE分区技术,以求管中窥豹。     

大数据下的结构性态监测信息管理系统设计与应用

论述了一种适用于处理海量监测数据的结构性态监测信息管理系统(MIMS)的设计方案.基于三层浏览器/服务器架构搭建软件系统,利用多服务器协同工作机制提升系统性能.应用大数据技术,充分考虑海量监测数据对数据管理系统的高要求,选用MongoDB数据库作为数据管理平台,论述了数据库结构和采用的数据格式.最后以宁波南站结构性态监测为例,展示了系统的实现效果.结果表明该系统具有很好的扩展性和通用性,每天可接收远程数据约10GB,能实现对海量监测数据的实时吞吐和高效组织管理.     

基于XML与Web的数据挖掘

Web上有海量的数据信息,怎样对这些数据进行复杂的应用成了现今数据库技术的研究热点.数据挖掘就是从大量的数据中发现隐舍的规律性的内容,解决数据的应用质量问题.充分利用有用的数据,废弃虚伪无用的数据,是数据挖掘技术的最重要的应用.     

一种物联网数据库高性能廉价闪存缓冲队列机制

在物联网环境中,大量的传感器产生了海量的数据.这些数据一般需要立刻保存到数据库中,以实现分析与应用.大量传感器数据写入到数据库中,会在存储系统中产生严重的小数据同步写性能瓶颈,严重影响数据库系统性能.本文设计了一种物联网数据库高性能廉价闪存缓冲队列——IFCQD（Inexpensive Flash Cache Queue for Database）.IFCQD充分利用了USB 30接口与FLASH闪存的高速特性,在保证数据同步写入存储器,不会意外丢失的基础上,可以显著地优化大量数据写入到数据库中的性能.针对FLASH闪存的特性,本文还使用了双重索引法来提高闪存缓冲机制的性能.实验表明,IFCQD机制可以基于廉价的闪存,在物联网应用环境中显著地提高数据采集系统的性能.     

基于PML及Hedge的物联网异构信息集成处理模型

针对物联网前端感知信息的海量性和异构性问题,提出物联网异构信息集成处理体系结构,包括引入物联网异构数据交换标准并提出物联网异构信息处理方法.物联网异构信息集成方案在感知层、传输层及应用层进行.在感知层,模型对不同传感器或RFID的信息进行归一化及数据清洗;在传输层和应用层,模型对这些异构物联网信息进行信息融合及智能处理...     

大数据平台网络数据库云计算技术优化与平台搭建研究

利用云计算等先进技术对网络数据库进行优化总结。基于云计算等技术重新设计了一种面向大数据的网络数据库,实现了平台操作设计、集群模块搭建以及数据整合与预处理等。基于云计算等技术对网络数据库进行优化,是实现网络数据库存储容量提升,全面优化大数据时代网络数据库并发性、提高海量数据状态下网络数据库利用率的重要举措。