基于时空布隆过滤器的RFID冗余数据清洗算法

针对射频识别(RFID)固有不可靠性导致的海量冗余数据问题,该文提出了基于时空布隆过滤器的RFID冗余数据消除算法,该算法使用有限空间一次处理海量数据。使用位数组代替了比特数组,使得内存空间消耗为以前的标签号的长度倍。与传统布隆过滤器相比,仍有良好的空间利用率。该算法克服了传统布隆过滤器不能处理海量实时数据流的问题,消除了布隆过滤器的误报错误,设置恰当的参数以最小化漏报错误,漏报错误数量与具体应用场景和过滤器设置有关。实验结果验证了算法的有效性。     

基于RFID应用的综合性数据清洗策略

RFID应用中会产生大量不可靠性数据、冗余数据和时间戳乱序数据,而现有的RFID数据清洗技术主要关注单一的错误数据类型,不适合于复杂的应用环境.针对这个问题提出了一种综合性的数据清洗机制来保证RFID数据的准确性、精简性和时序性.该机制由局部过滤器和全局过滤器组成,局部过滤器处理单个阅读器接收的数据,通过时间延迟对数据按时间戳排序,并根据RFID数据流的分布情况设定不同的约束条件删除多读数据;而全局过滤器处理多个阅读器接收的数据,通过考虑标签数据的时空关联性填补漏读数据和删除多读数据,并设定约束条件删除冗余数据.实验证明了该机制可以适应不同流的分布情况,有效地对各种脏数据进行修正.     

RFID中间件数据过滤方法研究

【目的】探讨对RFID数据冗余、脏读以及漏读数据进行过滤,整理出上层应用所需要的有效事件的方法。【方法】运用基于时间和次数阀值、数据校验、TDS数据解析以及基于伯努利概率的动态时间窗等方法进行研究设计。【结果】提出3种数据过滤器:冗余过滤器用于处理多读数据,平滑过滤器用于处理脏读数据,基于伯努利的动态自适应平滑算法的漏读数据处理器处理漏读数据,将这3种过滤器依次组合,组成数据过滤模型,最终构成数据过滤方法。【结论】运用这3种过滤器组成的数据过滤模型,能够很好的对RFID原始数据进行过滤,获得上层应用所需要的有效事件。     

OceanBase中基于布隆过滤器的连接算法

在大数据时代,"去IOE"运动的推进以及"双11"等活动的兴起对分布式数据库系统提出了更高的要求.OceanBase是阿里巴巴集团自主研发的开源分布式数据库,支持海量数据跨行跨表事务,但是对复杂查询的处理性能仍有待提高,其中连接操作带来的网络传输严重影响了数据库的性能.本文提出了一种基于布隆过滤器的连接算法,通过构建布隆过滤器对右表数据进行过滤,减少了不必要的数据传输开销,降低了数据处理带来的内存资源的消耗.本文在OceanBase上实现了该算法,并通过实验证明,该算法极大提高了连接操作的效率.     

基于时序关系的RFID不确定数据清洗算法

RFID原始数据具有海量性和不确定性的特点.通过对不确定数据时序关系的分析,提出了针对不同清洗节点的清洗算法.该类算法打破了传统的基于标签回应次数的方法,在综合考虑RFID数据时间特性的基础上,将RFID数据看成一系列时间序列数据,挖掘数据间的潜在规律.实验表明,该类算法具有很好的可扩展性,有效地提高了数据清洗的准确率.     

一种基于布隆过滤的快速冗余数据块发现算法

分析了影响FP查询速度的原因,并在此基础上提出了一种新的基于二级串联布隆过滤的冗余数据块发现算法.实验结果表明:该算法在FP查询性能及数据存储速度方面优于已有算法.     

基于布鲁姆过滤器的RFID中间件数据过滤算法设计

RFID（Radio Frequency Identification,RFID）中间件在RFID系统中起着承上启下的作用,数据过滤作为RFID中间件的核心功能,对其算法的研究一直是RFID领域研究的热点与重点。通过对现有过滤算法的分析,提出基于布鲁姆过滤器的数据过滤算法,鲁姆过滤器在空间和时间上有着更低的复杂度,并通过对布鲁姆过滤器算法的分析和仿真,选择了最优的布鲁姆参数,降低了算法的假阳性误判率。     

Bloom Filter技术及应用

Bloom Filter采用位串向量表示数据集合,能够实现高效集合查询的数据结构。首先介绍了标准布隆过滤器的概念和工作原理,然后通过实验分析布隆过滤器的错误率、空间向量和哈希函数数量三者之间的动态相关关系,并对独立空间布隆过滤器和标准布隆过滤器性能进行对比,最后讨论了Bloom Filter的变种及应用。     

一种改进的射频识别数据自适应清洗算法

根据射频识别(RFID)数据特性,对RFID数据自适应清洗算法SMURF进行改进,使其能够更加高效率地处理RFID漏读数据.实验证明,改进后算法较原算法性能更加优越,准确率和稳定性有了进一步提高.     

基于动态布隆过滤器的云存储数据持有性验证方法

针对现有云存储数据持有性验证方法验证效率低的问题,提出一种基于动态布隆过滤器的云存储数据持有性验证方法.首先使用同态哈希函数对云存储数据进行处理,简化客户端计算量;然后第三方验证平台使用数据块标签构造动态布隆过滤器,支持云存储数据的全动态操作;最后通过随机验证路径生成持有证据,增强云存储数据持有性验证的安全性.实验结果表明该方法可有效减少证明计算开销,提高了验证安全性和验证效率.     

分布式环境下改进的Bloom Filter过滤技术

分析了Bloom Filter技术在特殊的分布式系统———P2P系统中的应用.基于Bloom Filter提出了一种新的Division Bloom Filter(DBF)技术,DBF技术采用了一组相互独立的哈希函数来计算数据对象的地址序列,然后使用这组地址序列将数据对象存储到一个分片的位向量中,所以DBF技术可以有效减少数据对象的存储空间.实验证明,DBF不仅可以解决Bloom Filter在分布式环境下的动态更新问题,还可以有效减少BloomFilter的错误率以及改善其稳定性.最后还使用数据压缩技术进一步减少在P2P系统中使用DBF技术的结点间通信代价.     

融合WSN与RFID的输电线路杆塔状态监测网络低延时技术

杆塔是输电线路体系中的关键组成部分,其稳定可靠性是整个输电线路运行安全的重要保障。本文提出一种融合无线传感器网络(wireless sensor network, WSN)和射频识别技术(radio frequency identification, RFID)的输电线路杆塔状态监测网络,具有监测成本低、故障定位迅速和适合长期监测的优点。中继节点设置是所提出监测网络性能研究的关键,因此本文建立了中继节点传输延时模型,有利于分析不同条件下的监测网络延时性能。针对RFID冗余数据导致的融合监测网络延时,提出一种适用于输电线路杆塔状态监测RFID冗余数据处理方法,能有效削减阅读器端采集的冗余数据,具有算法简单、实时性强等特点。     

基于滑动窗口的RFID数据流多标签清洗算法

RFID数据流清洗技术主要关注的是数据的实时性、完整性和动态性.传统的适应性清洗机制针对的只是单标签的情况,且在调整窗口以保证动态性的情况下丧失了完整性.为此,首先在二项分布模型的基础上提出了一种新的单标签清洗算法,改进和完善了传统的单标签清洗算法;之后提出了基于防碰撞模型的多标签清洗算法,从而形成了一套完整的数据流清洗算法.此外,进行了大量实验,验证了算法的有效性.     

一种基于Hadoop的布鲁姆过滤器联结算法

通过对Hadoop平台下MapReduce作业处理方式及布鲁姆过滤器算法的深入研究,将优化的压缩型布鲁姆过滤器算法用于节点间数据联结操作,解决了基于Hadoop平台同时处理多个大规模数据集时的数据关联问题.实验证明,压缩型布鲁姆过滤器算法在MapReduce作业中的应用,使得大数据集之间的联结效率显著提高.     

基于博弈论的城市褐色土地再开发利益冲突解析

开发价值和污染风险并存是城市褐色土地的两面性,也是导致褐色土地再开发中冲突事件不断发生的主要原因.本文在明确城市褐色土地再开发中的利益相关者类型的基础上,分析了利益主体间的关系及其冲突类型,并引入博弈论对各利益主体间的冲突根源进行讨论,最后指出,从法律、资金、公众、政府等方面构建城市褐色土地再开发管治体系是促进褐色土地成功开发的有效途径.     

基于Bloom Filter的路由循环实时被动检测方法

为了解决网络中路由循环的实时检测问题,提出了一种基于Bloom Filter的路由循环实时被动检测方法.这种方法利用Bloom Filter存储资源占用小和查找时间消耗少的优点快速地发现源、宿地址,源、宿端口号均相同的疑似循环路由报文,再通过对报文TTL值递减特征的判断确定循环路由现象的存在.对于Bloom Filter本身存在误判率的问题,该方法采用增大位向量的长度的方法予以解决.实验结果表明本方法可以准确地发现循环路由,与传统主被动探测路由循环方式相比,减少了对网络带宽资源的占用,同时极大提高了算法的实时性.