基于MBF的船联网RFID数据流清洗算法

针对船联网RFID数据流因存在冗余数据而影响工作效率的问题,在传统布隆过滤器数据清洗算法的基础上构建了矩阵型布隆过滤器模型,提出了一种改进的布隆过滤器RFID冗余数据清洗算法.实验结果表明,数据流越大,算法的数据清洗效果越明显.     

基于RFID应用的综合性数据清洗策略

RFID应用中会产生大量不可靠性数据、冗余数据和时间戳乱序数据,而现有的RFID数据清洗技术主要关注单一的错误数据类型,不适合于复杂的应用环境.针对这个问题提出了一种综合性的数据清洗机制来保证RFID数据的准确性、精简性和时序性.该机制由局部过滤器和全局过滤器组成,局部过滤器处理单个阅读器接收的数据,通过时间延迟对数据按时间戳排序,并根据RFID数据流的分布情况设定不同的约束条件删除多读数据;而全局过滤器处理多个阅读器接收的数据,通过考虑标签数据的时空关联性填补漏读数据和删除多读数据,并设定约束条件删除冗余数据.实验证明了该机制可以适应不同流的分布情况,有效地对各种脏数据进行修正.     

Bloom Filter技术及应用

Bloom Filter采用位串向量表示数据集合,能够实现高效集合查询的数据结构。首先介绍了标准布隆过滤器的概念和工作原理,然后通过实验分析布隆过滤器的错误率、空间向量和哈希函数数量三者之间的动态相关关系,并对独立空间布隆过滤器和标准布隆过滤器性能进行对比,最后讨论了Bloom Filter的变种及应用。     

OceanBase中基于布隆过滤器的连接算法

在大数据时代,"去IOE"运动的推进以及"双11"等活动的兴起对分布式数据库系统提出了更高的要求.OceanBase是阿里巴巴集团自主研发的开源分布式数据库,支持海量数据跨行跨表事务,但是对复杂查询的处理性能仍有待提高,其中连接操作带来的网络传输严重影响了数据库的性能.本文提出了一种基于布隆过滤器的连接算法,通过构建布隆过滤器对右表数据进行过滤,减少了不必要的数据传输开销,降低了数据处理带来的内存资源的消耗.本文在OceanBase上实现了该算法,并通过实验证明,该算法极大提高了连接操作的效率.     

RFID中间件数据过滤方法研究

【目的】探讨对RFID数据冗余、脏读以及漏读数据进行过滤,整理出上层应用所需要的有效事件的方法。【方法】运用基于时间和次数阀值、数据校验、TDS数据解析以及基于伯努利概率的动态时间窗等方法进行研究设计。【结果】提出3种数据过滤器:冗余过滤器用于处理多读数据,平滑过滤器用于处理脏读数据,基于伯努利的动态自适应平滑算法的漏读数据处理器处理漏读数据,将这3种过滤器依次组合,组成数据过滤模型,最终构成数据过滤方法。【结论】运用这3种过滤器组成的数据过滤模型,能够很好的对RFID原始数据进行过滤,获得上层应用所需要的有效事件。     

基于动态布隆过滤器的云存储数据持有性验证方法

针对现有云存储数据持有性验证方法验证效率低的问题,提出一种基于动态布隆过滤器的云存储数据持有性验证方法.首先使用同态哈希函数对云存储数据进行处理,简化客户端计算量;然后第三方验证平台使用数据块标签构造动态布隆过滤器,支持云存储数据的全动态操作;最后通过随机验证路径生成持有证据,增强云存储数据持有性验证的安全性.实验结果表明该方法可有效减少证明计算开销,提高了验证安全性和验证效率.     

基于布鲁姆过滤器的RFID中间件数据过滤算法设计

RFID（Radio Frequency Identification,RFID）中间件在RFID系统中起着承上启下的作用,数据过滤作为RFID中间件的核心功能,对其算法的研究一直是RFID领域研究的热点与重点。通过对现有过滤算法的分析,提出基于布鲁姆过滤器的数据过滤算法,鲁姆过滤器在空间和时间上有着更低的复杂度,并通过对布鲁姆过滤器算法的分析和仿真,选择了最优的布鲁姆参数,降低了算法的假阳性误判率。     

I-Apriori：一种基于Spark平台的改进Apriori算法

针对Apriori算法在第二次迭代过程中产生大量候选集的弊端,在Spark大数据框架下,将Apriori算法进行并行化处理。提出一种基于Spark平台的改进Apriori算法——I-Apriori;该算法利用Spark基于内存计算的抽象对象(RDD)存储频繁项集,在第二次迭代中,通过使用改进的布隆过滤器存储频繁1项集,消除候选集生成,减少数据库扫描次数,提高算法效率。实验结果表明,相比基于Spark平台的Apriori算法进行性能评估,I-Apriori算法具有更优的性能,能够较大程度地提高大数据关联规则挖掘的效率。     

一种高效的RFID系统冗余阅读器消除算法

针对冗余阅读器消除算法的射频信号重叠产生相互干扰并产生大量冗余数据的问题,提出了一种高效的冗余阅读器消除算法.该算法不需要阅读器对标签写入信息,根据阅读器位置坐标和广播信息,在中间件建立可读标签和相邻阅读器集,求解阅读器的信息汇聚度,竞争消除相邻阅读器间相同的标签,从而消除冗余阅读器.实验结果表明,与典型消除算法相比,该算法在算法复杂度、冗余阅读器检测率、系统处理的标签信息量和部署更合理.     

基于划分和压缩数据库的改进Apriori算法

针对Apriori算法在面对大规模数据时效率较低的问题,提出了一种基于划分和压缩数据库的改进方法。该方法首先依据特征数据出现的频率将数据按照升序存储在临时数组中;然后将原始事务数据库分为几个互不相交的事务数据库,使得子数据库能够容纳在内存中;最后根据每个子数据库计算出的频繁项集计算整个数据库的频繁项集,从而消除了不必要的冗余数据。通过改进可以将大规模数据集进行有效的划分和压缩,对子数据库进行关联规则挖掘。实验结果表明,改进的Apriori算法在针对海量数据挖掘的执行速度和效率都有很大提高。