多路平衡型矩阵Bloom Filter

海量数据的高效表示和查找成为目前存储系统面临的重要挑战.针对存储系统中大规模动态数据集的表示和查找效率问题,提出一种多路平衡型矩阵Bloom Filter结构(M-BMBF)及其插入和查询算法.M-BMBF根据数据集合大小建立一个r×m矩阵型Bloom Filter,设计多个定位哈希函数将该矩阵Bloom Filter分为多组(多路)以实现平衡插入和高效查询操作.为减缓Bloom Filter中比特的消耗速度,使用一种"最长位匹配"填充算法,新元素的插入将从多路备选Bloom Filter中选择新置为1比特个数最少的Bloom Filter中进行.实验结果表明,相较典型拆分Bloom Filter,M-BMBF能在维持算法消耗时间为常量的基础上,有效节省存储空间,降低误判率.     

基于Bloom Filter的路由循环实时被动检测方法

为了解决网络中路由循环的实时检测问题,提出了一种基于Bloom Filter的路由循环实时被动检测方法.这种方法利用Bloom Filter存储资源占用小和查找时间消耗少的优点快速地发现源、宿地址,源、宿端口号均相同的疑似循环路由报文,再通过对报文TTL值递减特征的判断确定循环路由现象的存在.对于Bloom Filter本身存在误判率的问题,该方法采用增大位向量的长度的方法予以解决.实验结果表明本方法可以准确地发现循环路由,与传统主被动探测路由循环方式相比,减少了对网络带宽资源的占用,同时极大提高了算法的实时性.     

基于聚类分析的P2P流量识别

通过使用聚类分析的方法来进行P2P的流量识别.首先给出P2P流量的特征,接着定义聚类特征树,然后通过扫描从网络中截得的数据得到相应的初始聚类树,最后计算初始聚类的贝叶斯信息准则值得到最终聚类结果.该方法能有效利用存储空间,避免了存储所有数据对象.同时还能够根据数据特征自动得到聚类数目,减少人为因素的影响,与K均值算法相比较优.     

基于主题划分的有组织P2P搜索算法

提出一种基于主题划分的P2P搜索算法———主题覆盖网络搜索算法(TONS).TONS在有组织P2P网络基础上,将结点按主题组织成覆盖网络,使含有相似主题的结点链接在一起,因此可以根据内容将查询限定在P2P网络的局部范围内.通过在覆盖网络中随机添加一些长距离链接,使覆盖网络具有Small-World特性.TONS为有组织的P2P系统提供了一种能依据部分匹配、多关键词等复杂条件搜索结点数据对象的有效方法,与现有的有组织P2P系统相比,它可以将搜索的查全率提高74.7%,并减少P2P网络信息搜索的平均路径距离和平均消息数目.     

双结构网络中URL去重机制研究

针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署。实验结果表明,该机制能够有效适用于大规模、高性能和分布式的双结构网络爬虫应用。     

P2P系统中基于属性约减的可信度评价

由于P2P系统的开放、匿名等特点,传统的访问控制和认证方法已无法在P2P系统中对信任协商进行有效的支持.本文利用信任协商机制和多信任域技术对P2P系统进行安全管理.针对信任凭证在信任协商过程中存在的安全隐患,通过属性的使用记录实现信任凭证中属性集的约减,并给出一种基于属性集的可信度评估方法.该方法减少了访问者属性信息的不必要暴露,提高了信任协商交互的可靠性和安全性.     

一种基于P2P的可扩展Web缓存方法

在分析现有P2P网络缓存技术的基础上,提出了一种基于P2P的可扩展Web缓存方法, 系统原型包括胖节点和瘦节点,胖节点负责某一区域内所有节点的信息,它保存着该区域内所有节点的地址列表和节点所共享的缓存内容的索引.瘦节点可以和区域内的所有节点直接进行通信.实验表明,和现有的P2P网络缓存方法相比,该方法只需在每个节点上增加很低的开销就可以扩展节点,增加了容错性,且易于管理和易于发现节点.     

一种基于Bloom Filter的正则表达式集合快速搜索算法

正则表达式搜索算法的性能与从非确定性有限状态自动机(NFA)的初始状态到终止状态的最短路径Lmin成正比,与正则表达式所表达的语言的前缀集合Pref(RE)成反比,而一般情况下Pref(RE)较大,确定Pref(RE)中的元素在目标文本中的出现位置比较困难.文中提出了一种基于Bloom Filter的正则表达式集合搜索算法,此算法利用Bloom Filter集合查询时间与集合大小无关的特点,可以快速准备定位Pref(RE)的出现位置,使得搜索速度不受Pref(RE)的影响,如果采用多个Bloom Filter并行,还可以间接增大Lmin.分析与测试结果表明,该算法较大地加快了正则表达式的搜索速度,对于正则表达式集合,算法性能改善尤其明显,在Lmin较长、Pref(RE)较大时,搜索速度可以提高数倍至数十倍,适合大规模的多正则表达式的快速搜索.     

一种去除重复URL的算法

通过对Bloom Filter算法及其改进型在Web信息采集时的去重策略进行分析,结合Dynamic Bloom Filter算法,采用动态数组对集合元素进行表示,提出了一种去重应用策略,实现了对集合中重复URL的频度查询和删除操作支持,最后使用该去重策略进行了实验并和其他策略进行了比较,实验证明该应用策略能够在误判率较低的情况下取得较好的去重效果。     

P2P技术在高性能数据系统中的应用研究

在基于P2P的高性能数据系统中,用户可通过P2P方式直接访问原始数据,同时系统用户在作为客户端的同时又作为服务器提供数据。使用分析、仿真等方法对系统进行了性能评价。结果表明,使用P2P技术能够缩短原始数据的实时处理时间,增加系统的工作负载,减少系统延迟。     

基于博弈论的城市褐色土地再开发利益冲突解析

开发价值和污染风险并存是城市褐色土地的两面性,也是导致褐色土地再开发中冲突事件不断发生的主要原因.本文在明确城市褐色土地再开发中的利益相关者类型的基础上,分析了利益主体间的关系及其冲突类型,并引入博弈论对各利益主体间的冲突根源进行讨论,最后指出,从法律、资金、公众、政府等方面构建城市褐色土地再开发管治体系是促进褐色土地成功开发的有效途径.     

一种基于Hadoop的布鲁姆过滤器联结算法

通过对Hadoop平台下MapReduce作业处理方式及布鲁姆过滤器算法的深入研究,将优化的压缩型布鲁姆过滤器算法用于节点间数据联结操作,解决了基于Hadoop平台同时处理多个大规模数据集时的数据关联问题.实验证明,压缩型布鲁姆过滤器算法在MapReduce作业中的应用,使得大数据集之间的联结效率显著提高.     

Bloom Filter在手机垃圾短信过滤中的应用

针对当前手机垃圾短信过滤系统的不足和手机资源紧张的特点,构建了基于独立空间布隆过滤器的手机垃圾短信过滤系统,具体给出了系统结构、工作流程及其算法。实验分析结果表明,在允许一定"假阳性"误报率的条件下,该系统可以有效节省手机资源。     

基于Bloom Filter的XML数据流压缩技术研究

现今,XML数据管理的一个重要问题是如何对XML数据进行高效的查询处理。以XML数据流的压缩为目标．提出了一种基于BloomFilter的XML数据流压缩技术,利用Dom4j的Aelfred2解析器对XMLSchema进行解析,构建dom4j树。采用压缩布鲁姆过滤器思想进行算术编码,达到压缩的目的。     

BloomRouter： A Framework for Dissemination of Compressed XML Stream

As our best knowledge, in the Publish/Subscribe application environment, few research work has been done on the dissemination and routing of compressed XML （extended markup language） data. A high-speed compressed XML data routing and dissemination framework BloomRouter is proposed. In BloomRouter, a Bloom Filter based prefilte ring mechanism is used to filter out compressed XML elements that users do not care; after that an interval tree dis seminator forwards target elements to the corresponding end users by matching the incomming compressed XML elements with indexed users＇ query regions. Based on this framework, we can efficiently filter/query the compressed incoming XML data, and then route the query result to the corresponding subseriber.     

Data Location Mechanism in Agent-Based Autonomic Storage Systems

This paper introduces agent-based methodology to build a distributed autonomic storage system infrastructure, and an effectively negotiation mechanism based on agent is applied for data location. We present Availability-based Data Allocation （ADA） algorithm as a data placement strategy to achieve high efficient utilization of storage resources by employing multiple distributed storage resources. We use Bloom filter in each storage device to track the location of data. We present the data lookup strategy that small size of read request is handled directly, and large size of read request is handled by cooperation with storage devices.The performance evaluation shows that the data location mechanism is high available and can work well for heterogeneous autonomic storage systems.     

基于联合多维动态Bloom过滤器的SDN多属性查找结构研究

软件定义网络(SDN)作为一种新型的网络架构,可以为核心网络及应用的创新提供良好的平台.作为SDN实现的关键技术Openflow在实际的应用中仍然存在一些技术瓶颈.本文提出一种联合多维动态Bloom过滤器(CMDDBF)查找结构来替代Openflow交换机中的三态内容寻址存储器(TCAM)来实现流表的转发和处理.CMDDBF解决了TCAM空间利用率低和价格昂贵的缺点,能够有效实现多字段数据的查找和处理操作,并根据流表的规模动态调整内存空间.实验表明:CMDDBF不仅可以有效实现多字段数据的查找,而且在降低误识率方面具有很好的性能.     

Bloom Filter技术及应用

Bloom Filter采用位串向量表示数据集合,能够实现高效集合查询的数据结构。首先介绍了标准布隆过滤器的概念和工作原理,然后通过实验分析布隆过滤器的错误率、空间向量和哈希函数数量三者之间的动态相关关系,并对独立空间布隆过滤器和标准布隆过滤器性能进行对比,最后讨论了Bloom Filter的变种及应用。     

基于MBF的船联网RFID数据流清洗算法

针对船联网RFID数据流因存在冗余数据而影响工作效率的问题,在传统布隆过滤器数据清洗算法的基础上构建了矩阵型布隆过滤器模型,提出了一种改进的布隆过滤器RFID冗余数据清洗算法.实验结果表明,数据流越大,算法的数据清洗效果越明显.     

面向载波聚合的FBMC系统PAPR抑制算法研究

针对面向载波聚合的滤波器组多载波(FBMC)调制系统PAPR过高问题,提出一种适用于面向载波聚合的FBMC系统降低PAPR的有效方法。基于预留子载波思想,利用分量载波间的保护间隔充当预留子载波成分,结合时域信号剪切的实现方法,降低信号峰均功率比。同时为克服FBMC系统符号重叠特性的影响,利用后向迭代的实现思想,避免符号重叠引发的峰值再生而引发峰均比回升的问题。仿真结果表明算法可以在不影响系统传输性能的情况下有效降低系统的峰均功率比。