基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

改进SPRINT算法及其在分布式环境下的研究

通过引入一种动态数据结构, 解决了SPRINT算法使用多个属性列表存储数据、 占用过多系统资源、 需创建哈希表对属性列表进行分割以及节点分割处理相对复杂的问题, 并探讨了改进算法在分布式环境下的工作过程. 实验结果表明, 改进的算法减少了属性列表占用的存储空间以及分割节点操作所需的时间.     

OceanBase中基于布隆过滤器的连接算法

在大数据时代,"去IOE"运动的推进以及"双11"等活动的兴起对分布式数据库系统提出了更高的要求.OceanBase是阿里巴巴集团自主研发的开源分布式数据库,支持海量数据跨行跨表事务,但是对复杂查询的处理性能仍有待提高,其中连接操作带来的网络传输严重影响了数据库的性能.本文提出了一种基于布隆过滤器的连接算法,通过构建布隆过滤器对右表数据进行过滤,减少了不必要的数据传输开销,降低了数据处理带来的内存资源的消耗.本文在OceanBase上实现了该算法,并通过实验证明,该算法极大提高了连接操作的效率.     

一种基于负载代价的MapReduce等值连接优化算法

MapReduce并行计算模型在大规模分布式数据处理中应用广泛,但该模型不能很好地支持连接操作,特别是面对倾斜数据时,原有的分区算法容易造成处理节点间的负载不均衡。针对这一问题,提出一种基于key代价的负载均衡等值连接算法,对Map端中间结果进行采样,根据采样结果计算每一key值的负载代价,并在此基础上,设计一种动态划分函数,对不同的key值按照负载代价均匀划分到各个计算节点,实现了负载均衡。实验结果表明,在同构集群下,提出的算法在负载均衡方面具有较好的效果.     

基于布谷鸟过滤器的外连接算法

近十几年,由于互联网的发展异常迅猛,数据规模不断增加,分布式数据库的分析效率亟待优化,其中连接操作更是分布式数据库的主要性能瓶颈.外连接在商业中运用非常广泛,分布式外连接算法涉及到大量的网络传输,严重影响系统性能,虽然有一些研究针对内连接进行了优化,但这些优化方法并不能直接应用于外连接.文章中基于Cuckoo filter(布谷鸟过滤器)的分布式外连接算法,通过构建Cuckoo filter对数据进行筛选和分配,减少数据传输量的同时,提高执行的并行度,使得查询性能得到提升.通过在Ginkgo上实现该算法,并加以充分实验,验证得出该算法提高了分布式外连接操作的效率.     

一种基于TDD的无线mesh网络随机自学习调度算法

基于时分多址(TDD)的无线mesh网络是实现无线多跳网络和宽带无线接入的一种关键技术.为用户提供一种可以保障稳定通信的有效的分布式算法是影响基于TDD的无线mesh网络性能的关键因素.本文针对TDD的无线mesh网络提出一种随机自学习分布式调度算法,这种算法是一种基于信息学习的随机选择算法.在网络中,任一节点都要根据其邻居节点控制消息中所携带的数据,学习邻居节点的调度信息,从而判断可用时隙.若上次信息传输成功,则节点仍然沿用上次的传输时隙;反之,节点在可用时隙中随机选择一个时隙发送控制消息.仿真结果表明,与IEEE802.16标准中定义的算法相比,提出的随机自学习分布式调度算法能实现更高的吞吐量.     

基于MapReduce的两表数据倾斜连接的优化算法

针对Range partition算法不能优化数据集严重倾斜情形下的两表连接效率问题, 提出一种改进的数据倾斜连接算法. 该算法将倾斜数据和非倾斜数据区别处理, 利用复制、 广播方法将数据发送到每个Reduce节点, 通过一轮Map/Reduce任务完成所有的连接操作, 可有效均衡每个Reduce处理量, 解决了数据严重倾斜对两表连接性能的影响. 与传统的分区连接算法比较结果表明, 该算法有效.     

基于虚拟延迟矢量的核心无状态分组调度框架DVRS

现有提供确定性性能保证的核心无状态分组调度策略中,可扩展性的获得通常以中间节点的速率损失为代价,从而导致数据传输突发性的增强,降低了网络资源的利用率。为了减少速率损失,提出一个核心无状态调度框架DVRS(de lay vector reference system),通过运用虚拟延迟矢量技术,在保证端到端延迟上限与V irtua lC lock算法相同的同时,将核心无状态算法的基本速率保证能力从现在的首尾点精确保证提高到逐点精确保证;并利用局部平均法满足用户对处理开销与带宽保证精度的不同需求;另外,由于核心节点操作的相似性,DVRS类算法具有较好的配置渐进性。     

Oracle中hash join研究

哈希连接引入目的主要是为了解决嵌套循环连接中大量随机读取的问题,又要解决排序合并连接中排序代价过大的问题。在缺少有用的索引时,哈希连接比嵌套循环连接更加有效。哈希连接可能优于嵌套循环连,因为哈希表在内存中比检索B树速度更快。然而,在排序合并连接中,由于两张表都需要先做排序,然后再做MERGE操作,因此效率相对最差。现在Oracle的优化器发展趋势是越来多使用哈希连接来处理表间关联问题。     

面向内存计算的连接算法

内存和CPU技术的快速发展标志着内存计算时代的来临.本文系统地回顾了基于内存计算的连接算法,具体在嵌套循环连接、哈希连接、排序归并连接和单机环境、分布式环境两个分类的维度上分析了已有算法的优点与不足,展望了未来的研究方向,最后介绍了基于Claims原型系统关于分布式连接方面的研究工作.     

分布式应用系统结构设计的形式化研究

 首先给出并讨论了一般分布式应用系统的层次化结构,并给出了其形式化描述.然后讨论了分布式应用系统层次化结构的性质,从而给出由软件模块化结构出发设计分布式应用系统结构的原理和方法.     

一种新的非对称分布源模型及方位估计

提出了一种空间非对称分布源信号模型和参数估计方法.利用多种连续分布函数,采用空间分段的方式描述相干分布源的角信号密度和非相关分布源的角功率密度,从而更加符合实际分布源的非对称特性.将DSPE方法推广到分段非对称分布源模型中,通过对分段非对称的相干和非相关分布源的计算机仿真,与对称高斯模型的对比结果验证了给出模型的有效性和估计算法的鲁棒性.     

基于链路重要性的分布式网络可靠性评价方法

为了快速有效地评估分布式网络可靠性,针对目前最有效的HRFST算法在搜索最小文件生成树过程中存在的3个问题,提出了一种基于链路重要性的分布式网络可靠性评价方法.该算法以链路重要性为最小文件生成树的首要搜索依据,提高了干路被选中的概率.将改进的网络化简方法用于搜索的每一步,使图更为简化,并消除了对不含文件生成树的子图搜索.分析和实验结果表明,在得到正确可靠性结果的基础上,该算法减少了子图产生数量和分析可靠性的实际执行时间,性能优于其他算法.     

局域网中分布式资源共享策略的探讨

本文根据排队论和概率统计方法提出了一种局域网环境中分布式资源共享算法。通过仿真实验证明该算法简单、易行,有一定实用价值。     

分布式数据库系统中的查询优化

分布式数据库系统是数据库技术与计算机网络技术相结合的产物,分布式数据库系统由于数据的分布和冗余使得分布式查询处理增加了许多新的内容和复杂性,不同的查询处理方法,其查询的费用和并行处理程度是大不一样的,因此,分布式数据库系统的查询优化较集中式数据库系统更重要.根据分布式数据库系统的特点,简要介绍分布式查询优化的目标、策略及查询优化的基本方法.     

分布式数据库系统的查询策略研究

对于一个给定的查询,通常会有多种不同的查询策略。查询优化就是从这些策略中找出最有效查询计划的一种过程。一个好的查询策略往往比一个坏的查询策略在执行效率(基于执行时间)上高几个数量级。简要说明了分布式数据库的特点,重点讨论了几种分布式查询策略的特点及其适用的情况。     

基于分布式数据库系统的一种查询优化算法

分布式数据库系统由于数据的物理分布和冗余使得分布式查询处理增加了难度和复杂度,使得分布式数据库系统的查询优化较集中式数据库系统更为重要.介绍分布式数据库系统的特点和分布式查询优化及一种新的查询算法:基于语义信息的分布查询处理.     

一种局域网分布式文件系统的设计与实现

介绍了基于局域网的分布式ＵＮＩＸ操作系统（ＨＺＤＵＮＩＸ）中分布式文件系统的设计与实现技术．ＨＺＤＵＮＩＸ分布式文件系统主要集中于对ＵＮＩＸ内核的改造,提供本地及远地文件操作一体化的接口,采用基于代理的分布式文件服务技术,有较快的响应速度,从而较好地实现了透明性,并支持原ＵＮＩＸ大多数ＳＨＥＬＬ命令     

基于COM~+的分布式工作流管理系统UML模型

结合一个办公协作工作流系统的实例 ,提出了一种基于 UML的建模技术和 COM+分布式对象技术为基础的分布式工作流管理系统的集成开发方法。这种方法可以将系统分析、设计和实现三个阶段有机、无缝地集成     

分布式环境下全局模糊频繁项目集的快速挖掘

为了解决模糊关联规则挖掘算法需要用户事先给定模糊集和相应隶属度函数的问题,提出基于分布式聚类自动生成模糊集及隶属度函数的算法GFAM.该算法利用分布式K-Means聚类算法对每个数值型属性进行聚类,求得聚类中心,由此构造全局模糊集,定义全局隶属度函数.DFAR算法根据构造的全局模糊集及隶属度函数进行分布式模糊频繁项目集的快速挖掘,采用全局-局部站点模式,其中包括局部模糊频繁项目集产生算法FLF和全局模糊频繁项目集产生算法FGF.实验结果表明,该算法能准确地生成全局模糊频繁项目集,在求解全局模糊频繁项目集过程中,传送局部模糊候选项目集支持数的通信量为O(n),提高了算法的挖掘效率.