分布式内存数据库系统的容错管理

在大数据背景下,分布式系统被企业广泛部署和应用,随着分布式系统节点规模的扩大,系统故障的概率也将随之增加,在分布式系统中引入容错机制,对提升分布式系统可用性、可靠性、可恢复性至关重要.CLAIMS系统是面向金融领域的对实时数据进行实时分析的内存数据库系统——在数据不断注入系统时,提供近实时的查询、分析任务.本文主要探讨CLAIMS系统中容错机制.依据租约机制,实现系统中异常节点的快速发现及标记(即Fail-fast).在标记异常节点之后,实现对受影响分析任务的重启(即Fail-over);对异常节点全局内存状态的恢复(即Fail-back).实验结果表明,本文所提算法能够较好地实现CLAIMS系统的容错特性.     

一种新型的分布式隐私保护计算模型及其应用

针对分布式数据共享及计算中的隐私保护问题,提出了一种适用于大规模分布式环境的隐私保护计算模型（PPCMLS）,该模型的核心为隐私安全模块,其将计算划分为本地计算和全局计算.通过综合运用同态加密、安全点积协议、数据随机扰乱算法等多种安全技术,在实现了多个节点在一个互不信任的分布式环境下合作计算的同时,任何节点无法获取其他节点的隐私信息及敏感中间计算结果.据此,又给出了基于该模型的分布式隐私保护方差计算、分布式隐私保护数据聚类算法.安全及动态性分析结果表明,该模型及其应用算法既可保证隐私数据的安全性,又避免了繁琐的一对多的交互加密过程,并在节点变化时,恢复计算仅涉及到变化的节点和构成隐私安全模块的3个节点,从而满足了大规模分布式环境所要求的高效性和良好的动态适应性.     

负载均衡的分布式系统任务调度优化算法

针对当前分布式系统任务调度算法存在节点负载不平衡,资源利用率低等缺陷,提出一种基于负载均衡的分布式系统任务调度优化算法.首先分析了当前分布式系统任务调度优化算法的研究现状;然后对节点的实时性能指标进行估计,并根据估计结果分配不同的任务;最后通过仿真实验与其他算法进行对比.实验结果表明,相比于经典分布式系统任务调度算法,该算法缩短了任务完成时间,使得系统各节点的负载更均衡,提高了节点资源的利用率.     

基于坐标的网络节点聚类在Internet中的实验研究

在分布式网络应用中,节点聚类是构建高效网络体系结构的有效办法. 网络坐标能够反映节点在Internet中的位置,利用网络坐标可以对网络节点之间的距离进行预测. 在测量各个节点的网络坐标的基础上,利用Triangulated heuristic方法对节点间的网络距离进行预测,提出了网络距离作为参数对网络节点进行分布式聚类的算法,并在PlanetLab分布式实验床遍布全球的156个节点上进行了实际的测量和分析. 分析结果表明,算法能够在网络规模较大的情况下对网络节点进行分布式聚类,算法有较高的可靠性和可扩展性.     

基于Paxos的分布式一致性算法的实现与优化

互联网的不断发展,企业的信息化程度不断加强,不计其数的数据需要得到及时处理.但是网络环境不稳定,容易发生数据丢失、节点宕机,从而造成严重后果.因此,构建可以容错的分布式存储系统变得越来越受欢迎.为了保证系统的高可用性和一致性,需要引入分布式一致性算法.为了提高系统在不稳定网络下的性能,传统基于Paxos的分布式系统允许日志中存在空洞.然而,当节点进入恢复状态时,这些系统通常需要大量网络交互来补全日志空洞,这极大地增加了节点恢复的时间,从而影响了系统的可用性.针对节点恢复过程中补全日志空洞代价过大的问题,本文重新设计了日志项结构,优化了数据恢复流程,通过实验模拟,验证改进的基于Paxos的一致性算法的有效性.     

译码转发模式下的半分布式中继选择算法

针对集中控制中继选择算法为获取瞬时信道状态信息开销较大的问题,受分布式算法的启发,本文提出了一种半分布式中继选择算法.在这个半分布式算法中,每个中继节点自己决定是否能参与协作,而从多个可能的节点中选择最优节点的最终决定是通过基站来完成的.由于在不同的节点之间不需要信道状态信息的交换,本文的算法易于执行,更适用于实际的网络.实验结果表明,该算法能够获得较好的分集效果.     

基于信任评估模型的PBFT共识算法

实用拜占庭容错(Practical Byzantine Fault Tolerance,PBFT)共识算法是确保区块链等分布式系统达成一致性的重要算法，但其仍难以应用到节点数量规模较大的网络环境，且共识过程中主节点的错误选取会导致系统通信资源的浪费。针对以上问题，文章提出基于信任评估模型的PBFT共识算法(Trust-based Practical Byzantine Fault Tolerance,T-PBFT)，首先采用聚类的方法对系统中的共识节点进行分组共识，降低通信复杂度；然后根据网络中节点历史行为进行信任度评估，选取可靠的节点作为共识小组中的主节点；组内实现共识后，再进行组间共识，确保系统中共识节点存储的数据信息达成一致。所提出的改进算法能够更好地应用于大规模区块链网络系统，并能够选择更可靠的主节点。通过仿真实验和分析得出，改进算法通信复杂度小于原算法的O(N²)，系统的吞吐量与原算法相比最高增加了17%，共识时间节省了25%。     

P2P网络最可信路径算法

针对分布式环境下P2P网络的特点,以及间接获取信息时的可信性,定义了间接获取信息时两个节点之间路径可信度的相关概念,提出了两个节点之间的最可信路径算法、最小可信路径算法,量化了最可信和最小可信路径的可信度,量化了两个节点之间传输消息时可信度的分布区间,分析了最可信和最小可信路径算法具有多项式的时间复杂度.通过典型应用,验证了最短路径并非最可信路径,最可信路径选择具有重要的使用价值.特别是在大规模分布式环境中,为人们从最可信路径获取信息提供了保障.     

基于映射/归约的分布式并行索引方法的研究与改进

在信息爆炸的时代,全文搜索引擎必须尽快索引大量数据,以提供最佳的检索服务.本文首先分析传统独立索引的问题,以及如何通过分布式和并行索引解决这些问题.然后提出了基于映射/归约的分布式索引算法,改变了映射节点的中间数据的结构,并使用映射/归约的第二个排序函数.最后,通过实验验证了其时间和空间效率.     

一种基于TDD的无线mesh网络随机自学习调度算法

基于时分多址(TDD)的无线mesh网络是实现无线多跳网络和宽带无线接入的一种关键技术.为用户提供一种可以保障稳定通信的有效的分布式算法是影响基于TDD的无线mesh网络性能的关键因素.本文针对TDD的无线mesh网络提出一种随机自学习分布式调度算法,这种算法是一种基于信息学习的随机选择算法.在网络中,任一节点都要根据其邻居节点控制消息中所携带的数据,学习邻居节点的调度信息,从而判断可用时隙.若上次信息传输成功,则节点仍然沿用上次的传输时隙;反之,节点在可用时隙中随机选择一个时隙发送控制消息.仿真结果表明,与IEEE802.16标准中定义的算法相比,提出的随机自学习分布式调度算法能实现更高的吞吐量.