分布式流处理系统的时间感知分组算法

随着对实时数据流处理需求的增加,分布式流处理系统的发展也越来越受到关注。大量的倾斜的数据流以及复杂分布式系统的异构性对当前的分布式流处理系统的分组策略提出了挑战。目前已有的分布式流处理分组策略通常关注并行实例之间元组数量的均衡性,而忽视了系统异构性对分组策略造成的影响。该文提出了一种时间感知分组算法,通过对分布式流处理系统存在的网络异构性和处理能力异构性的分析,综合考虑流处理系统中各下游算子实例的处理时间以及上游算子与下游算子之间的通信时间,并根据键值的频率不同制定不同的路由策略,在较小的开销下使系统达到负载均衡。在Apache Flink分布式流处理系统上进行的实验结果表明:时间感知分组算法比已有的分组算法在系统吞吐量上提高了10%,在平均处理延迟上降低了33%。     

基于高端容错计算机的故障日志分析系统

高端容错计算机性能评测中,故障库的建立对故障模型、故障传播的研究有着非常重要的意义。该文设计并实现了1个高端容错计算机故障日志分析系统,旨在对日志文件进行故障的抽取和格式化后,构建故障库,并在此基础上运用数据挖掘技术进行关联分析,使系统能够解析尽可能多类型的日志文件。给出了日志分析系统的架构、工作流程及具体实现,并利用该系统对CMU的公共计算机故障集进行统计分析,在其故障库基础上引入极值理论,建立故障分布模型。利用该日志分析系统可建立对高端容错计算机的故障库,从而为相关评测指标的计算、故障模型的建立等提供有效的数据依据。     

多态系统中具有非一致状态的元件重要度评价

多态系统可靠性研究中常见的重要度评价主要包括:评价给定元件对系统可靠度的影响和评价给定元件的特定状态或状态集合对系统可靠度的影响。针对元件的重要度分析往往假设元件状态和环境因素一定的情况下,系统具有一致的可靠性表现。然而在系统实际运行中,部分元件存在非一致性状态,在故障下元件状态不变,却引起系统的降级运行甚至崩溃。该文研究了具有非一致性状态的元件重要度评价方法。通过大量故障注入实验验证元件非一致状态对系统可靠性的影响,在传统的重要度评价方法基础上结合对实验结果进行统计和分析提出多态系统下非一致状态的元件重要度评价方法。对示例系统的分析表明:该重要度评价方法相对于传统方法能够更有效地反映非一致状态的特征以及故障的影响。     

多态k-out-of-n:G型系统可用性评测

事务处理型计算机可采用冗余等容错计算技术以延长无故障运行时间和增加可用性。为了评测事务处理型容错计算机的可用性,该文将其抽象为由独立同分布部件组成的多态k-out-of-n:G系统。针对这一类事务处理型容错计算机建立系统模型,考虑系统在不同工作状态等级下的维修率存在差异,利用状态转移方程推导得到系统可用度的表达式。进一步提出基于故障注入的平均修复时间(MTTR)测试方法,通过实地测量来获取不同工作状态等级下的系统维修率,并设计了故障集以及测试方法。     

无线传感器网络的层次化故障模型

为了在无线传感器网络可靠性研究中对故障检测等容错机制进行准确评价和量化分析,有必要进行网络故障模型的研究。该文提出了1种具有高覆盖度特点的网络层次化故障模型。在4种网络故障类型研究基础上利用图论方法提出面向节点层和子网络层的层次化故障模型设计方法,基于复杂网络聚类系数给出1个面向故障模型的单点型关键节点判定定理,并以此为例通过子模型有效性原则对该类模型进行了证明,结果表明该故障模型有效。     

在云间可重构的分布式存储

分布式存储作为云计算的基础,通过复制技术在不同的地点放置数据的多个副本已成为提高云计算系统可靠性的方法.读写操作通过访问大多数副本成为维护副本之间的一致性基本的方法.当多个副本失效时,通过在新的节点上重构副本可以提高系统的可用性及可靠性.传统的方法在重构副本的过程中需要停止正在进行的读写操作,重构完毕后继续进行相应的读写操作.如何在重构过程中继续进行读写操作,并保持各副本之间的一致性成为新的问题.提出了基于主备的分布式共享内存算法,该算法实现了在不影响读写操作的情况下,可动态重构数据副本,从而提高了系统的可用性及可靠性,并保证了副本之间的一致性.首先设置辅助master,辅助master存储副本的配置及活动副本配置.辅助master提出重构请求,客户端节点只发布读写请求;其次,采用读1写n的方式优化读性能,通过master对n的自动调整,保证在存在失效副本的情况下,写操作的顺利完成;再次,保证读写操作与重构操作可以并发进行;最后,本算法可容忍n-1个存储节点失效.     

基于银行中间业务的系统建模与性能评测基准

该文通过设计符合实际业务需求的银行中间业务模型(BIBmodel)和基于此的性能评测基准(BIBbench),来为大型银行系统的服务器性能评测提供测试模型标准及为选型提供指导标准,其性能指标及测试模型更加符合实际需求。详细介绍了BIBmodel的业务模型、系统架构、数据库模型和事务/帧模型,并提出了符合实际测量需求的基于BIBbench的负载测试算法。结果表明:该文提出的模型能够高效反映系统性能指标。