一种短作业环境下的延迟调度算法

针对短作业场景下YARN平台中延迟调度算法基于静态时间等待阈值,不能进行合理等待的问题,提出了一种云计算环境中基于本地性资源预测的延迟调度算法(locality resource forecast delay scheduling,LRFD)。该算法综合考虑短作业和资源可用性动态变化的特点进行任务调度,根据节点上任务的完成进度和作业未处理数据在集群中的分布状况预估作业的本地性资源信息,从而判断是否需要进行等待以提高系统性能,实现了对本地性资源的合理等待。实验结果表明:在短作业场景下,LRFD算法的性能和稳定性均优于已有的延迟算法,作业性能平均提升约10%,最大加速比可达3倍以上。     

一种低开销的网格软件共享系统Portal

为了更好地满足用户按需计算的要求,控制用户通过Portal使用网格资源的开销,定义了操作成本、成本效用等评价Portal性能的指标.逻辑设计上将服务与资源表示分离成网格高级服务层与Portal层,给出了用户与Portal交互的形式化描述.采用异步请求响应技术加快响应时间.测试结果表明:系统具有良好的可扩展性,能够有效地降低用户使用Portal的开销.     

基于MWM的闪存数据库缓冲区置换算法

针对现有闪存数据库缓冲区置换算法无法充分发挥闪存存储器性能的现状,提出了一种基于最小权重矩阵(MWM)的高效缓冲区置换算法.该算法基于缓冲区代价置换算法思想,使用MWM来组织管理缓冲区的数据块,将数据访问频度映射为权重参数,用来参与缓冲区中数据块的置换.在闪存感知平台Flash-DBSim上针对几种典型测试类型数据集进行对比实验,结果表明:本文算法充分利用数据访问特征,特别适用于数据库中数据使用频率高的应用场景.     

网格环境中软件共享系统的License管理器

通过分析现有软件License管理系统存在的不足,提出了一种网格环境中软件License组织管理方式,并设计和实现了软件共享系统的License管理器.该License管理器具有独立于各种LMS系统、License获取效率高、支持License资源预留等优点,能够满足网格环境中对License资源管理多样性和动态性的要求,避免了以往用户随机获取license资源的盲目性.针对用户不同优先级提出了确保不同服务质量的调度策略,License调度时采取“装填算法”并结合预留机制.通过测试表明,系统可以加快任务的完成时间,并提高了资源利用率.     

一种支持高维数据查询的并行索引机制

提出了一种基于独立特征的并行索引体系结构以检索符合正态分布的高维数据.通过分析并行搜索的多维数据及其复杂度,结合用户设定的维度权重返回待核实的结果,最后通过加权相似度计算函数合并检索结果以完成kNN查询.针对高维数据的异构性特点,给出了规范情景上下文信息数据的算法.通过联合香港大学的2个社区和深圳先进研究院的CNGrid社区进行的测试,证明基于并行检索机制的100NN查询准确率可达93%,在千万个高维数据中的检索时间小于0.7s,结果表明所提出的并行索引机制能有效提高查询效率,尤其适合海量高维数据的有偏组合特征查询.     

网格测试引擎:一种构建网格测试环境的基础架构

针对动态、开放、分布式网格环境动态组织资源的需要,提出了一种构建网格测试环境的基础架构——网格测试引擎.该引擎支持测试项目动态的部署、更新和执行,支持基于故障紧急等级的预警和自动处理.采用令牌方式来控制目标服务的测试压力,通过令牌迁移实现分布式测试的负载平衡.在ChinaGrid环境下的实验结果表明,基于测试引擎架构所构建的监测环境,对主机系统影响不会超过1%,并可生成符合要求的测试压力,能够相对准确地测试网格资源与服务,反映目标服务性能的变化趋势.     

支持网格监控服务自动部署的系统

提出一种GADMS(Grid Automatic Deployment Monitoring System),这是一个网格环境下支持网格监控服务自动部署的网格资源监控系统,它基于分层结构收集不同地域的多个集群的状态信息.GADMS根据新加入集群的配置信息,通过shell脚本的方式,自动完成监控该集群所需的系统组件的部署.GADMS将监控结果存储到MySQL和RRD数据库中,通过Web方式显示监控结果,并允许用户查询当前状态和任意时刻的历史信息,为管理与优化系统性能提供服务.GADMS还能与ChinaGrid支撑平台、Ganglia等很好地融合,充分利用网格环境中的已有资源,提高资源利用率.