GridCOMP中基于JMX的组件监控模型

介绍一种在GridCOMP系统中基于Java管理扩展的监控组件模型,这是一种网格环境下支持自动组件监控的网格资源监控模型.模型采用了Java管理扩展和Fractal组件技术.模型采用组件监控组件的方式,模型的监控组件作为一个基本组件,监控组件和被监控组件组成复合组件,同时使用XML(可扩展标识语言)文档部署到远端的Java虚拟机上.允许用户查询当期状态和任意时刻的历史信息,为管理和优化网格系统的性能提供服务.这种方法结构简单,可重用和动态部署.     

面向生物信息学计算的网格工作流系统

针对生物信息学网格计算需求,提出了一种网格工作流管理系统模型,系统以Web方式为用户提供服务,通过与软件模块的交互实现良好的可定制的人机交互界面,使得不熟悉网格计算和工作流系统的人也可以快捷直观地操作使用.该系统能够自动地对工作流任务进行调度,然后通过网格中间件进行执行,并对任务进行监控和管理.论述了该系统的框架和实现原理,通过一个生物信息学计算实例说明工作流的定义、描述和使用流程;并且,通过与中国教育科研网格公共支撑平台CGSP工作流系统的对比,说明了该系统在可视化、便捷性上更符合生物信息学计算需求的特点.     

基于资源监控的网格调度系统

研究ChinaGrid生物信息学网格中,根据资源负载变化进行动态作业调度的方案.针对中国网格公共支撑平台(CGSP)的执行管理模块在调度作业时,没有将计算节点的动态性作为调度优化的考虑因素,在ChinaGrid生物信息学网格中实现了一个基于资源监控的作业调度系统(SSRM).SSRM利用CGSV来实时获取资源的动态信息,并报告给ChinaGrid生物信息学网格的调度模块进行调度方案的优化.实验表明,与资源监控相结合的网格调度系统可以明显地缩短一组作业的完成时间.     

生物信息学社区数据空间的设计与实现

针对现有网格系统缺乏专有文件系统,导致数据在终端与网格间的传递以及数据在网格环境中的迁移、共享与管理比较困难的问题,利用清华云计算平台,以其中的分布式文件系统Carrier为底层、Corsair为存储管理软件,为用户设计了数据空间.系统的共享机制分为3个层次:为每个用户分配一定数目的个人私有空间;为每个组分配相应的存储空间;为生物信息学领域的热点资源建立全局共享的存储空间.设计的数据空间实现了层次化的数据共享与管理,为类似问题的解决提供了一种思路.     

面向P2P搜索的可定制聚焦网络爬虫

提出了一种可定制聚焦网络爬虫技术.该技术采用简单的主题描述方法提高网络爬虫的可定制性,利用基于站点页面链接结构的链接导航技术实现对主题信息的高效抓取,通过配置文件实施定制,从而构建一个资源消耗小、数据采集准确性高、可控性强的轻量级聚焦网络爬虫,以满足P2P搜索的需求.文中进一步提出一种增量更新和批量更新相结合的网络爬虫数据更新机制,这种混合更新机制降低了增量更新的实现复杂性,相比批量更新具有更小的资源消耗,实验表明采用这种机制能达到较高的数据新鲜度和召回率.     

一种与Bittorrent兼容的流媒体服务系统

在Bittorrent协议和算法的基础上,提出了一种和Bittorrent协议兼容的分段顺序文件下载算法,很好地满足了用户边下载流媒体文件边播放的需求.以该算法为核心,给出了一种以Bittorrent文件下载系统为原型的流媒体服务系统实现.实验结果表明,采用分段顺序下载算法的客户端下载速率有所降低,不过该算法使得流媒体服务系统的负载能力比传统的流媒体服务系统提高了3~4倍,充分体现了P2P技术相对于集中式服务技术的优势.     

生物信息学社区中图形界面软件的共享方案

分析了目前几种可用的图形界面软件的共享方案在中国国家网格生物信息学社区环境下的可行性,提出了一种新的共享图形界面软件的方案.该方案从3个方面进行了改进:从应用-虚拟机服务模式切换到应用-应用服务模式;采用NX远程控制协议代替原有的VNC协议;增加用户数据的自动挂载功能.实验结果表明:新方案服务器端的负载更小,对网络带宽的需求更低.     

基于语义关联的网格监控元数据管理

基于网格资源的异构性和不同所有权现象,为满足中国教育科研网格监控子项目CGSV (chinagrid supervision)中用户的模糊监控需求,提出一种基于语义关联的网格监控元数据管理方案.在局部范围内对资源及其监控元数据分别进行逻辑和语义建模;在全局范围内关联异构资源模型的监控元数据,建立语义关联网络,并依据关联深度来进行监控元数据的查找.实验结果表明: 实现语义关联的CGSV组件(注册服务)每秒钟能处理120次以上的关联查找,验证了该方案的有效性.     

FastDu: Efficient Directory Summaries Harvest by Tracking File System Changes

FastDu is a file system service that tracks file system changes by intercepting file system calls to maintain directory summaries, which play important roles in both storage administration and improvement of user experiences for some applications. In most circumstances, directory summaries are independently harvested by applications via traversing the file system hierarchy and calling stat () on every file in each directory. For large file systems, this brute-force traverse-based approach can take many hours to complete, even if only a small percentage of the files have changed. This paper describes FastDu, which uses a pre-built database to store harvested directory summaries, and tracks the file system changes by intercepting file system calls, so that new harvesting is restricted to the small subset of directories that contain modified files. Tests using FastDu show that this approach reduces the time needed to get a directory summary by one or two orders of magnitude with almost negligible penalty to application-aware file system performance.     

CorsairFS:一种面向校园网的分布式文件系统

描述了CorsairFS--一种针对校园网和企业内部网设计的专用分布式文件系统.通过采用可扩展的架构、分块存储方式和基于注册、汇报的自组织机制,系统在满足性能和吞吐量指标的前提下,具有更好的可扩展性和可管理性,能够提供同一数据的多种不同视图,允许在不移动数据的情况下对目录结构进行重构.系统针对大量用户的数据共享和存储的工作负载进行了优化,能有效地处理大量小文件的并发访问,并通过实验说明其能够更有效地利用存储空间,提供更好的数据传输性能,特别是面对大量小文件的情况.