云计算概念、技术与开源项目

以离线批处理为特征的HPC和以实时处理为特征的分布式商用计算是云计算的两个起源,云计算的服务模式、部署模型和云存储、云安全皆为云计算的基本概念,而关键技术则包括虚拟化技术、数据存储技术、并行编程模型和No SQL。最后介绍了云计算的开源项目,有Iaa S层的Eucalyptus、Open Stack、Cloud Stack、Open Nebula和Paa S层的Hadoop、Open Shift、Cloud Foundry。旨在描绘一个云计算的全景,并为云计算的科学研究和实施应用提供参考。     

基于多核集群的MPI+OpenMP混合并行编程模型研究

现代计算机处理器个数的增加将高性能系统的计算速度推向更高的层次。基于SMP节点的集群系统占主导地位,这种跨节点的分布式内存系统与节点内共享内存系统的结合向开发人员提出了新的挑战。为了充分利用硬件的计算能力,计算机科学家已经提出了许多针对各种系统架构的并行编程模式。作为目前比较流行的层次化并行模式,MPI适合用于集群节点间的并行而OpenMP被用在节点内部进一步细粒化的并行。本文对这两种编程模式以及MPI+OpenMP混合编程模式进行研究,实现了将矩阵的乘法运算分别用纯MPI模式和MPI+OpenMP混合模式并行化。在基于Intel Xeon5650集群系统上,用不同规模大小的矩阵分别在单节点内和多节点的情况下测试了两种并行模式的性能。     

并行分布环境下的黑板模型

黑板模型支持并行性,它是分布式和并行编程可用的强有力的模型之一.在一个需要并行性和分布式编程的系统中,黑板模型有助于组织和概念化并发性及通信.本文着重分析了黑板模型的结构、构造方法、控制策略.基于CORBA(Common Object Request Broker Architecture)对象和全局对象研究了黑板和知识库的实现.最后,通过一个具体实例的实现方法和过程,说明了黑板模型解决分布式和并行编程问题的可行性.     

面向云计算的在线交易平台架构设计与应用

给出了一个云计算的在线交易平台架构设计,利用云计算提供的无限虚拟计算能力使高复杂度的在线交易平台成为可能,并利用分层思想将异构、分布式的数据集成,实现了数据集的共享和算法模块的复用与集成,为搭建一个统一开放的、分布式、并行在线交易平台提供了理论基础与架构支持。     

三维数值流形法覆盖系统并行分区生成算法

三维数值流形方法（three dimensional numerical manifold method,3D-NMM）是岩土工程数值模拟中强大的数值方法之一。但一直存在接触判断困难、计算处理数据量大,效率低等问题。将并行计算技术应用于三维数值流形方法覆盖系统生成可以有效提升其覆盖系统的生成效率。详细研究了并行编程模式下三维数值流形法覆盖系统的生成算法。基于MPI分布式内存编程原理,将分区覆盖生成作为三维数值流形法并行覆盖生成基本思路。先采用规则粗六面体网格覆盖问题域,并利用Metis划分网格形成负载基本均衡的子区域,在原有串行算法的基础上设计了子区域覆盖系统的生成算法。并基于分布式内存存储模式下不同区域间数据传递需求,对本并行算法建立了界面信息传递算法,用以并行计算过程不同区域间中数据交流。最后,使用C++开发了基于布尔运算的三维数值流形单元及覆盖系统并行生成算法。算例表明此并行覆盖系统生成算法可有效提高三维数值流形法覆盖系统的生成效率及其应用规模     

面向云计算框架的最大流算法实现研究

网络最大流路径搜索是图论中的一种重要方法,在交通路径规划、通信路由寻址等领域具有广泛的应用.然而,随着实际问题规模的增大,抽象出的网络模型越来越复杂,最大流路径的搜索过程也越来越耗时,甚至丧失其时效性.为提高计算速度,对最大流搜索算法进行了改进,并采用MapReduce分布式编程模式实现了该算法.基于开源云计算框架的实验表明,改进的算法及其在云计算平台上的实现,对于大规模网络有着较好的搜索效果和计算性能.     

基于哈希表的MapReduce算法优化

分布式并行计算是提高计算机性能常用的方法,但针对不同需求,并行程序的设计并没有统一的模型与方法,使得并行程序的编写完全依靠开发人员的经验。Google公司提出的分布式并行编程模型MapReduce能够完成特定类型的并行程序的开发与运行。使用哈希表对MapReduce分布式并行编程模型进行优化,减少中间结果中的碎片,并省略Combiner中间函数的调用,减少传输负载,提升运行效率,同时兼顾了Map函数与Reduce函数接口的属性,保持了MapReduce模型的并行性特点。     

基于云计算的G4ICCS系统结构设计

为解决海量地学数据在数据集成与系统集成、 地学空间建模、 地学过程模拟仿真和矿产预测等方面缺少强大计算支撑平台的问题, 提出了基于G⁴I（Geology Geography Geochemistry Geophysics Information）的云计算网络服务子系统设计方案。概述了云计算技术, 探讨了采用云计算技术重构系统的可行性。设计并实现了云计算网络服务子系统的4层结构, 解决了新系统中资源调度、 数据存储、 数据管理和分布式编程等关键技术问题。     

基于改进分布式极限学习机的电站锅炉NO_x排放预测算法

提出了一种改进的分布式极限学习机的电站锅炉NO_x排放特性建模方法。引入分布式和岭回归理论,提升了极限学习机预测算法的泛化性能和预测准确率。采用改进的MapReduce编程框架对提出的算法模型进行并行化改进,提高其处理大数据的能力。选用某660 MW电站锅炉提供的真实运行数据进行分析,并在Hadoop集群上进行实验,结果表明该模型对NO_x排放有着较好的拟合和预测能力,且提出的算法具有优异的并行性能。     

云环境下基于双重公平性约束并行调度算法的研究与实现

目前并行调度和资源分配一般只注重效率,但是云计算需要给各用户提供多种不同服务,所以需要高度关注用户需求满足度.提出一种基于云计算环境下的并行作业调度算法,该算法对传统并行作业调度算法仅仅注重效率的特点进行了改进,关注资源分配的公平性、任务的完成效率和用户服务质量以及系统的负载均衡性,能够适应云计算的虚拟化和商业化特性,并实现在云计算环境下的并行作业调度中形成双重公平性约束.在注重效率的同时,突出资源分配的公平性.     

机群上DSM和消息传递方法的集成

在并行分布式计算领域中,基于NOW(Network of Workstation)的分布式共享存储器(DSM:Distributed Shared Memory)系统越来越受到人们的青睐.然而,要想在这种系统上获得较好的可编程性和性能,则需要系统支持细颗粒度的并行性,并且简化编程.我们设计了一个并行分布式系统,该系统由六台SUN Sparc上作站通过10M以太网组成,外加基于线程的MPI运行库和自定义的DSM-C程序设计语言,同时用软件方法实现Cache一致性.所有这些构成了一个较好的并行程序设计环境     

改进的GE分布式并行算法

针对一维抛物方程的初边值问题，在分组显式(GE)并行解法的基础之上，利用冗余计算来遮盖部分通信的重叠边界优化技术，结合曙光-2000并行计算机系统，得到了一个通信时问缩短、并行效率提高的分布式并行算法。     

基于消息传递的网络并行计算环境

在分布式计算机系统中,由于处理机间无共享内存,因此采用消息传递的方式实现处理机间的数据交换。文章介绍了消息传递接口标准和几种典型的并行计算环境,讨论了基于消息传递的网络并行编程环境的特点,并对其开发进行了初步探讨。     

Horde:面向多核集群的并行编程框架

并行程序可以充分发掘硬件计算能力并提高程序性能,但是在多核集群环境中编写并行程序十分复杂。该文提出了面向多核集群的并行编程框架,Horde。Horde提供了一组简单易用的消息传递接口和事件驱动(event-driven)编程模型,用以帮助程序员表达算法逻辑中潜在的并行性,将计算分解与底层硬件结构去耦合,从而简化编写并行程序的复杂度,灵活地在不同的底层结构的集群上进行映射并能保持良好的性能。此外,Horde也提供了有效的任务对象迁移机制,可以实现动态负载均衡与在线容错。在128核集群上的实验表明:Horde可以有效执行并行程序,并且可以实现高效的任务对象迁移。     

基于互联网的重力式码头CAD集成系统

应用Web、Java及分布式并行编程技术,将已有的重力式码头CAD集成系统设计平台从个人PC向互联网转移而形成其网络应用系统WebGWCAD(web based gravity wharf CAD system)．利用小程序(Java Applet)编制客户端,利用Java Servlet扩充Web服务器进行系统调度,通过互联网充分利用远程PCs集群的强大计算能力对码头设计并行优化选型,计算结果及工程文档可以由用户下载到客户机或直接由小程序进行后处理,作为对工程分析设计软件网络化应用的探讨．WebGWCAD可以为相似软件系统的网络化应用提供一个思路．     

Fault-Tolerant Technique in the Cluster Computation of the Digital Watershed Model

This paper describes a parallel computing platform using the existing facilities for the digital watershed model. In this paper, distributed multi-layered structure is applied to the computer cluster system, and the MPI-2 is adopted as a mature parallel programming standard. An agent is introduced which makes it possible to be multi-level fault-tolerant in software development. The communication protocol based on checkpointing and rollback recovery mechanism can realize the transaction reprocessing. Compared with conventional platform, the new system is able to make better use of the computing resource. Experimental results show the speedup ratio of the platform is almost 4 times as that of the conventional one, which demonstrates the high efficiency and good performance of the new approach.     

高性能并行计算机的发展及其在石油勘探中的应用

 高性能计算机是推动工业发展的重要工具和手段。本文综述高性能计算机发展的几个关键问题,阐明处理器的发展趋势正在过渡到新一代多核心异构并行计算系统过程中,其中多核心缓存设计和多核心异构编程模型设计是关键因素,云计算技术可能成为将来高性能计算的重要推动因素。最后,结合石油勘探中对计算机的需求,以CPU+GPU 的异构计算系统为例,阐明高性能计算的重要推动作用。并行算法的开发平台和程序设计方法是影响石油勘探中的高性能计算应用的主要瓶颈;磁盘I/O、高速网络和并行文件系统是制约高性能计算的重要因素。     

基于区域分解法的地下水有限元并行数值模拟

地下水系统概念的出现对地下水模拟技术、地下水决策支持管理提出了新的要求，比如地下水系统中同时包含包气带模型和饱和带模型，或在饱和带中同时出现孔隙介质模型和裂隙介质模型，更可能在建造地下水模型的同时必须结合考虑地表水模型，所有的这些顾虑和可能均会使模型复杂化，且不说用目前流行的数值方法难于求解，就算能求解也势必造成计算工作量的剧增，这就需要借助高性能计算机来担任这项工作．相对于代价高昂的共享内存多处理器技术，基于分布式模型的机群计算技术为此项工作的实现提供了可能．讨论了如何利用机群计算技术，实现地下水有限元并行数值模拟．从地下水有限元模型的并行求解可能、基于区域分解法的并行算法、并行编程以及并行计算的实现各方面着手，系统地阐述了地下水有限元并行模拟的关键技术，并将该方法应用于一个理想的地下水溶质运移模型中，取得了成功．还讨论了方法的应用前景，包括利用机群计算技术实现对整个流域的地下水进行准实时模拟，为地下水调度提供决策依据．     

基于消息传递的MCC集群实现

并行处理是提高计算能力的一种方法,通过网络相互连接的工作站和PC构成一个庞大的资源,以多计算机互连为基础的集群成为一种新的高效的大规模并行计算工具.本文讨论了基于消息传递机制的并行处理系统MCC的设计和实现方案.MCC系统提供了消息队列管理、节点管理、任务管理等功能,为用户提供了一个良好的并行程序开发和设计的环境.