基于Hadoop云计算平台的文本处理算法的研究与改进

Hadoop是Apache基金会下的一个开源分布式计算平台,以分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。在对Hadoop进行深入分析和研究的基础上,搭建基于Hadoop的云计算平台,并完成分布式文本文件处理任务以及对文件文本内容处理算法的改进和实现。     

基于分布式计算的雷达显示系统设计

目前一般的雷达显示终端采用的是通过相关的硬件处理后再利用单台PC机进行数据整合显示.该方案具有硬件处理电路设计复杂、对PC机性能要求高、不便于不同用户的不同使用等不足之处.提出一种基于分布式计算的方案,通过VB6.0进行相关算法设计,实现了系统分布式计算、分布式管理.该系统占用资源少、算法简洁、运行准确,能满足用户需求,目前已经投入实际使用.     

局域网网格环境的搭建及服务测试

网格计算是分布式计算中一个霉要的新领域,它的目标是通过对各种分布式的、异构的、动态的计算资源的集成,向用户提供随处可得的、灵活的、可靠的、一致的、标准的、廉价的计算能力。要实现网格服务,首先就要有网格平台。论文使用不同的操作系统搭建了一个局域网网格平台,并在该平台上实现了网格服务的测试。     

基于分布式对象技术的实时通信软件设计

分布式计算是计算机科学的一个重要分支,作者使用分布式对象技术重新设计一款网络实时通信软件,通过引入分布式技术降低由于用户数量增长而不断产生的对硬件的需求,同时提高了通信的速度。     

基于SOAP的分布式GIS模型

分布式GIS已经成为GIS发展的方向,本文结合当今流行的多种分布式技术,通过比较综合,提出了一种基于SOAP(Sim-ple Object Access Protocol)的分布式GIS计算模型,该模型能够实现各种类型GIS数据之间的交换,实现各种GIS平台之间的互操作,真正实现了GIS数据的分布式计算。     

基于通信历史相关性的P2P网络分布式信任模型

提出了一种新的P2P分布式信任模型NBRTrust.在节点通信历史分布式存储基础上构造了节点局部信任度评价分布式存储网-βlist,通过分布式计算节点信任评价行为的相关度,得到以节点相关度为因子的全局信任模型NBRTrust,用于评估节点的可信程度;定义了模型的数学表述和分布式计算方法,设计了基于NBRTrust信任模型的P2P通信模型.仿真分析表明,相比纯粹的局部信任模型和全局信任模型,NBRTrust信任模型更客观,能够有效抵御单个恶意节点和团队恶意节点的欺骗行为,是一种有效的信任模型.     

一种基于网格的概念格分布式构造方法

分布式构造是降低面向海量数据的概念格构造复杂性的一种有效途径。目前,概念格分布式构造方法普遍偏向理论,存在扩展性差、资源利用率较低等问题。利用网格作为分布式计算平台,采用适合概念格构造规模的多次分发调度策略,给出了一种网格环境下的概念格分布式构造方法。最后,采用恒星光谱数据作为形式背景,实验验证了方法的正确性和有效性。     

基于COM/DCOM的分布式计算研究与应用

分布式计算技术在软件开发中得到了广泛的应用,它使复杂的大型网络应用程序变得易于开发。基于组件对象模型COM(Component Object Model)和分布式组件对象模型DCOM(Distributed COM)的组件技术是微软的分布式对象技术。通过详细地分析基于OM/DCOM组件技术的分布式计算的基本原理,总结了开发COM/DCOM组件的基本方法和三层分布式应用程序的实现过程。最后,给出了一个用COM组件构造的三层分布式应用系统实例。     

分布式计算模型的分析和比较

分布式计算是近年提出的一种新的计算技术,针对当前几种主流的分布式计算技术,如Web Services,中间件、网格等进行了分析和比较,尽管各种分布式计算技术在理念、规范、应用和实现等方面有较大的差异,但每一种技术都得到了一定程度的发展和应用,解决了特定范围内的分布式计算问题。所以,多种计算技术的综合研究,不仅是分布式未来研究的方向,也是分布式计算技术发展的关键。     

国家“九五”攀登计划资助项目 (PD9521903).

论述了计算力学实施分布式计算的必要性,概述了两种主要的分布式结构,并与力学计算的并行性进行了比较,提出了分布式力学计算的模型,为进一步研究分布式力学计算方法奠定了基础.     

基于多Agent协同构建分布式并行遗传算法

针对并行遗传算法中计算资源的分配问题 ,提出了分布式并行遗传算法结构。它由若干计算节点组成 ,每个节点包含若干运行子遗传算法的计算单元。节点的计算能力依照一定的并行模式映射到单元 ;各子算法则根据一定的拓扑结构进行个体交换。从多 Agent系统的观点看 ,计算单元是独立的 Agent,其并行运行涉及计算资源的分配 ,体现了算法对它们的协调 ;个体的迁移体现了它们之间的协作。并且分析了由两个单元构成的算法在不同并行模式和不同个体迁移因子下的性能。     

基于Web的分布式项目管理系统的研究与实现

随着Internet／Intranet的普及和飞速发展,充分利用网络资源、缩小时空地域限制,在互联网上进行并行分布式处理,将成为今后计算机应用发展的一个重要方向。该文通过对分布式项目管理技术特点的分析,提出了一种基于Web技术的体系结构,并对其主要功能模块和系统特点进行了分析。最后给出了该系统的一个 实现方案。     

物流信息系统体系结构

论述了以航运为主业的大型物流信息系统体系结构的设计课题,包括物流业务的层次结构,网络体系结构,数据分布结构,应用系统计算结构和物理体系结构等。在本文提出的体系结构设计方案中,为了与业务的组织功能结构相适应,采用了集中分布式的网络体系结构和数据分布结构。为了减轻系统维护与升级的成本与工作量,应用系统采用了B／S计算结构。最后,为了便于系统处理能力的扩充,采用了多层服务器结构;并适当采用冗余技术和群集技术,以满足高可靠性和安全性。     

基于动态用户融合的云计算架构

云计算是IT产业的第三次变革, 已成为互联网信息服务研究的热点, 并且各种云计算的产品相继出现. 云计算大多采用强数据中心和弱终端的架构模式, 建设这种架构的云计算中心, 需要大量的资金投入, 并配置高速的网络访问环境. 目前中国的网络带宽还难以满足这种云计算框架下服务的需求; 同时, 众多云计算中心的建立也可能在一定程度上造成已有PC设备资源的浪费. 提出了一种基于动态用户融合的云计算服务架构, 该架构通过将有一定存储能力和计算能力的用户终端动态地融合到数据中心, 使得云计算中心的规模能够动态地扩展或收缩, 让用户能够为云服务中的其他用户提供服务. 基于该框架, 设计和实现一个云服务视频点播系统. 实验表明, 该框架能够在保持云服务质量的同时允许动态扩充云的规模.     

基于消息传递的MCC集群实现

并行处理是提高计算能力的一种方法,通过网络相互连接的工作站和PC构成一个庞大的资源,以多计算机互连为基础的集群成为一种新的高效的大规模并行计算工具.本文讨论了基于消息传递机制的并行处理系统MCC的设计和实现方案.MCC系统提供了消息队列管理、节点管理、任务管理等功能,为用户提供了一个良好的并行程序开发和设计的环境.     

基于InfiniBand集群并行全景图拼接系统设计

全景图拼接是通过对序列图像进行拼接,从而实现对场景全方位环视的技术,是计算机视觉和图像处理的研究热点.针对大规模高分辨率的序列图像拼接,单计算机的拼接效率已经难以满足实际应用需求的问题,提出了一种基于InfiniBand高速网络通信的多机并行架构实现全景图并行拼接的解决方案.首先,对全景图拼接的关键步骤进行并行性分析,将全景图拼接尽可能划分成细粒度和高并行度的子任务;然后,通过并行架构中的控制节点和计算节点进行任务的分配和执行;最后,针对随着图像数据量增大,采用传统的TCP/IP网络传输,计算节点间的数据传输速率低下的问题,设计了基于InfiniBand与TCP/IP结合的高速网络传输模块,有效地提高节点间的传输速率.实验结果表明,在此并行架构上实现的分布式计算,能够有效地提升全景图拼接效率,有明显的实际应用价值.     

基于Java的分布式高性能计算架构

高性能计算在各个领域中的需求越来越迫切。利用闲置资源构建分布式高性能计算平台,是一种成本低廉而有效的方案。参与的便利程度是构建包含大量计算机的分布式计算平台的关键因素。提出了一种基于Java的分布式高性能计算架构。该架构中,任何空闲计算机通过网络可随时动态加入或退出计算,从而可以在短时间内构建较大规模的高性能计算平台。采用旅行商问题对架构进行了实现及验证,结果显示架构可达到较好的性能效果。     

一种并行LDA主题模型建立方法研究

针对潜在狄利克雷分析(LDA)模型分析大规模文档集或语料库中潜藏的主题信息计算时间较长问题,提出基于MapReduce架构的并行LDA主题模型建立方法.利用分布式编程模型研究了LDA主题模型建立方法的并行化实现.通过Hadoop并行计算平台进行实验的结果表明,该方法在处理大规模文本时,能获得接近线性的加速比,对主题模型的建立效果也有提高.      

基于移动Agent的矩阵并行计算的研究

移动Agent正在引起人们越来越多的关注。移动Agent的研究侧重于网络通讯、计算以及对网络资源的利用。网络上的节点计算机可以将自己的任务以移动Agent的形式分发到其它的节点计算机上运行,有利于实现高性能并行与分布式计算。本文将具体实现基于移动Agent的矩阵并行计算。     

DSMC交互式并行化系统性能预测模型

对机群环境下的DSMC并行计算问题考虑了初始数据划分、系统负载平衡和网络通信情况等因素,建立了DSMC交互式并行化系统中的性能预测模型,分析了机群系统的物理参数如何影响DSMC并行模拟计算的效率。对两个实际DSMC问题的研究结果表明,性能预测结果与实际测试结果基本吻合。说明该方法是正确有效的。