PDM:基于Hadoop的并行数据分析系统

提出了一款基于Hadoop的并行数据分析系统——PDM.该系统拥有大量以MapReduce为计算框架的并行数据分析算法,不仅包括传统的ETL、数据挖掘、数据统计和文本分析算法,还引入了基于图理论的SNA(社会网络分析)算法.详细阐述了并行多元线性回归算法和"多源最短路径"算法的原理和实现,其中,提出的"消息传递模型"能有效解决MapReduce难以处理邻接矩阵的问题;介绍了基于电信数据的典型应用,如采用并行k均值和决策树算法实现的"套餐推荐",利用并行PageRank算法实现的"营销关键点发现"等;最后通过性能测试,说明该系统适合高效地处理大规模数据.     

一种挖掘中小企业集群群落结构的聚类分析方法

中小企业集群具有群落结构的结构特性,本文在分析中小企业集群数据对象的基础上,提出了一种利用聚类分析的k-均值算法挖掘中小企业集群群落结构的方法,即中小企业集群的k-均值算法.并用算例说明了该算法在挖掘中小企业集群群落结构中的可行性.探讨了群落结构在中小企业集群发展中所起的作用.     

一种高效并行关联规则挖掘新算法

提出了一种在微机集群上实现的高效并行算法。该算法利用矩阵理论中上三角矩阵的良好性质，通过数据库约简、投影等操作，在微机集群的各节点上开展并行挖掘，从而提高挖掘算法的效率和可扩性。在微机集群上的实验证明，该算法能大大提高关联规则的挖掘效率，并具有良好的可扩性。     

基于消息传递的MCC集群实现

并行处理是提高计算能力的一种方法,通过网络相互连接的工作站和PC构成一个庞大的资源,以多计算机互连为基础的集群成为一种新的高效的大规模并行计算工具.本文讨论了基于消息传递机制的并行处理系统MCC的设计和实现方案.MCC系统提供了消息队列管理、节点管理、任务管理等功能,为用户提供了一个良好的并行程序开发和设计的环境.     

基于树形结构的Web信息抽取

提出了一种基于树形结构的Web结构化数据抽取算法.该算法基于HTML的树形层次结构,包括HTML树构造算法,数据区域挖掘算法,数据记录挖掘算法以及数据记录模式生成算法.算法引入了页面元素布局位置等信息用于清洗页面,采用层次划分思想实现页面数据区域的挖掘,并通过树匹配生成记录模式,实现最终数据项抽取.实验表明,该方法可以有效地实现Web结构化数据抽取.     

基于改进的MapReduce模型的Web挖掘

基于单一服务器的Web挖掘系统在处理海量数据集时计算能力不足,针对该问题,提出了一种基于云计算的挖掘方法。将大数据集和挖掘任务分解到多台计算机上并行处理。实现了一个基于Hadoop开源框架的并行Web挖掘平台,同时提出了一种改进的MapReduce模型——MapReduce-LP。并通过对电子商务系统中Web日志的挖掘工作验证了系统的有效性和新模型的高效性。实验表明,在集群中使用云计算技术处理大数据集,可以明显提高挖掘效率。     

面向集群的消息传递并行程序容错系统

为了保证大规模集群系统的可靠性和可用性,设计并实现了一个面向集群消息传递并行程序的容错系统。该系统采用检查点设置与卷回恢复技术,提出了基于内存排除的退出重进入并行环境策略,实现了对用户程序完全透明的容错功能、进程迁移以及系统自动重构。实验结果表明:检查点设置和系统恢复开销小于10%,符合大规模并行程序容错功能的要求。该系统提高了集群系统的可靠性和可用性,其设计结构和实现方法可以方便地移植到其他消息传递系统。     

LVS集群负载调度算法研究

负载调度算法是LVS集群系统的核心技术,按照实现原理将负载调度算法分为三类,比较研究IPVS的十种负载调度算法的原理与实现,通过搭建一个Web集群系统,分别测试WRR、WLC、SED、NQ等调度算法的性能,结果表明采用这些算法的集群系统性能均高于无集群系统性能.     

基于二维数组的序列模式挖掘方法研究

本文介绍了两种主要的序列模式挖掘方法,在已有二进制算法的基础上提出了一种基于二维数组与二进制形式的频繁序列的计算方法.该方法通过二维数组实现事务数据库的存储,利用 "或"、"与"、"异或"等逻辑运算计算序列的支持度计数和确定频繁序列模式,减少了数据库的扫描次数,降低了算法实现的难度,提高了挖掘效率,具有较好的创新性和理论价值.     

HANDY集群文件系统

针对当前集群文件系统缺乏动态扩展性和高可用性的不足,提出了一种基于逻辑矢量环结构的集群文件系统HANDY.系统利用逻辑矢量环实现动态扩展和资源的动态管理,采用了分布式元数据管理策略,引入邻接复制技术实现元数据的容错,通过可定制的数据存放策略满足不同应用的数据存储需求.测试结果表明,基于环状结构的系统HANDY具有良好的动态扩展性和高可用性.     

基于消息传递的网络并行计算环境

在分布式计算机系统中,由于处理机间无共享内存,因此采用消息传递的方式实现处理机间的数据交换。文章介绍了消息传递接口标准和几种典型的并行计算环境,讨论了基于消息传递的网络并行编程环境的特点,并对其开发进行了初步探讨。     

群机通信软件的实现技术

以直通式交换网络为基础,研究高速并行计算和实时仿真的通信软件。在直通网协议上直接构造消息通信原语,不用ＴＣＰ／ＩＰ协议;引入活跃消息（ａｃｔｉｖｅ ｍｅｓｓａｇｅ）,支持高层通讯机制,减少通讯量和通信开销;在硬件基础上提供广播机制;为减少中断开销和通信阻塞,引入可编程控制的ＰＯＬＬＩＮＧ机制。实现了ＨＰＭＰＳ（ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｍｅｓｓａｇｅ ｐａｓｓｉｎｇ ｓｙｓｔｅｍ）。所论述     

一种基于PVM的交错一致检查点算法

研究了一种基于PVM的交错一致检查点算法，该算法对系统资源的战胜率小，冻结时间短，尤其当计算节点具有多个处理器时，进行检查点操作不会由于对存储器的争用而导致用户进程的冻结，提高了检查点算法的效率，同时，该算法的IPC机制是基于PVM的消息传递机制，因而所有操作对用户程序是透明的。     

基于DSVM和消息传递的并行哈希连接算法的性能分析

基于分布式共享虚拟存储器（ＤＳＶＭ） 的软件设计方法是运行在网络工作站（ＮＯＷ） 上的支持并行计算与分布处理的新途径,它与传统的消息传递的编程方法不同·描述了在面向对象的分布式数据库系统ＳｈｕｓｓｅＵｏ 上,用ＤＳＶＭ 和消息传递两种方式分别实现并行哈希连接操作的３种算法;设计了测试数据库和３ 种不同的负载;并分析了ＤＳＶＭ 和消息传递这两种设计方法的性能·大量的测试结果表明,基于ＤＳＶＭ 的算法的性能比传统的消息传递的算法稍差,但ＤＳＶＭ 具有易编程等优点,因此在并行处理上仍是一项很有研究和开发价值的技术·     

消息传递网络中的消息传递机制和路由算法

消息传递网络应用十分广泛，小到超大规模集成（VLSI）内部总线，大到计算机广域网.对其中一种消息传递网络——3D环型立方体结构中消息传递机制以及路由算法进行了深入研究，提出了无死锁和无活锁的确定性路由与自适应路由相结合的路由算法，考察了虚拟直通（cut-through）和存储转发（store-and-forward）两种消息传递机制下的性能表现.通过在3D环型立方体网络上的模拟运算，验证了所提出的算法在传输延时、吞吐率等方面的性能提高；也验证了不同的消息传递机制对网络传输效率的影响.     

一种基于UML和CP-net集成描述的面向对象软件的交互测试方法

面向对象技术在软件工程中的推广使用，使得传统的测试技术和方法受到了极大的冲击．对面向对象技术所引入的消息传递、数据抽象、封装、继承、多态等新特点，传统的测试技术已经无法有效的进行测试．对面向对象软件的测试，测试策略或方法都需要出现相应的变革或更新．本文给出一种基于UML和CP-net集成描述的面向对象软件的类集成测试方法，重点在于测试不同的类方法之间的交互行为．这种方法首先用UML和CP-net集成描述用户需求，然后基于这个描述模型，按照基本路径覆盖的标准自动产生测试例．     

一种基于兴趣挖掘的机会网络内容分发策略

提出了一种新的基于兴趣挖掘的机会网络内容分发策略(Interest Mining Based Scheme (IMBS)),通过贝叶斯理论分析节点的兴趣以及节点基于兴趣的相遇频率,挖掘移动节点随机运动背后所蕴含的人类社交特征和情感特征. 此外,IMBS采用发布/订阅机制,收集节点的订阅信息,以获取消息在整个网络中的需求量. 在转发消息的时候,IMBS把消息的需求总量和节点的情感特征以及社交特征结合起来选择下一跳节点. 实验结果表明,文中所提策略可显著减少消息的传输延时和网络开销,并提高消息传输的成功率.     

基于消息传递的科学应用通信模式特征分析

对Grapes,Mx3dg和TH-PaPSM三种应用程序的通信模式进行了分析.重点讨论了点对点消息的数量、大小和目的进程的分布情况,对并行应用程序中的消息局部性进行了量化研究.本研究对设计符合真实应用的测试程序、优化科学应用程序具有较好的参考价值.     

基于时态通讯图的启发式任务调度

在基于消息传递系统的显式并行程序设计环境下,用通常的前趋任务图有时很难精确表示任务间的偏序关系．本文首先提出了时态通讯图这一基本概念,然后说明了用ＴＣＧ表示并行程序任务间相互作用关系的一般方法以及ＴＣＧ的一些基本性质,并给出了基于ＴＣＧ的启发式任务调度方法．