一种基于MapReduce的关联规则挖掘算法

本文从减少I/O时间的角度出发,结合云计算Hadoop平台的Map Reduce模型,提出了一种基于Map Reduce的关联规则挖掘算法.算法采用幂集计算候选项集,采用Map Reduce模型在多个节点上并行找出所有频繁项集,只需要扫描事务数据库1次.实验结果表明：在事务的平均项长较小的情况下,算法具有很好的加速比和数据规模增长性.     

数据密集型计算环境下离群点挖掘算法设计与实现

在数据密集型计算环境中,数据具有海量、高速变化、分布存储和异构等特征,对数据挖掘算法的设计与实现提出了新的挑战.基于MapReduce模型,提出了一种网格技术与基于LOF方法相结合的离群点挖掘算法MR_LOF.Map阶段采用网格进行数据约简,将代表点信息发送给主节点;Reduce阶段使用基于密度的离群点挖掘算法,借助网格期望值E筛选出稠密区域.该算法只需计算稀疏区域对象的LOF值,降低了算法的时间复杂度.实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘.     

基于异构模式的云计算关键技术研究

结合云计算中Map/Reduce分布式编程技术引入了基于CPU-GPU异构混合并行编程模式,给出了该并行编程模式的原理和实现过程。该模式通过采用CUDA多线程并行机制提高了大规模数据处理的效率。文中对比分析了云计算中两种典型的分布式存储系统GFS和HDFS,最后从宏观角度阐释了云计算虚拟化技术的三层部署架构和基本类型。     

分散网络化制造信息集成研究

在分析传统的分布式计算技术的基础上,提出了基于Web服务的分散网络化制造企业间信息集成框架,阐述了跨企业间信息访问的方法,说明了基于Web服务的技术优势,解决了分散网络化制造模式对异构系统的集成要求。     

主要分布式搜索引擎技术的研究

讨论了当前搜索引擎的主要技术以及这些技术的原理。介绍了基于P2P的搜索技术,以及JAXT搜索框架的基本原理,重点给出了基于Map／Reduce技术分布式搜索引擎的实现。对今后搜索引擎的发展也作出了相应的探讨。     

Web地图服务集成关键问题的探究

针对Web地图服务集成过程中所涉及到的坐标参考系不一致、保持图层相对地理位置不变、避免图层变形和返回图层的透明性等关键技术问题分析讨论,从而提出在服务器端对Web地图服务的GetMap参数信息表示的不同地图服务进行预处理,使之基本达到Web地图服务的有效集成．其间通过一个Web地图服务集成的实例验证了这些解决方案的可行性．     

垂直搜索在个性化Web搜索中的应用

本文先介绍了个性化Web搜索,然后根据个性化Web搜索提出的要求引出了垂直搜索技术,并探讨了与通用搜索引擎相比较而言．将垂直搜索应用于个性化Web搜索的优越性。最后介绍了垂直搜索中的关键性技术,即信息提取技术,并着重给出了基于网页布局和关键字段的信息提取技术。     

Deep Web站点分类研究进展

如何高效、准确地组织和检索Deep Web蕴含的高质量信息已经成为未来Web挖掘和数据库领域面临的一项崭新课题和挑战,而Deep Web分类则是Deep Web信息检索的基础.该论文综合论述了Deep Web信息集成的研究概况,重点分析了结构化Deep Web分类的主要方法和存在的主要问题,并且讨论了解决这些问题的可能方法;最后对未来工作进行展望.     

Web信息查询研究进展

Web上大量、分布、动态的信息,造成了用户在查询Web上的信息时产生的"信息过载”和"信息迷向”现象.Web信息检索与查询是目前的研究热点,本文分析和比较现有Web信息检索和查询语言技术的发展现状,介绍了基于人工智能领域中机器学习方法的Web信息检索和查询以及信息抽取技术的研究,以供研究者参考.     

Web挖掘及其在电子商务中的应用

作为一种崭新的信息处理技术,Web挖掘受到了人们极大的关注。电子商务是一种新型的现代商务模式,如何将Web挖掘应用于电子商务,来有效地处理信息,成为企业共同关注的问题。Web挖掘是应用数据挖掘的方法通过对Web页面内容、页面之间的结构、用户访问的信息等各种数据进行分析和挖掘发现潜在的、有用的知识的过程,帮助决策者更加准确地获得商品的销售信息和客户信息,使客户在短时间内完成商品的浏览、搜索以及订购。本文着重阐述了Web挖掘技术及其在电子商务领域中的应用。     

动态在线Map/Reduce流数据处理模型及作业拓扑管理协议

针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线Map/Reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型.     

Web挖掘技术

万维网的出现使计算机拥有海量的信息资源 ,而其中蕴含的知识却未能得到充分利用。为此 ,Web挖掘技术成为一项重要研究课题。文中对Web挖掘分类、与Web挖掘相关的各种技术以及Web挖掘应用加以阐述。最后提出了一个综合Web挖掘原型系统SWMS。     

分布式MIS体系结构及其应用

介绍企业信息化建设中的2种分布式MIS软件体系结构,即多层式C／S结构与基于Web的分布式MIS结构,并利用该体系结构综合建立内部网络,开发企业管理信息系统,完成管理与控制网络的集成,企业Web信息发布等的开发范例,该企业内部网的建立由此取得了较好的效果。     

基于MapRedue的大规模矢量空间数据选择查询处理

为高效地处理大规模矢量空间数据,基于Hadoop的并行计算框架MapRedue,实现了一种分布式的矢量空间数据选择查询处理方法.首先,分析OGC简单要素标准与Hadoop的Key/Value数据模型,设计了可存储于Hadoop HDFS的矢量文件格式;其次,根据两阶段的过滤-精炼策略,对Map输入数据分片、选择查询处理过程及Reduce结果合并等关键步骤进行了详细阐述;最后,基于上述技术,利用Hadoop集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率.     

基于Web挖掘的图书馆个性化服务系统研究

文章提出一个兼顾虚拟与物理世界信息服务的图书馆个性化服务系统结构及读者信誉度评估模型,运用Web挖掘技术对图书馆MELINETS系统中大量的Web流通日志记录进行挖掘,构建一种能反映不同用户个体和群体信息使用行为、习惯及其变化特征的动态的读者信誉度评估机制,用以科学地划分读者群,设计了能提供满足读者个性特征和需求的个性化服务功能及其组合,为进一步开发与应用图书馆个性化服务系统提供了技术基础。     

网络舆情监控系统的实现方法

结合信息通信技术,使用中文信息处理和文本挖掘中的关键技术对舆情监控设计流程进行分析.通过相关功能模块建立网络舆情监控系统,实现网页信息采集和Web挖掘基础上的热点发现与跟踪.     

一种分布式Web使用模式挖掘模型及算法

给出了一种分布式Web日志挖掘模型DWLMS. 根据对挖掘过程及算法进行分析,提出了一种基于DWLMS的局部频繁路径的更新算法LFP和全局频繁路径的更新算法GFP,较好地解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难. 在实验室对该方法进行了简单实现和实际日志数据的测试,结果表明了算法的有效性.     

A Survey of Web Information System and Applications

The fourth international conference on Web information systems and applications （WISA 2007） has received 409 submissions and has accepted 37 papers for publication in this issue. The papers cover broad research areas, including Web mining and data warehouse, Deep Web and Web integration, P2P networks, text processing and information retrieval, as well as Web Services and Web infrastructure. After briefly introducing the WISA conference, the survey outlines the current activities and future trends concerning Web information systems and applications based on the papers accepted for publication.     

异构信息源集成技术

异构信息源集成技术提供统一接口,使各种基于因特网的应用能迅速、准确地提取所需信息,为用户屏蔽各种信息源的异构性.这种异构信息源的集成技术从传统的结构化的异构数据库扩大到半结构化的大量Web页面信息及无结构的信息.对集成技术的方法,如数据模型、Web信息、描述语言XML、主流软件开发技术及信息智能搜索、查询重写、查询分析等进行了分析,给出了半结构化异构信息源集成的系统架构,并指出该项技术未来发展趋势.     

XML Web服务在林业信息系统集成中的应用

针对当前林业信息系统集成中存在的数据重复输入、难于及时共享的现状,采用XML Web服务技术,进行数据交换,实现了系统的集成,解决了“信息孤岛”问题,并以某林业上下级单位信息管理系统之间的Web服务为例,介绍了数据交换Web服务的开发方法.实践证明：Web服务在林业信息系统集成中能够发挥很好的作用,使得原有的信息系统得以保留.