Deep Web数据源聚类分类算法研究

在Internet技术飞速发展的今天,人们对依靠Web引擎搜索可用信息的实效性、快捷性的研究在不断的深入。然而许多Web信息已经被各种各样可搜索的在线数据库所深化,并被隐藏在Web查询接口下面。传统的搜索引擎由于技术原因不能索引这些信息——Deep Web信息。由于Deep Web数据的异构性和动态性,有效地把这些信息加以利用是一件具有挑战性的工作。因此,本文分别提出了基于Deep Web查询接口的Deep Web数据源聚类和分类算法,为Deep Web信息检索方法的研究提供了一定的理论依据。     

领域Web数据库查询接口的自动发现

由于Deep Web查询接口的自动发现是获取Deep Web信息的基础,提出了基于搜索引擎的表单发现方法和基于语义相似度的查询表单判定方法.该文首先定义了查询表单的特征的表示方法,然后自动提取样本查询接口的特征并将其中的文字特征进行组合提交给搜索引擎以实现查询表单的搜索,最后基于语义相似度和字面相似度的方法判定搜索表单和样本表单之间的相似度,并由此判定是否是WDB的查询接口.实验证明该文方法具有良好的可行性和实用性,为深入研究Deep Web提供了良好的条件.     

Deep Web爬虫研究与设计

随着Web的发展,越来越多的数据可以通过表单提交来获取,这些表单提交所产生信息是由Deep Web后台数据库动态产生的.在这种情况下,信息集成就更加需要Web爬虫来自动获取这些页面以进一步地处理数据.为了帮助用户完成这样的任务,提出一种用于搜集Deep Web页面的爬虫的设计方法.此方法使用一个预定义的领域本体知识库来识别这些页面的内容,同时利用一些来自Web站点的导航模式来识别自动填写表单时所需进行的路径导航.通过对来自不同领域的Deep Web站点的大量实验,验证了此方法是非常有效的.     

Deep Web站点分类研究进展

如何高效、准确地组织和检索Deep Web蕴含的高质量信息已经成为未来Web挖掘和数据库领域面临的一项崭新课题和挑战,而Deep Web分类则是Deep Web信息检索的基础.该论文综合论述了Deep Web信息集成的研究概况,重点分析了结构化Deep Web分类的主要方法和存在的主要问题,并且讨论了解决这些问题的可能方法;最后对未来工作进行展望.     

Deep Web数据库集成技术的研究

针对基于查询接口集成的web集成技术复杂且面向领域这一现象,提出了一种非实时查询Deep Web数据库集成技术.该技术通过在被检索网站安装客户端数据源应用程序,获取所有被检索网站的Deep Web数据源连接信息、Deep Web异构数据库表结构信息以及Deep Web异构数据库表数据.其中表结构和表数据经集成系统解析后以统一的格式集成到本地数据库.实验结果表明,该集成技术可集成所有领域的Deep Web异构数据库,没有领域限制.由于是本地查询查询速度也较快,具有一定的可行性.     

基于Deep Web Search 技术的主题式爬虫模块研究与设计

 随着Web技术的飞速发展,海量数据的管理与搜索变得尤为重要。海量信息的异构性和动态性特点要求信息集成需要Web爬虫来自动获取这些页面,以便进一步处理数据。而一些企业内部的资料既要保密又要供不同的内部职员使用,这种既开放又保守的特点成为企业发展的瓶颈。为了帮助用户完成这样的任务,本文改变传统的资源共享形式,为企业提供了一个高效便利保密的资源共享管理平台——企业搜索引擎(ESE),提出了一种基于主题式爬虫的Deep Web页面的企业搜索引擎(ESE)的和基于开源Java Lucene的索引企业搜索系统设计与实现方法。通过在电信行业Deep Web站点部署实验,经运行检验,结果达到了设计指标要求,为电信行业搜索发挥了作用。并对搜索的精度、速度,以及垃圾网页反舞弊等方面研究进行了展望。     

Deep Web数据集成系统中的查询效率优化

Deep Web能够提供大量高质量的信息,为了有效地利用这些信息,建立Deep Web数据集成系统是重要手段。Deep Web数据集成系统的查询效率是其应用的关键。本文采用建立本地索引数据库的方式以提高查询效率,在此基础上提出了其相应的更新策略,并给出了算法分析。     

Deep Web技术在科学数据共享平台中的应用

Deep Web中蕴含了海量的可供访问的信息,并且还在迅速地增长。随着互联网应用的发展,网上的在线数据库大量涌现,Deep Web数据集成成为当前信息领域的一个研究热点。为了方便用户查询数据,对Deep Web技术的应用进行了研究,提出了Deep Web技术在科学数据共享平台中的架构,并阐述了具体的实现。     

基于领域本体的Deep Web内容获取技术研究

为了用户方便快速地使用Deep Web中的信息,对在线数据库中的内容进行获取是一种行之有效的方法.本文设计了一种基于领域本体的Deep Web数据库内容获取技术,利用训练数据库训练构建领域本体,通过领域本体中的有效查询项获得查询关键字集,对数据库内容进行查询,最终获得Deep Web内容.通过实验证明,该方法能育效地获...     

Deep Web中基于迭代的查询方式

不同于Surface W eb的信息获取方式,Deep W eb中大量的数据隐藏在数据库中,无法直接通过静态的URL链接来获得,只能在查询接口中输入关键词来获得站点中的网页.主要对Deep W eb中查询数据库时提交的查询操作进行了研究,发展了一种机器学习方法去自动获取Deep W eb的查询语言,并根据迭代算法寻找到合适的网页.     

Deep Web数据源的发现和分类

为了最大限度地获取Deep Web数据源信息,并对获取到的数据源信息进行分类,方便后续的数据源集成工作以及用户的检索使用,提出了一种基于数据库的实时的Deep Web数据源搜索框架,该模型在本地服务器上设计安装"数据源发现应用程序"模块,通过各搜索网站下载安装的"客户端数据源应用程序"模块实现数据信息的对接和实时传送.为了保证检索效率,利用知网结合同义词词林对各大被检索网站进行分类.     

Deep Web查询接口自动识别方法

获取Deep Web中信息的主要途径是通过在其提供的查询接口上提交查询来获得,自动识别Deep Web查询接口是Deep Web数据集成系统中需要解决的一个关键问题.通过提取适当的表单结构特征,采用C4.5决策树和朴素贝叶斯相结合的分类算法实现对Deep Web查询接口的自动识别,实验验证了该方案的有效性.     

基于XML Schema的Deep Web查询接口分类研究

Deep Web在线数据库蕴含大量的信息,但由于这些信息检索困难,利用率不高,本文提出一种基于XML Schema的查询接口分类方法,建立数据查询接口的XML Schema文档,通过各数据源名的语言学相似度实现查询接口的初次分类;根据查询接口标签属性,建立特征-接口向量空间模型实现查询接口向量化,再采用KNN算法进行二次分类,减少KNN算法分类带来的计算开销,提高Deep Web数据检索的效率。     

基于CPN网络的Deep Web数据语义标注

全面准确地标注Deep Web数据是实现Deep Web数据集成系统的关键问题,然而现有的DeepWeb数据语义标注方法还不能很好地解决这一问题.提出一种基于CPN网络的Deep Web数据语义标注方法,通过提取属性值的基本特征,采用CPN网络实现Deep Web数据语义标注.同时,采取了一种有效的方法准确获取Deep Web结果页面中的属性值,为语义标注奠定了良好的基础.与同类成果相比,基于CPN网络的Deep Web数据语义标注方法提高了语义标注的准确率及召回率.     

一种基于XML分析的Deep Web查询接口分类研究

Deep Web查询接口分类是实现Deep Web在线数据库分类访问的主要方法,本文在研究查询接口特征数据抽取和表示的基础上,通过对查询接口所在Web页的位置来构建对应的接口特征XML文档,根据XML文档中的节点位置不同,分别为不同的查询接口特征赋予不同的分类权重因子,以提高有效特征的分类能力,并采用信息增益算法实现最终分类特征的选择,然后采用KNN分类算法实现查询接口分类,实验结果表明此方法的实际可行性.     

Web数据库多表查询的关键技术与优化

为了满足面向专业的Web数据库通用信息查询服务需要 ,弥补目前这一方面存在的一些不足 ,作者研究了Web数据库多表查询中的关键技术与优化方法 .即通过查询界面的设计原则、实现方法 ,引导查询人进行正确的操作 ,以获得与期望相符的查询结果 ,同时还对界面进行了优化 ,压缩了界面HTML文件的大小 ,降低了网络传输所带来的延时 .此外 ,还讨论了SQL语句的形成 ,以子查询方式优化SQL语句 ,提高了查询的效率 ,改善了Web数据库服务器的性能 .特别是当数据库中的记录越多时 ,Web数据库服务器性能的改善越明显 .在查询结果界面中 ,通过引入拖拽机制与隐藏 /显示机制来提高查询结果界面的交互性 ,从而使用户获得更好的查询效果     

基于少量示例的个性化Web信息自动获取系统

基于关键词的搜索引擎满足了人们一定的需要,但由于其通用的性质,并不能满足用户的个性化需求,为此,设计并实现了一个基于示例的个性化Web信息自动获取系统.该系统采用了一种新的基于少量Web示例网页和语料库词频统计的特征抽取算法和过滤阈值设定方法.实验结果表明,较基于关键词的搜索引擎而言,该系统能充分考虑用户的兴趣偏好(示例),长期、主动地向用户提供更加准确的Web信息获取服务.     

个性化新闻搜索系统的研究

用户在Web 上检索信息时,通常使用门户网站所提供的搜索引擎工具,但目前的搜索引擎普遍存在查全率和查准率低、不具备个性化等问题.论文对新一代个性化智能搜索引擎的主要技术进行了研究,提出了智能搜索引擎的总体框架,详细介绍了原型系统--新闻搜索引擎的实现以及其中用到的关键技术.     

WEB数据库系统开发技术研究

利用Web服务器的信息服务能力和数据库服务器的数据管理能力来构造信息服务系统已成为人们关注的热点,其开发技术的关键是数据库网关的实现.介绍了目前采用的传统 Web数据库解决方案中数据库网关实现几种技术： CGI、 IDC、 ASP、 JDBC,并分析了其缺点,提出了一种的新的 Web数据库解决方案.     

搜索引擎个性化信息查询服务

提高搜索引擎检索结果的精度并向用户提供个性化信息查询服务已经成为搜索引擎技术的一个研究热点.搜索引擎个性化信息查询服务技术有Web挖掘技术、基于移动Agent的个性化信息服务技术等,介绍了基于Web挖掘的个性化技术的发展趋势.