基于移动代理(Agent)的智能爬虫系统的设计和实现

提出了一种基于移动代理的的爬虫系统,系统中爬虫代理运行在远程Web服务器上,它将集中在服务器端的任务如特征提取、建立索引等分散到远程的Web服务器上并行运行,而且代理个数是可控的,最后将少量的数据回传到服务器端,这不仅提高了效率而且减小了网络传输量.     

基于B/S架构的嵌入式Web远程监控系统的研究与实现

该文设计了一个基于B/S架构的嵌入式Web远程监控系统,嵌入式web服务器端采集视频图像,并通过网络把视频图像信息传至客户端浏览器,客户端通过浏览器发送控制指令给服务器端、服务器端依照控制指令控制被控设备运行。     

面向Windows平台的日志远程采集系统研究

对日志进行远程集中化管理是日志管理的有效手段.但由于日志格式不统一,传统上很难将大型网络中Windows系统上的各类日志远程采集到集中的日志服务器.介绍了Windows平台上常见系统日志的概况,以及一种新的支持多平台且功能强大的日志采集工具nxlog,它可以非常方便地部署到Windows系统上并以客户端代理或者服务器模式运行,以此提出了基于nxlog的日志远程采集系统方案.实际运行结果表明,该方案具有实用、高效的特点,可有效解决大型网络中Windows系统日志远程采集的问题.     

基于Android的无线打印点餐系统

为实现客户点餐与后厨无缝连接的点餐服务模式,设计了基于Android的无线打印点餐系统,系统共包括客户端、服务器端和自主打印3个模块.客户端采用Eclipse开发软件,服务器端用Java Web+Tomcat+My SQL开发技术,打印模块采用Android自带的无线打印函数,调用客户订单传输给打印机设备实现打印,3个模块之间通过无线路由器连接.具体流程是Android客户端通过HTTP协议向Web服务器发出请求,Web服务器将请求信息提交给相应的Servlet进行业务处理,Servlet通过JDBC访问远程My SQL数据库,将结果以JSON格式的数据返回给Android客户端,最后调用无线打印模块将数据库中的订单直接输出.     

嵌入式Web服务器技术在远程实验系统中的应用

随着嵌入式技术和网络技术的不断发展,两者的融合应用越来越广泛。本文提出并设计了一个基于嵌入式Web服务器技术的远程实验系统,将Web服务器嵌入到实验仪器上,客户端通过IE浏览器访问远程服务器,控制与其相联的现场仪器,采集数据并完成一个真实的实验过程。实验证明,远程测试与现场测试的结果一致,系统达到了预期的效果。     

基于Java和MySQL技术用于PACS的网络医院预约和查询系统的研究

本文就PACS系统的重要部分——网络医院预约和查询系统进行研究,采用完全免费的Java支撑开发软件和My SQL数据库系统,开发了一个基于Web技术的操作简易、通用性强的网络化医院预约查询系统.使用B/S三层体系结构,实现了用户在远程范围内预约就诊,通过Web服务器来查询和提取用户的信息,完成客户端对服务器端医学图像的提取,利用Web浏览器实现其图像操作.实现了医学信息的共享,提高了医院就诊的效率.为PACS 系统的进一步全面开发建立了基础,对医院信息化建设有着重要的意义.     

嵌入式Web服务器的设计与实现

简要介绍了Web服务器的基本原理,阐述了嵌入式Web服务器的实现方法与技术.设计的嵌入Web服务器全部代码用C语言实现,进一步提高了运行速度,增强了系统的安全性和可靠性.在网络应用系统中使用这种嵌入式Web服务器取代现有的通用W服务器,可极大节省系统资源,简化系统管理,提高应用系统的运行效率.     

基于三自由度直升机的远程实验系统设计

为了将三自由度直升机应用到实验教学中去,设计了一个基于Internet的网络实验平台. 该平台采用Browser/Server结构,Web服务器通过调用本地服务器的Web Service程序,通过Matlab/Simulink Real-Time Workshop工具箱对直升机进行实时控制. 实现了在校园网中任何一台计算机上远程登录进行实验,每个用户可以学习三自由度直升机的系统建模,验证非线性系统控制特性,并可将自己的创新控制算法上传到系统,验证控制算法的控制效果.     

基于Internet的代理缓存技术的研究

讨论基于Internet的代理缓存的目标、性质和工作原理,从而论述了代理缓存技术成为解决Web访问速度慢、服务器负载重和网络阻塞等问题的主流技术的原因.最后,指出基于Internet的代理缓存技术仍存在的一些问题和研究前沿.     

基于Web Services的远程数据传送的研究与实现

分析了基于Web Services的远程数据传送技术,将它和多层体系构架Sping.Net结合,这样结合的优点是服务器端不需要创建Web Services文件,客户端也不需要手工创建代理类,将有Sping.Net容器来动态生成。此开发模式可以提高系统的开发效率,通过创建一个药品监督管理系统的数据传送子模块来说明这个新开发模式的优越性。     

基于SVM预测的金融主题爬虫

随着Internet上信息的爆炸,利用通用搜索引擎检索用户相关的信息变得越来越困难,而主题爬虫成为WEB上检索主题相关信息的重要工具。目前大部分基于分类器预测的主题爬虫的训练数据是不同类别网页的内容,但是在实际预测过程只能根据父网页中的一些链接信息进行预测,所以造成主题爬虫的预测的准确率较低。本文使用SVM分类器对标注了类别的URL以及上下文和锚文本进行训练,并分别使用了DF和信息增益两种不同的特征选择方法进行特征筛选,对影响分类器的各种因素进行了实验对比,并对分类器进行了在线的实验.实验证明这种方法在实际预测过程中效率很高。     

Robots Exclusion and Guidance Protocol

With the rapid development of the Internet, general-purpose web crawlers have increasingly become unable to meet people's individual needs as they are no longer efficient enough to fetch deep web pages. The presence of several deep web pages in the websites and the widespread use of Ajax make it difficult for generalpurpose web crawlers to fetch information quickly and efficiently. On the basis of the original Robots Exclusion Protocol(REP), a Robots Exclusion and Guidance Protocol(REGP) is proposed in this paper, by integrating the independent scattered expansions of the original Robots Protocol developed by major search engine companies.Our protocol expands the file format and command set of the REP as well as two labels of the Sitemap Protocol.Through our protocol, websites can express their aspects of requirements for restrictions and guidance to the visiting crawlers, and provide a general-purpose fast access of deep web pages and Ajax pages for the crawlers,and facilitates crawlers to easily obtain the open data on websites effectively with ease. Finally, this paper presents a specific application scenario, in which both a website and a crawler work with support from our protocol. A series of experiments are also conducted to demonstrate the efficiency of the proposed protocol.     

面向P2P搜索的可定制聚焦网络爬虫

提出了一种可定制聚焦网络爬虫技术.该技术采用简单的主题描述方法提高网络爬虫的可定制性,利用基于站点页面链接结构的链接导航技术实现对主题信息的高效抓取,通过配置文件实施定制,从而构建一个资源消耗小、数据采集准确性高、可控性强的轻量级聚焦网络爬虫,以满足P2P搜索的需求.文中进一步提出一种增量更新和批量更新相结合的网络爬虫数据更新机制,这种混合更新机制降低了增量更新的实现复杂性,相比批量更新具有更小的资源消耗,实验表明采用这种机制能达到较高的数据新鲜度和召回率.     

基于语义相似聚合的主题爬虫算法研究

互联网的迅速发展,数据不断增加,使得个性化数据的获取难度越来越大.主题爬虫作为一种垂直检索方式,已经成为一个热门研究领域.传统的主题爬虫往往是通过网页链接之间的关系下载网页,然后再计算下载的网页与给定主题之间的相关关系.传统的主题爬虫一方面割裂了网页链接结构和网页内容主题之间的关系,使得两个部分分开计算; 另一方面下载过程的网页主题相关性不强,会下载大量的主题无关网页.本文提出一种新的基于PageRank 算法主题爬虫算法将网页主题相似度计算与传统的PageRank 算法相结合,将网页链接结构与网页主题相关性结合在一起.另外本文将语义相似性引入到主题爬虫里,实验结果表明本文提出的基于语义相似聚合的主题爬虫算法大大提高了主题爬虫的查全率.     

A New Framework for Focused Web Crawling

Focused crawlers are important tools to support applications such as specialized Web portals, online searching, and Web search engines. A topic driven crawler chooses the best URLs and relevant pages to pursue during Web crawling. It is difficult to deal with irrelevant pages. This paper presents a novel focused crawler framework. In our focused crawler, we propose a method to overcome some of the limitations of dealing with the irrelevant pages. We also introduce the implementation of our focused crawler and present some important metrics and an evaluation function for ranking pages relevance. The experimental result shows that our crawler can obtain more ＂important＂ pages and has a high precision and recall value.     

移动机器人遥控驾驶系统的设计与实现

由于完全自主的移动机器人还存在技术瓶颈,所以遥操作对于实用系统而言是必不可少的,它能够代替人类在远程或者危险的环境下执行任务.介绍了一套自行研制的基于电子地图定位、导航和路径规划功能的、具有友好人机界面的移动机器人遥控驾驶系统.对系统的体系结构、电子地图和无线通信等     

面向云端融合计算的防御性数据销毁机制

云端融合计算将云计算和对等计算有机地融合,充分挖掘网络中心集群服务器端和网络边缘终端所蕴含的各种可利用的资源。引入了动态性比较强的网络边缘节点之后,云端融合计算环境下的数据安全保护和远程数据销毁更加困难,特别是恶意的异地主体可能对被托管的数据实施非法篡改等攻击行为。为此,本文提出了基于移动Agent的防御性数据销毁机制,利用移动Agent对云端数据进行检测,将待上传密文数据的HASH值拼接在密文后面,并定时对数据进行双重检测,有效区分云端数据的正常修改和非法篡改。通过预测相关数据受攻击的可能性,对已被非法篡改或有被非法篡改可能性的数据进行有效处理。设计并构建了基于移动Agent的云端数据防御性数据销毁原型系统。实验结果表明,基于移动Agent的防御性数据销毁机制在检测准确性、安全性、时间开销等方面具有良好的性能表现。      

移动互联网用户行为分析系统中聚焦爬虫的设计与实现

在移动互联网用户行为分析系统中,为了使深度包检测(deep packet inspection,DPI)进行有效地数据匹配,对用户行为进行更深层次的分析,达到不仅能识别出业务网站类型而且还识别出业务网站访问具体内容的目标,设计出一种能进行具体内容级别上特征爬取和提炼的爬虫模块.针对特定业务网站,考虑广义爬取对技术和存储要求高的缺点以及针对某一行业的爬虫系统得到数据有限的不足,设计并实现了一种基于特定页面分析的聚焦爬虫模块.该爬虫模块采用模块化的思想,使用多线程多任务,精确高效地爬取特定业务网站信息,为DPI匹配提供数据支持.经过测试验证,该爬虫模块达到了预期的要求,可维护性、可扩展性和实时性强,满足移动互联网用户行为分析系统对特征数据提取的需求.     

新浪微博数据挖掘方案

随着新浪微博用户群体的增长,新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率,获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用,解决了因API接口开放不完善,且因在返回结果数量上限与调用频率方面的限制,导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试,通过2套方案的结合可以实现新浪微博数据高效全面的获取。