基于网页的站内信息采集技术的研究与实现

实现站内搜索引擎的关键一步是信息的自动采集.站内信息采集技术是通过分析网页的HTML代码,获取网内的超链信息,使用广度优先搜索算法和增量存储算法,实现自动地连续分析链接、抓取文件、处理和保存数据的过程.系统在再次运行中通过应用属性对比技术,在一定程度上避免了对网页的重复分析和采集,提高了信息的更新速度和搜全率.     

科研信息采集整合系统研究

科研信息服务需要专业的信息检索与信息整合。科研信息采集整合系统利用Nutch实现数据的采集与索引,针对公网网页和专业数据库的类型采用不同相关度计算方法,实现了科研信息的有效整合。     

Web数据的深度定向采集

通过模拟人类访问网页的浏览行为,提取定向爬行子页面集限定爬虫的爬行方向;引入页面继承关系,并通过爬行条目的属性继承实现跨页面复合对象的数据关联关系;设计实现了支持深度定向采集的通用爬行流程。面向天涯热帖的舆情采集实验结果表明:该方法可以在整体处理流程不变的前提下,实现复杂对象的数据采集,并具有较高的采集效率。     

一种基于XML和规则库的专利数据抽取方法

通过对现有网页数据抽取方法的分析,结合专利网页数据的特点,提出了一种基于XML文件和规则库的专利数据抽取方法。通过自定义标签对网页进行格式化,克服了以往网页采集中只针对<\table>和<\div>标签进行分割提取数据的不足,实现了专利数据的有效采集。实验结果表明该方法具有很高的准确性和适用性。     

WSN与GPRS结合的远程图像等数据采集系统设计

为了能够对远程现场图像等数据的实时获取,论文设计一种远程数据的采集系统.远程的数据采集节点是利用无线CC2530芯片控制摄像头和其它设备进行图像等数据的采集,采集的数据通过WSN(Wireless Sensor Network)发送至数据汇聚节点,再通过GPRS(General Packet Radio Service)传送到数据监控中心.数据监控中心完成数据的保存和信息的显示,同时还可以反向控制远程的数据采集节点.实验结果表明该系统能够很好地实现远程现场图像及其它数据的采集和传输,并有效地对远程的数据采集节点进行控制.     

基于GIS的数据采集方案设计

AutoCAD二次开发的数字化软件是数据采集的重要途径之一,由于CAD本身不是GIS软件,因此采集的数据在向GIS系统转换时,常丢失数据和信息;通过利用CAD本身的XDATA、HANDLE、GROUP管理数据的手段和特性,实现了AutoCAD下基于GIS规则的数据采集,兼顾了数据的采集的便捷和GIS数据完整性要求。     

基于移动互联网的温度动态采集系统

针对多数工业现场冷热交加、工作条件苛刻的实际情况,提出了基于移动互联网的现场温度数据采集系统的解决方案.在分析温度采集系统的开发目标、功能和组成的基础上,给出了基于GPRS的温度采集系统的通信原理,通过动态网页ASP和无线标记语言(WML)编程实现温度采集控制、采集数据的动态实时显示、历史温度数据的查询分析等功能.该系统在服务器上试验,通过DUT3000模块采集的21万条数据验证了系统的实效性和便捷性.     

基于FPGA与SRAM数据采集系统设计

传统的数据采集系统大都是由ARM+DSP实现的,虽然DSP的优势在于数据处理,但是随着FPGA技术的发展,很多FPGA已经可以取代DSP的作用了。尤其是在高速实时的数据采集领域,采集回来的数据速度高,数据处理相对简单(平均处理),使用FPGA构建的数据采集系统能更加快速地对采集的信息进行快速处理。本设计的工程的具体应用背景是光纤通信检测仪,期中数据采集与处理模块有别于传统的MCU架构,采用的是FPGA+SRAM架构,可实现高速数据采集与处理。     

基于视觉识别技术的机车定位系统研究

本文通过视觉SLAM技术,设计一套视觉图像采集处理系统,利用摄像机视觉定位方式,实现机车在站场股道的精确定位。系统首先通过图像采集装置,实现站场大量数据采集,并将该数据用于站场高精地图构建基础。将构建高精地图植入车载主机,在实际机车站场运行中,根据采集的实时图像数据与高精地图数据做学习对比,最终实现机车站场高精度定位,并根据位置信息实现机车操纵指导提醒。     

基于LabVIEW的中子注量率密度数据采集

在LabVIEW软件中,结合PCI-6251数据采集卡,采用DAQmx数据采集函数实现中子注量率密度数据采集的虚拟仪器VI设计.虚拟仪器VI包括前面板和程序框图部分,采集到的数据能够以数据曲线和数据显示控件两种形式显示,并以文件的形式保存数据.测试结果表明,该系统能够准确测定NI ELVIS输出信号频率,实现基于LabVIEW的中子注量率密度数据采集.     

基于LabVIEW的并行数据采集系统设计

为了解决云粒子测量系统中并行数据采集通道之间的信息交互问题,采用LabVIEW中库函数节点、消息队列和状态机相结合的方法,实现了多路不同速率数据的并行采集,试验验证了该并行数据采集方法的可行性.研究结果表明:基于LabVIEW进行并行数据采集,不但快速、简单,并且能够有效提高数据采集效率,方便进行系统扩展.该方法对多路并行数据采集系统设计具有一定的参考价值。     

基于虚拟仪器LabVIEW的发动机台架试验数据采集系统设计

发动机台架试验系统是测试发动机动力性、经济性、可靠性的必要手段,其自动化水平与测试精度能够直接影响试验数据采集及分析处理的准确性。基于虚拟仪器LabVIEW设计了发动机台架试验数据采集系统,硬件部分主要包括实现发动机转速、温度、振动等信息获取的传感器,以及匹配传感器的信号调理模块和数据采集卡;软件部分是基于虚拟仪器LabVIEW编写的数据处理与界面显示程序。调试运行结果表明构建的发动机台架试验数据采集系统能够实现发动机转速特性、负荷特性、振动等信息的准确采集并能在界面窗口直观显示,能够满足发动机性能测试过程中运转特性参数信息准确获取的需求。     

智能配电网数据采集集成平台设计的思

在传统的电力系统研究中,进行数据采集都采用SCADA系统,该系统在实际运用过程中收集的信息是不全面的.本文主要对智能配电网数据的采集与集成进行分析,详细分析数据的采集模块,不断提高配电网数据采集与集成平台设计的科学性、智能性、可靠性.     

卷烟质量信息管理系统的设计与实现

开发了基于VB的数据采集处理及J2EE的查询分析系统。系统通过Mscomm通信控件实现PC和数据采集机的串行通信,对烟支质量参数进行实时采集,通过MS SQL Server数据库和J2EE环境下EJB对已采集数据进行分析处理,最后经JSP/Servlet将分析结果在IE中呈现.经测试本系统能实现卷烟质量信息的跟踪和管理,有利于卷烟产品质量的改进和提高.     

基于智能的网页信息提取系统的研究与设计

随着Internet的迅速发展,为人们提供了大量的信息,但这些信息都包含在网页中,为了使用这些信息数据,需要将数据从网页中提取出来.本文介绍了一种新的基于智能的网页信息提取系统EIES,通过对RoadRunner的改进和利用,在提取过程中不需人工干预,实现了信息提取的智能化.实验表明,该系统能够更准确、更有效地分类相似网页和提取网页信息.     

基于云GIS的网络舆情可视化方法

针对舆情监管中数据自动化获取、情感分析和空间可视化显示的相关问题,研究了基于云GIS的网络舆情可视化方法.通过构建基于OpenStack和GeoServer的云GIS平台为舆情数据的采集、分析和显示提供存储和计算支撑;研发了舆情数据自动化采集引擎,根据网页DOM的结构特点,设计了列表项和列表项属性信息获取算法,实现了舆情数据的自动化获取;设计了情感分析算法,实现了舆情信息正负面属性的判定.研发了基于云GIS的舆情可视化系统,为基于空间的舆情信息可视化分析提供了实践经验.     

基于GPRS的无线实时监控系统研究

本文介绍了一种新型的基于GPRS的无线实时监测网络.该网络解决了传统监控网络系统中的数据采集和传输方面的环境局限性,利用移动无线自动传输和Internet技术实现数据的实时采集和无线传输,通过信息处理服务器对所采集数据信息进行分析处理,最终实现在互联网上共享数据,实现实时在线监控的目的.     

电动汽车试验运行参数监控系统研究

在电动汽车的研发过程中,需要对车辆及关键零部件的运行状态信息进行实时采集和监测,因此设计开发了电动汽车试验运行参数监控系统．首先在下位机开发数据采集器,对车辆信息进行实时采集;然后采用无线通讯技术将下位机采集的数据传给上位机,在上位机实现远程监控及信息管理．实车测试结果表明该系统能够准确、可靠地完成实时数据的采集、传输和管理,具有优良的性能．     

基于网页分块自定义信息提取的Web信息采集器设计

通过分析现有网络信息采集软件的不足,根据网页文本信息的结构和内容特征,提出一种基于网页文本信息或富文本信息的优化提取策略。通过将网页文档表示为DOM标签树的形式,把信息按Web页面的标签进行内容块的分割,结合XPath定位的方式,利用可视化的工具提取网页中有用信息,实现自动定期采集并按自定义表结构存储。     

基于嵌入式Linux的数据采集发布系统

为实现对环境的温湿度监控和图像采集,设计了一种基于B/S架构的嵌入式系统.该系统实现了两大功能:定时采集并存储温湿度和图像;通过网络访问这些数据.硬件采用ARM核心板、DHT11温湿度传感器和摄像头;软件设计方面包括:搭建嵌入式Linux的软件平台;移植Boa、SQLite和PHP;编写DHT11驱动程序;编写温湿度和图像的采集存储程序;编写PHP网页脚本程序.本设计去除了传统数据采集中复杂冗余的数据传输过程,将整个采集、存储、传输和网络发布集成在一个单机中实现.经多次验证,该系统能够稳定运行.