一种基于P2P技术的分布式微博爬虫系统

微博正逐步成为公共信息传播的主要媒体,高效地获取微博数据则显得至关重要,分析微博数据有助于研究者及时了解舆情信息.由于传统网页爬虫无法获取完整的微博信息,微博API又有诸多限制,因此针对新浪微博,设计了一种基于P2P技术的微博爬虫系统.该系统避免了新浪API的功能和连接限制,使用基于模拟登录的网页爬虫,根据用户的地理位置信息划分任务,实现连续高效的数据采集.通过与其他架构的试验比较,证明本系统具有良好的性能,能为舆情分析提供数据支持.     

基于用户影响力的微博数据采集技术

微博的使用人群数量基数大,状态信息更新频繁并且信息传播迅速,因此对微博平台上信息的挖掘具有重要意义,但是由于微博数据的海量性、突发性以及微博格式的不规则性,加大了采集数据的技术难度.在分析对比了基于Cookie爬虫微博数据采集方法和基于API接口微博数据采集方法的基础上,提出了一种基于用户影响力的微博用户信息采集方案.将每一个API调用封装成一个Task类嵌入到具有模拟登陆功能的爬虫程序中,通过贝叶斯-Pagerank算法量化微博用户之间的关注关系得到用户的影响力值,依据用户影响力值决定爬取顺序,可以在有限的时间内采集到更多有价值的节点信息.实验结果表明该方案在微博数据采集的效率与性能上都有较大提高.     

车辆状态感知中的自适应二次融合

该文针对危险品运输车辆在途状态特点,结合自适应加权与二维回归分析2种融合方法,提出了一种自适应二次融合算法,有效应用于在途性状数据的采集,并通过以气体危险品磷化氢在途性状数据采集的一个实例,进一步验证了该算法的效果,实践表明运用该算法,车辆在途性状获取的准确性和可靠性都得到了显著提高。     

Twitter数据采集方案研究

为了能够实时、高效地获取Twitter数据,在分析了传统采集方法的缺陷后,提出了基于Twitter List API和Lookup API的用户数据采集方案。该方案通过对用户进行分类,进而精确控制API的调用频率。经在超过26万Twitter用户和600万条消息的一系列实验证明,通过两套方案的结合可以实现Twitter用户数据高效实时的获取。     

新浪微博数据挖掘方案

随着新浪微博用户群体的增长,新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率,获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用,解决了因API接口开放不完善,且因在返回结果数量上限与调用频率方面的限制,导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试,通过2套方案的结合可以实现新浪微博数据高效全面的获取。     

基于Cookie的单点登录认证机制实现

为解决企业内各系统登录方式的问题,分析对比了单点登录技术各方案的优缺点,提出了基于Cookie的单点登录认证机制,并通过对Cookie机制的认证方式、跨域的解决、安全性等方面的研究,实现了单点登录.     

基于多策略的新浪微博大数据抓取及应用

微博数据处理属于大数据范畴,其前提是获取大量的微博数据,而由于商业利益以及安全方面的考虑,获取微博数据的途径越来越少。同时随着新浪官方API的逐步更新,数据获取的限制也日益增加。文章尝试利用现有资源,基于多策略获取机制,设计出可稳定获得新浪微博数据的挖掘方案,并给出情感分析应用实例。实验表明,所设计的挖掘方案可以根据需要获取微博上的数据,并可以应用于微博情感分析中。     

用户Cookie的自动安全保护方法

针对用户Cookie的安全性问题,提出一种用户Cookie的自动安全保护方法.先将用户Cookie信息加密存储在移动存储设备中,再利用指纹识别鉴定用户的身份,实现程序全后台操作,自动完成对Cookie移动、转存和删除等管理,使用户能在不同计算机上方便进行网络登录,且具有相同的Cookie应用环境.实际应用表明,该方法能有效保护用户Cookie信息,并提高用户登录时的便捷程度.     

基于LPWAN偏远低效气井数据传输方案设计

在国际低油价的背景下,经济高效地实现油气生产数字化转型和智能化发展,提高生产效率是油气企业持续发展的重要战略。天然气井生产数据的采集传输是实现生产预警、动态分析及降低人员劳动强度的有效手段,传统天然气井数据采集传输方案存在成本高、建设周期长及设备功耗高等问题,不适宜在偏远低效天然气井部署。通过对低功耗广域网（LPWAN）技术进行研究,总结技术优势,并结合偏远低效天然气井生产特点、环境配套及信息化需求,形成了具有针对性、经济可靠的、基于LoRa和NB-IoT异构组网的数据传输方案。方案采用传感器采集气井生产数据并通过LoRa技术传输至采集传输模块,经过解析后通过NB-IoT技术传输至云服务器,调控中心通过访问云服务器方式实现远程监控。根据本文方案对气井进行测试分析,结果表明,该方案设计高效率、低成本、低功耗地实现偏远低效天然气井数据采集传输,对传统信息化建设方案提供了有效补充。     

高校图书馆电子资源服务防盗链方案研究

针对目前高校图书馆电子资源服务面临的盗链问题,为提升防盗链能力,对基于Cookie的防盗链和代理技术进行研究,提出一种基于Cookie的代理防盗链方案ACAM(Agent anti-leech method based on Cookie)。通过分析论证,该方案能够提供稳定、快速、高效的防盗链服务,提升图书馆电子资源服务的防盗链能力。     

一种二维扫描式大气偏振信息采集系统设计

大气偏振信息的有效获取是实现大气偏振信息应用的前提.文章介绍了一种基于C8051F320单片机的嵌入式数据采集与控制系统,实现了通用嵌入式多路模拟数据的采集、处理、存储与显示,检测结果表明,该系统运行稳定、操作方便,各项指标均达到了实际检测的总体要求.     

多模式无线数据采集动态神经网集成融合算法

针对现有数据采集系统中采用有线方式或单一无线方式传输数据存在的问题,诸如:安装不灵活、稳定性差,提出了一种多模式无线数据采集系统的设计方案。新方案有机地结合了蓝牙、IEEE802.11b、HomeRF和nRF2401各自的特点,使得系统可以灵活、准确、有效和低成本地进行无线数据采集与传输,并提高了数据采集系统的抗干扰能力。在对数据的融合中,提出了一种动态神经网络集成算法。该算法采用动态聚类算法实现对各个体神经网络输出数据的集成,较为有效地克服了单个神经网络泛化能力差的缺点。     

网上购物系统html版开发研究

本文研究了一种基于数据关联规则采集技术的用户个性化页面动态生成方案,此方案设计实现用户注册/登录、查询、购买;管理员对网站的系统管理;个性化页面动态生成——回显等程序模块;实现ASP和HTML页面,与现今网上已采用的一些方案相比,具有用户使用更简单、反映用户更明显细致等优点.     

传感数据通信协议及高并发服务的设计与实现——以微环境监测平台为例

为了满足人们对于限定区域监测的需求,解决异构数据的表示、传输以及高并发问题,分析了传统物联网平台在传感数据采集以及传输方面的不足,通过功能模块设计,开发了微环境监测平台。针对平台传感层数据采集工作,设计通信协议,统一数据格式,减少数据传输量和能耗,并制定协议通信流程,利用LoRa技术完成终端到网关之间数据的远程传输;针对平台网络层,设计高并发数据接口实现服务端程序接收并处理数据,最终完成系统的研发和测试。结果表明：设计的通信协议可以完成异构数据格式的统一工作,降低了数据传输量和能耗;验证了数据从终端采集设备到网关,并经过上位机最后到服务器整套传输方案的可行性与可靠性、低延迟性以及高并发数据接口的处理性能。微环境监测平台能够稳定运行,为跨行业物联网应用提供了一套数据采集和传输的解决方案。     

一种新的基于自适应用户协作的数据融合方案

频谱感知是认知无线电网络中的关键环节,针对次用户独立检测效果欠佳的实际问题,提出一种基于自适应用户协作的数据融合方案,通过利用认知无线网络中次用户间的自适应协作,实现相应的数据融合以改善对主用户的检测性能。在瑞利衰落环境下,理论推导了所提自适应协作数据融合方案的检测概率和检测时间。根据推导得到的性能解析表达式,对非协作方案和所提出的协作融合方案,进行了相应的数值实验和性能比较。结果表明:与非协作方案相比,自适应协作融合方案显著提高了系统检测概率,同时检测时间也明显减少。     

网络式风电监控数据采集系统

针对风电场机组之间物理距离远、维护难度大的特点,设计了一种风电监控系统的总体方案,并以此方案设计了数据采集卡系统的软硬件。论述了模拟调理板、采集板、核心板硬件电路的工作原理和数据采集卡的软件功能。该系统按照TCP/IP协议将相应的采集数据通过以太网上传到上位机,上位机可同时监控单个或多个采集卡,从而实现了风电设备的工作状态的远程监控。研究结果表明:该系统能使用户方便的监控风电场的运行状态,从而有效的保护机组,避免设备过多的损坏。     

基于MicroPython的智能家居实验平台设计

为了更好地实现家居的智能化,方便于物联网技术课程的实践教学,该文基于MicroPython设计了一种智能家居数据采集与控制实验平台。该平台采用TI CC3200作为工作节点,通过微信公众号和OneNet获取平台采集的数据,并在云服务器中进行判断和相应处理,实现了智能家居数据采集与控制功能。实验测试结果表明:实验平台运行稳定,具有较好的人机交互体验,能方便应用于实践教学。     

软件演化过程的度量数据采集策略研究

度量数据的采集是度量软件过程的重要环节,讨论了度量数据的采集过程中遇到的问题,以及有效数据采集应遵循的原则,并针对软件演化过程的特点及不同的应用提出了2种数据采集的策略．     

分级自适应多传感器融合与机械振动监测诊断

针对旋转机械振动的监测与诊断 ,提出了一种分级自适应的多传感器数据融合方法 .每个测点首先进行传感器级的时间跨度的特征融合 ,然后再进行全局的空间跨度的融合 .融合过程基于自适应模式特征提取 ,提出的方法可以在系统状态未知的情况下 ,自适应地融合不同测点的信息 ,从而较全面、准确、及时地反映系统的振动状态 .对转子试验台上模拟故障数据的融合处理 ,说明了所提出方法的有效性 .     

实时监测中设备状态的自适应采集算法

设备状态的按需采集是平衡数据数量和质量的有效手段.基于移动平均理论,采用区域限值方法建立了一种自适应采集算法,并通过与等间隔采集方法的对比验证了其有效性.通过有无干扰两种情况下的算例仿真,结果显示,自适应采集方法对于设备状态加速变化时的状态捕捉能力优于等间隔采集方法,是设备实时监测时数据采集的一种较好的替代方案.