基于多策略的新浪微博大数据抓取及应用

微博数据处理属于大数据范畴,其前提是获取大量的微博数据,而由于商业利益以及安全方面的考虑,获取微博数据的途径越来越少。同时随着新浪官方API的逐步更新,数据获取的限制也日益增加。文章尝试利用现有资源,基于多策略获取机制,设计出可稳定获得新浪微博数据的挖掘方案,并给出情感分析应用实例。实验表明,所设计的挖掘方案可以根据需要获取微博上的数据,并可以应用于微博情感分析中。     

婺源县旅游签到大数据研究——以新浪微博为例

随着社交媒体的迅速发展,旅游者在社交媒体平台上发布的旅游大数据越来越多。利用网络爬虫获取了婺源县2012—2020年的旅游签到数据进行研究。得到以下结论:婺源县游客的签到空间分布不均;春季游客签到最为活跃,尤其是3月、4月份签到率最高;女性游客签到率明显高于男性游客;外地游客签到率高于本地游客。为分析婺源的旅游流特征提供了一个新的角度,对于旅游地容量的管理、旅游地市场营销具有一定的参考价值。     

基于技术驱动的智能媒体特征分析和发展策略研究

随着移动互联网、大数据、云计算、人工智能、区块链等新一代信息技术的快速发展,给传媒带来了革命性的变化,无论是内容的生产方式和传播形态,都发生了深刻的影响。媒体的发展形态也从传统媒体到互联网媒体再到智能媒体转变,特别是近年来智能媒体应运而生,对传统媒体和网络媒体带来了前所未有的挑战,媒体格局、舆论生态、传播方式发生了重大变化,技术赋能驱动全媒体时代的到来,促进媒体深度融合,走以先进技术为支撑的媒体发展道路。本文重点研究技术驱动下智能媒体的特征分析,探索智能媒体未来的发展思路和发展模式。     

基于线路数据信息的列车定位方法研究

针对列车丢失卫星信号无法定位的问题,提出了一种基于动态时间规整(DTW)算法的列车平顺度信息匹配的方法.借助传感器对列车的在线的平顺度信息进行采集,利用基于DTW-KF(卡尔曼滤波)的方法对采集到的数据进行处理与规整匹配.基于列车自身速度传感器等的数据作为模板变量与在线测量数据作为测试数据进行匹配,根据DTW的最优匹配...     

基于SVDD的ADS-B异常数据检测

自动相关监视广播(ADS-B)与空管二次监视雷达(SSR)是空中交通管制的2种重要监视手段,其中ADS-B是目前正在推出的通信协议,在下一代空管监视系统中将会发挥重要作用.然而,ADS-B协议中安全措施缺乏,容易遭受虚假数据注入的攻击.为了识别ADS-B中的异常数据,利用与其同步的SSR数据及通过Kalman滤波得出的的协方差矩阵,得到一组具有多维属性特征的样本数据,使用支持向量数据域描述的方法(SVDD)训练样本数据,可以得到用于检测异常的分类器.利用此分类器检测之后收到的ADS-B数据,从而识别出异常数据.通过仿真实验表明,该方法对于ADS-B异常数据具有80%以上的正确识别率,其中对于固定偏差注入的检测虚警率为5%,漏警率为0,对于随机偏差注入的检测虚警率为5%,漏警率为12.5%,验证了该方法的可行性.     

基于Spark和小波分析的水上交通异常数据实时检测方法研究

针对不断增加的水路运输产生的水上交通数据量增长,导致的水上交通监测难度更大、处理时间更长,提出一种基于Spark的交通异常数据实时检测方法,通过对船舶自动识别系统(AIS)数据进行处理,对不同类型的交通数据进行分析并写入分布式文件系统HDFS中。然后通过小波分析的方法对AIS数据进行多层分解,去除高频噪声并对数据进行重构,找出AIS数据中的异常信息。通过对异常信息进行分析,结合Spark的数据处理结果,最终实时检测出交通异常数据。实验结果表明能够在短时间内对异常数据进行检测和分析,处理速度快,异常数据检测结果符合该水域的交通情况,检测方法能够为海事部门提供实时、稳定的监管服务。     

基于大数据的VANET拥塞检测研究

道路交通的拥塞问题是城市中长期存在且急需解决的问题。而车联网(vehicular Ad hoc networks,VANET)的出现为智能管理交通,事故隐患预警和舒适的乘车环境提供了技术支持。为了保证道路的畅通和交通的流动性,可通过VANET网络传播有关交通状况的有用信息。论文提出了一种基于大数据工具的车辆对车辆通信方式的城市道路状况检测方法,为驾驶员提前换道提供了有力证据,从而降低车辆拥塞概率。     

基于大数据的科技竞争情报服务市场化运营路径探索

通过对大数据理论研究的追溯,从国内外大数据在竞争情报上的案例入手,介绍大数据对竞争情报的意义。从顶层设计的角度,对数据驱动型竞争情报分析业务的经营模式进行初步研究,并给出若干具体的对策建议。     

基于密度峰值聚类的电力大数据异常值检测算法

为了解决传统算法检测准确性低,复杂性高不适于电力大数据异常值检测的问题,通过密度峰值聚类算法研究了电力大数据异常值检测问题。分析了密度峰值聚类算法的聚类过程。按照聚类中心选择原则,通过相邻距离和密度的归一化乘积对聚类点的差异度进行衡量,按照差异度的统计特性与改变趋势选择最大的一组点当成聚类中心。按照z空间填充曲线与高维数据点z携带位置信息特性提出基于z的分布式密度峰值聚类算法,降低异常检测复杂性,以达到电力大数据异常值检测要求。采用优化后的密度峰值聚类算法对电力大数据异常值进行检测,在局部密度超过阈值,同时距离超过阈值的情况下,认为相应电力数据点为异常值。将基于距离的检测算法和基于密度的检测算法作为对比进行测试,结果表明:所提算法得到的异常电力数据点,和实际情况相符,和其他两种算法相比没有出现错检测和漏检测的情况。可见所提算法适于电力大数据异常值检测,且检测结果准确性高。     

基于ARM和深度学习的大数据 指纹识别系统设计

针对传统指纹识别系统在面对大数据指纹图像时具有识别效率不高、需要手动设计提取的特征的缺点,提出了一种基于ARM和深度学习的大数据指纹识别系统.首先,描述了指纹识别系统的原理图.然后,设计了系统硬件框图,采用S3C2410C作为微处理器,采用FPS200指纹图像作为传感器,并设计了两者之间的接口电路;最后,重点设计了指纹识别的软件过程,建立一个可以进行指纹自动识别的通用多层深层神经网络.通过设计系统软硬件并进行测试,结果表明文中设计的指纹识别系统具有很高的指纹识别准确度,能有效处理大数据指纹图像的识别,且与其他基于人工提取特征的方法相比,具有更高的识别正确率和识别效率.     

大数据时代下新媒体信息传播

大数据时代背景下,新媒体传播在满足人们日益多元化信息需求等方面发挥着积极作用。文章从大数据时代对传统媒体信息传播影响入手,着重分析了大数据时代下新媒体的信息传播,并找出新媒体信息传播中存在的问题,给出建议。     

“大数据”时代新媒体的发展现状与趋势——以贵州省为例

方兴未艾的"互联网+"浪潮,弹性地建构与重塑着新媒体的媒介形式与特点。随着技术和传媒的有机融合,媒体业的基因正从昔日的"内容"向今天的"技术"转变,"大数据"将日益成为新媒体产业的基础和平台。本研究以贵州省为例,探讨了大数据背景下新媒体的发展现状与趋势,揭示了大数据所带来的媒体格局的深刻调整和舆论生态的重大变迁,以及此种变迁所蕴涵的重大意义。     

基于校园大数据的无线网络AP布局优化

高校无线网络管理与服务存在两个问题：一是无线网络AP布局和服务质量检测缺乏数据支持,主观性强;二是被动收集师生使用体验反馈,范围小,准确性低.针对这些问题,该文提出了一种基于校园大数据的无线网络AP动态布局模型.该模型的特点是数据驱动和动态优化.通过在华中师范大学的应用探索,表明该模型能够有效提高校园无线网络的服务质量,优化学校无线网络管理流程.     

基于大数据背景下的图书馆服务研究

大数据是继"WEB2.0"、"云计算"、"移动互联网"之后的又一次革命性变革。大数据时代读者的信息需求与获取方式,以及所期望得到的服务方式都发生了很大的改变,在此背景下,图书馆的发展也面临着巨大的挑战,同时也有着良好的发展机遇。如何利用好大数据技术更好地为读者服务,尤为重要。该文从大数据的概念、特征以及图书馆现有大数据入手,分析了图书馆在大数据背景下面临的机遇与挑战,并对如何利用好大数据技术促进图书馆服务方式的转变提出了个人的一些看法。     

基于数据驱动的大学生科学数据素养教育体系研究

科学研究进入大数据时代,大数据驱动科学发现已成为科学研究的第四范式,研究从宏观的社会知识层转向微观的数据层,这对大学生科学数据素养教育提出了新的要求.以科学数据素养内涵为主线,选取江苏省部分高校,调研科学数据素养教育的实施现状以及大学生的需求情况,在此基础上构建出基于数据驱动的高校图书馆科学数据素养教育框架,以增强大学生的核心竞争力.     

基于孤立森林算法的电能量异常数据检测

随着电力系统信息化建设的深入,用户对于电能量数据的质量要求逐渐提高,因此保证海量电能量数据的准确性、可靠性以及完整性具有重要意义.本文采用一种基于孤立森林的异常检测算法,实现大规模电能量数据的异常检测.孤立森林算法通过划分大规模电能量数据集,生成随机二叉树和孤立森林构建模型,通过计算测试电能量数据样本到每棵树的根结点的距离检测异常数据点.该算法不仅能够快速处理海量数据,而且结果准确、可靠性高.本文在大规模电能量数据的正向有功总电量PAP和反向有功总电量RAP字段上进行检测,实验结果表明,该算法检测效率较高,并具有较高的检测正确率.     

基于局部K-距离的靶场异常数据检测算法

航天靶场观测数据是鉴定运载火箭性能的重要依据,数据中的异常值严重影响数据处理的质量.传统的靶场异常数据处理方法不能适应日益提高的精度要求.为了解决这一问题,文章分析了测量数据中粗大误差的特点,提出了一种适合靶场观测数据的基于局部K-距离的异常数据检测算法LKD（Local K-Distance）.该算法通过计算对象与最近k个最近邻中的最大距离来分析数据对象的稀疏程度,从而检测异常值.实验结果证明,该方法简单快速,对粗大误差的检测有效率可达90%以上.     

基于大数据的创新机制研究

创新是驱动人类社会持续发展的动力,首先创新本身要发展。大数据作为一种先进生产方式,开发和拓展了创新发展新进路,改变了创新运行机制。