基于时空权重相关性的交通流大数据预测方法

将分布式增量大数据聚合方法与交通流数据清洗规则相结合,可以为交通流预测分析提供更准确可靠的数据源。通过交通流在路网中的相关性分析,使用多阶路口转弯率构建空间权重矩阵,完成对STARIMA交通流预测模型的改进。实验结果表明,该方法可以在工作效率及准确程度上满足交通流大数据预测的需求,为交通诱导信息发布提供依据。     

基于卡口监测数据流的套牌车检测

套牌车行为不仅扰乱公共交通秩序,还危害了真实车主的利益,给社会带来了极大危害,整治套牌车刻不容缓.广泛使用的卡口时间对比法使用统一的速度阈值检测套牌车辆,一旦阈值设置不当,容易造成套牌误判和漏检,导致检测结果准确率低.针对这样的问题,本文提出了一种两阶段的套牌车检测框架.离线部分根据历史卡口摄像头监测数据分时段对各路段建立速度分布,确定不同时段各路段的正常速度阈值;在线部分基于滑动窗口模型,根据正常速度阈值,对各路段实时通行车辆进行持续监测,将高频度出现速度异常的车辆判定为套牌车.最后使用真实卡口监测数据集对所提方法进行有效性验证,实验结果表明该方法能够有效避免噪声数据干扰,从而显著提升了套牌车检测的准确率.     

浅析大数据时代的产品与技术

介绍了大数据数据结构的特点,分析了大数据平台的系统架构和关键技术．比较了主流的数据库产品。     

大数据下的智能数据分析技术研究

大数据背景下对数据的智能分析技术提出了新的挑战,本文对传统的智能数据分析技术做了比较,分析其各自的优缺点。同时对新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展方向的展望。     

基于大数据平台hadoop的聚类算法K值优化研究

针对最大最小值原则的Kmeans聚类算法运行在Hadoop平台时需要多次遍历所有数据的问题,提出了一种改进的初始聚类中心的选择算法称为M+Kmeans算法。该算法只需要遍历一次全局数据极大的缩减了算法并行运算时消耗的时间。多组实验测试结果显示,设计的M+Kmeans算法适合运行在大规模集群Hadoop平台上,并且加速比和扩展率较原始算法有明显提高。     

并行MapReduce模型下的一种改进型KNN分类算法

大数据时代带来数据处理模式的变革,依托Hadoop分布式编程框架处理大数据问题是当前该领域的研究热点之一。为解决海量数据挖掘中的分类问题,提出基于一种双度量中心索引KNN分类算法。该算法在针对存在类别域的交叉或重叠较多的大数据,先对训练集进行中心点的确定,通过计算分类集与训练集中心点的欧式距离,确定最相似的3个类别,然后以余弦距离为度量,通过索引选择找出K个近邻点,经过MapReduce编程框架对KNN并行计算加以实现。最后在UCI数据库进行比较验证,结果表明提出的并行化改进算法在准确率略有提高的基础上,运算效率得到了极大提高。     

电信大数据管理应用技术研究

目前针对电信大数据管理应用技术的研究方法与手段众多,但目前主要集中在Hadoop架构的数据存储及应用开发上,采用Hadoop对于电信大数据的应用主要包括存储系统(HDFS)、计算系统(Map Reduce)和HBase。该框架的实现为我国高效合理的电信大数据管理提供了一种解决问题的新思路。     

医疗大数据平台设计与实现

为解决医疗数据的高效存储与处理分析等问题,设计并开发了医疗大数据平台.首先,搭建并部署了Hadoop分布式文件系统,设计基于Tomcat服务器搭建的网站平台.然后,通过编写Hadoop WEB API将WEB服务器与分布式文件系统相结合,设计数据处理效率高的Python脚本程序读取并统计分析医疗数据.平台运行测试结果表...     

基于大数据技术的学习分析系统架构

通过电子书包、移动学习终端、在线学习应用等,可捕获大量的学习行为数据.如何利用这些大数据是目前教育信息化领域亟需研究的问题.本文首先分析了教育信息化领域对学习分析的需求和研究对象.接着引入大数据技术,设计以Hadoop为核心的学习分析系统,构建基于学习分析的智能数字化教育服务,并列举此技术方案的具体应用案例.最后,提出需要解决Hadoop应用在学习分析领域的技术问题.     

量子计算在增量式大数据并行挖掘中的应用

针对传统大数据并行挖掘方法是一次性对所有数据进行挖掘,导致挖掘时间较长,挖掘精度较低等问 题,采用量子计算对增量式大数据并行挖掘方法进行优化设计。首先,按照数据挖掘的基本流程搭建并行数据 挖掘模型; 然后分别通过定义量子比特、量子搜索算法、量子神经网络处理以及量子映射变换4 个步骤,实现 增量式数据的预处理,利用矩阵向量相乘分解得到过滤权重组合,通过该组合实现预处理结果的并行协同过 滤; 最后通过量子模糊聚类得出增量式大数据并行挖掘结果。实验结果表明,应用量子计算的增量式大数据并 行挖掘方法的平均召回率为97． 25%,并行挖掘时间在2． 1 ～ 3． 2 s 的范围内浮动,准确率超过95%,且该方法 的收敛性最好,寻优能力强。     

交通车流量数据的数据库存储及应用

分析传统交通车流量数据管理的不足，对交通车流量数据进行建模，通过数据库方式实现数据的存储，并利用数据库中的数据由程序自动生成交通车流量流向图、柱状图和饼状图等图表，提升数据的管理水平，保证数据的一致性，促进数据的共享，方便用户的访问。     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

轨迹大数据的比较算法研究

为了对轨迹大数据比较算法进行深入了解和研究, 介绍了各类轨迹比较算法, 并结合轨迹大数据的研究发展和应用背景, 对轨迹大数据比较算法进行较为全面和系统的综述。 随着轨迹大数据应用问题的不断凸显,轨迹大数据的研究需要结合目标需求, 深入研究轨迹数据比较算法的大数据计算、 算法智能性以及算法的效率和有效性等问题。     

基于实测值的自适应算法在中厚板轧制中的应用

提出了一种应用于中厚板轧制的道次间自适应算法，该算法以实测数据为基础，通过实测轧制力与实际计算轧制力的比值决定轧制力模型学习量的大小，做到了真正意义上的以实测数据来校正模型，从而使设定的模型有较好的自学习功能，并在实际应用中表现出较好的学习效果。     

论提高车流统计数据质量的途径

分析了影响车流统计数据质量的各种问题,提出了全面提高车流统计数据质量的途径。     

基于多源数据的交叉口分流向交通需求预测

对交通流进行科学预判是实施精细化智能管控的基础,为了解决目前方法对于过饱和状态下需求预测精度较低的问题,利用交叉口地磁和上游路段微波数据,结合Markov转移矩阵及加权移动平均法对交叉口内分方向的流向比例依照时间序列进行动态预测,由上游路段的车辆通过率获取交叉口内的交通需求,进而构建交叉口分方向流量动态预测模型。最后通过实测数据对模型进行验证,结果显示总平均误差为13.46%,比使用传统预测模型的预测误差减少了4.13%,尤其是过饱和状态下的预测误差减少5.81%,有效提升了过饱和状态下的交通需求预测精度,这对于城市交叉口过饱和状态下的分流向交通组织及控制具有重要意义。     

面向Hadoop的大数据取证研究

大数据解决方案的分布式架构、海量数据存储、内存数据存储等特点给针对Hadoop的电子数据取证带来了巨大的挑战。概述了传统计算机取证的流程、要点以及在大数据取证过程中的局限性。以Hadoop为例,从Hadoop取证生态系统角度介绍了大数据解决方案的架构,分析了大数据取证的数据源、方法、流程、工具等,为调查人员进行大数据调查取证时提供参考。     

基于大数据技术的智能交通管理与应用研究

"互联网+"使各行各业每天都产生了海量数据,针对交通数据的爆炸式增长,传统的交通规划与管制已经不能满足复杂的交通需求,交通管理的难度不断增加这一问题,提出一种智能交通大数据处理框架;通过该框架及相关技术进行交通大数据的数据采集、数据同步与传输、数据存储、数据分析与处理和结果展现等应用研究,将起到助力交通违法与环境监测、为相关业务部门提供决策依据、提高交通运行效率与交通安全水平、提升城市交通规划等作用,使交通管理真正地智能起来;大数据研究与应用下的智能交通将成为解决诸多交通城市病的有力手段,其发展将导致各种新技术的不断诞生,使人们的出行方式和生活模式产生巨大变革,人们的生活将更加美好。     

交通流的红绿灯模型

首先引入几个描述交通流的基本函数，接着在交通流连续运动和时断的情况下，分别建立了连续和间断的交通流模型，在此基础上根据微分方程建立红绿下的交通流模型，分析在不同时刻公路上交通流的变化，据此画出在红绿灯模型下的车流密度变化过程，并给出了交通流的红绿灯模型在十字路口的应用．