基于大数据的对账算法的设计

介绍了在大数据以及高并发的情况下,对大型交易系统中对账子系统进行模型定义以及对账算法设计,并把设计的算法应用于工程实践中,在实际的工业生产中取得较好的运行性能,其稳定度、可靠度、准确度都表现出了工业生成中的优异性能。     

基于大数据的微视频推荐算法研究

随着网络的迅速发展,以及移动网络资费的逐渐下调、移动流量日益充足,微视频在网络上传播的速度日益加快.越来越多的人,尤其是年轻人,更偏向于使用移动设备观看视频和分享视频.在大数据的环境下,给微视频的推荐算法提出了更多的挑战.传统的推荐算法,如基于内容的推荐算法、基于协同过滤的推荐算法、基于图的推荐算法等,在用于微视频推荐时,时间效率不高,推荐的准确率也不高.因此,本文提出了基于超链-图模式的个性化推荐算法,不仅能够提高推荐的命中率,而且能够适应大数据集上的视频推荐应用.此外,本文分析了传统大数据的Slope one算法,并对其进行改进,使之能够适应海量数据的微视频推荐.     

基于MapReduce和Spark的大数据模糊K-means算法比较

从原理和实验2方面对基于MapReduce和Spark的大数据模糊K-均值算法进行分析比较,并对2种大数据开源平台的优缺点进行了总结.由于模糊K-均值算法是一种迭代算法,需要对部分数据进行重复操作以得到最终聚类结果,因此主要从算法执行时间、同步次数、文件数目、容错性能、资源消耗这5方面进行比较,得出的结论对从事大数据研究的人员具有较高的参考价值.     

基于轨迹间时空关联性的数据聚类算法

针对现有轨迹聚类算法中对轨迹之间的时空关联性考虑不足以及全局唯一距离阈值带来的算法的时空复杂度高以及聚类精度低的问题,提出了一种基于轨迹间时空关联性的数据聚类算法(The Data Clustering Algorithm Based on Spatio-temporal Correlation between Tra...     

面向道路交通监控网的异构大数据语义融合方法

为解决广域网分布式环境下异构车辆轨迹大数据的语义融合问题,基于MapReduce和ACO算法提出可在广域网环境分布式并行执行的异构大数据语义聚类融合DPACO方法.该方法在数据源端节点并行完成聚类运算中复杂度最高的部分,将所得结果合并为数据量较小的中间结果,然后将中间结果传送到中心节点并自适应地生成聚类中心.此外,该方法无需预设公共语义模型,通过移动计算避免移动大数据,大大提高了运算效率.实验比较了DPACO方法和已有基于MapReduce的并行化ACO方法,结果表明DPACO方法在广域网环境异构大数据语义融合中具有更好的可用性.     

BP神经网络改进算法的比较研究

针对典型BP神经网络存在的缺陷,对BP网络的改进算法,包括基于标准梯度下降法、基于数值优化方法和基于数据预处理的三种改进算法,进行了计算公式和工作原理方面的分析,用一实例对三者在训练中所需的收敛时间及其所达误差进行比较研究,为其他工程选择训练网络的算法提供了一些参考。     

出租车GPS数据轨迹化方法研究

为提高出租车行业理论研究与实际应用的GPS轨迹数据质量,针对原始的出租车GPS数据,提出一套考虑出租车行业特性的完整的GPS数据轨迹化方法。分析了哈尔滨市出租车GPS数据的采样率、误差及与路网的匹配情况;提出一种考虑车头朝向、临近距离、路段连通性及转弯限制四种权重的拓扑地图匹配算法;提出一种出租车出行轨迹识别方法,并在此条件下建立了出租车GPS轨迹的存储结构模型。结果表明,提出的地图匹配算法有较高的准确率,能够满足理论研究及实践应用的需要;而轨迹识别方法及存储模型在实际中成功应用,为哈尔滨市出租车智能管理调度平台提供数据支撑。     

应用于大数据集的聚类新算法设计

抽象的聚类分析是数据挖掘研究的重要领域.随着数据量每3年翻一番,关键问题是如何对大型数据集高效率地进行聚类操作.文章首先将当前主流的聚类算法应用于大规模数据集,通过实验指出现有的聚类技术存在的关键问题及所面临的技术挑战,然后使用了数据聚合树(DA树)作为代表性大型数据集的数据结构,设计了一个新的聚集算法(CLUK算法)...     

基于出租车轨迹数据的交通异常识别算法研究

为了实现基于出租车轨迹数据的交通异常识别,本文首先以城市栅格地图模型为框架,提出了一种针对城市路网的多光谱分隔算法,并根据城市路网分别从区域增长与区域融合两种角度实现了多光谱地图的分割。其次在分割的城市路网基础上,设计了交通异常的识别算法。算法依据单元区域内道路网络拓扑结构构建交通异常图,然后根据出租车路径选择模式的历史规律计算每个单元区域内不同路径上的出租车轨迹流量的变化,最后根据三倍均方差指标识别单元区域内的交通异常。文章最后以哈尔滨为例进行了算例分析,算例结果表明,本文提出的异常识别算法取得了良好的效果,验证了算法的有效性及准确性。     

基于改进人工蜂群算法的大数据优化

针对传统方法无法解决具有5 V独特属性的大数据优化问题,提出基于改进人工蜂群(Artificial Bee Colony,ABC)算法的大数据优化信号重构算法.该算法通过引导所考虑问题的现有信息来初始化食物源,在引领蜂阶段使用交叉和变异算子生成候选解,并使用轮盘赌反向选择机制生成要交叉的食物源,观察蜂采用Rechenb...     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.     

基于Spark框架的大数据K-prototypes聚类算法

大数据具有数据量大及混合类型的属性,基于MapReduce的K-prototypes并行大规模混合数据方案的缺点是时间和内存的限制,导致这些方案不适合处理大数据.为了解决这个问题,该文提出一种新的基于Spark的k-prototypes聚类方法,该方法使用了重新聚集技术,利用Spark框架的内存操作来构建大规模混合数据分组.在模拟和实际数据集上的实验表明,该文方法可行,且提高了现有K-prototypes方法的效率.     

日本大数据技术服务现状研究

本文通过对日本大数据技术服务市场应用现状和问题的探讨,为我国大数据技术服务产业敲响警钟。我国相关部门可以针对日本在大数据技术服务提供产业中所遇到的问题及早布局,减少某些尚未暴露或者已经暴露出的行业发展问题对行业发展潜在的威胁。本文的结论对于保障我国大数据技术服务产业健康发展,加快培育我国大数据技术服务提供企业的核心竞争力有较高的现实意义和参考价值。     

交通流大数据中的套牌车并行检测算法

传统的套牌车识别算法通过串行工作方式在网格化城市交通监控系统所产生的大规模数据中进行两两比对实现套牌车检测,因此在处理海量数据时存在性能瓶颈问题.提出了一种新的基于Hadoop的MapReduce算法模型,该算法具有并行特征,通过引入多台硬件计算资源协同处理大规模数据下的套牌车检测问题,显著提高了计算性能.同时,采用基于动态旅行时间实时的时空窗口计算技术,能进一步提高算法的检测速度和识别精度.     

大数据统计方法综述

回顾大数据统计分析方法的现状,重点分析线性及非线性模型的分治算法, 详细阐述 3 种抽样法, 并比较其差异,归纳总结在线更新算法和基于变量选择的在线更新算法,最后展望大数据统计分析的未来．     

基于大数据思维的新型城镇化建设研究

城乡二元结构是制约城乡发展一体化的主要障碍。新型城镇化承载着促进经济发展和社会公正的双重转型使命,大数据可以促进未来的新型城镇化的发展。文章通过对大数据和新型城镇化的分析,将大数据思维引入到新型城镇化建设中,从拆迁工作、公民信息管理、智慧城市建设等方面论述了大数据的创新应用。     

面向Hadoop的大数据取证研究

大数据解决方案的分布式架构、海量数据存储、内存数据存储等特点给针对Hadoop的电子数据取证带来了巨大的挑战。概述了传统计算机取证的流程、要点以及在大数据取证过程中的局限性。以Hadoop为例,从Hadoop取证生态系统角度介绍了大数据解决方案的架构,分析了大数据取证的数据源、方法、流程、工具等,为调查人员进行大数据调查取证时提供参考。     

大数据时代科技期刊数字化研究

随着目前网络技术的深度应用,海量数据产生,“大数据”成为近期各界关注的焦点和热点。科技期刊数字化是期刊发展的大方向,如何适应大数据环境也成为了科技期刊界的焦点问题。在总结数字出版和大数据的特点上,分析了针对科技期刊大数据存储、处理、分析等一方面关键技术的研究。     

一种基于阳光的运动轨迹简化算法

阳光对运动轨迹的影响非常广泛,高效地估算出轨迹的光照信息,在简化冗余点的同时保留轨迹的阳光信息至关重要.本文提出一种基于阳光的运动轨迹简化算法,结合市内道路的特性解决上述问题.首先,提出一种方向模型用以抽象阳光和运动轨迹的关系;同时,提出一种与阳光方向相关的运动轨迹简化模型,并利用遗传算法求取运动轨迹中需要保留的点.最后,用美国明尼阿波利斯市的数据进行运动轨迹简化实验,实验表明运动轨迹的点集数量可以在参数T_max的控制下有效地减少.