大数据计算的基础理论探究

在经典计算中,对前端输入数据的复杂性不做分析。在大数据计算中,前端输入数据的复杂性分析反而成为大数据计算和分析的重点。本文讨论大数据计算的基础理论问题,将大数据计算问题分为目标任务型和内容认知型。大数据计算形式上依赖于一个外部信息源,从计算的有效性,将大数据计算的讨论限制在对数空间复杂类,涵盖了并行计算复杂类。基于带Oracle的图灵计算模型,限制在对数空间内图灵可计算,并且外部信息源能够用一个对数空间可计算的递归函数枚举,引入了大数据可计算的计算模型和大数据可计算性、可判定问题等概念。     

基于大间隔粒计算的特征选择

通过寻找一个最优的特征子集,特征选择可以降低计算复杂度,提高分类精度以及结果的可理解性。提出基于大间隔信息粒化的特征选择算法,通过聚类等方式对原始数据进行单类信息粒化,然后在粒化的基础上构造了模糊间隔和类间隔2个评价指标进行特征评价。并分别在不同的数据上验证了这种特征选择方法的有效性,实验结果表明,基于大间隔粒计算的特征选择算法效果要优于其他的大间隔特征算法。     

形式概念分析的粒计算方法及其研究展望

形式概念分析是知识表示与处理的一种实用数学方法,因其核心工具概念格的构造代价涉及指数时间复杂度,它在一定程度上导致其处理数据效率不高,这个问题也一直阻碍着该理论的快速发展与广泛应用。粒计算以粒的形成、粒的转移、粒的合成与分解等手段有效解决问题而著称,它允许问题在各个粒化层面上得到处理,并根据实际需要在解决问题的精度与耗时之间做出权衡。形式概念分析的粒计算方法的主要研究目标是将粒计算的这些优势融入传统形式概念分析中以有效解决数据分析与处理问题。具体地,本文从Galois连接的粒计算模型、对象粒化、属性粒化、关系粒化、关系诱导的概念粒化、粒规则、粒约简、粒概念、粒概念学习、概念粒计算系统等角度展示形式概念分析的粒计算方法的主要研究内容,并针对大数据与认知学习提出若干挑战性问题。有关讨论结果将为形式概念分析的粒计算方法的研究与发展提供借鉴。     

大数据对商业模式创新影响的案例分析

大数据商业价值的潜力以及其对商业模式的巨大影响已经被广泛认同。将商业模式创新划分为价值发现、价值创造、价值实现三阶段,构建大数据对商业模式创新的影响分析框架;选取国外最具代表性的多个案例,选取阿里巴巴作为国内典型案例,论证了大数据对商业模式创新产生的影响作用;最后对基于大数据的商业模型创新的类型进行总结,并就我国大数据产业发展提出政策建议。     

粒度计算在人工神经网络中的应用

介绍了粒度计算的基本思想和理论基础,详细论证了基于词计算理论的一种粒向量空间,研究了基于这种粒向量空间的人工神经网络模型.该模型可以在一定程度上提高人工神经网络的时效性、知识表达的可理解性,并能增强人工神经网络的功能.     

大数据技术在公司战略管理中的应用价值

基于大数据的管理决策,已经成为公司未来发展的方向和目标。为探索大数据技术在公司战略管理中的应用价值,从大数据与公司战略管理的含义入手,分析了大数据技术在总体战略、业务战略和职能战略这3个层面上的价值,提出公司在战略管理过程中要全面利用大数据,制订正确的战略发展规划方案,做出合理的战略抉择,实现公司的可持续发展。     

结合节点计算能力的MapReduce负载均衡方法

MapReduce是大数据计算领域广泛使用的编程模型,默认的Hash分区方法易导致数据倾斜,使各计算节点负载不均衡,影响了整体计算性能并造成了大量集群资源浪费。针对这一问题,提出一种结合节点计算能力的分区方法。通过运行一个独立的抽样作业,利用Reservoir抽样算法抽取待处理数据并统计样本里关键字的位置和频次;根据关键字的统计数据制定分区策略,使各分区负载与节点计算能力达到平衡,同时优化网络开销;以全量数据为输入运行计算作业,并采用已制定的分区策略对中间数据进行分区,得出计算作业的运行结果。实验结果表明,方法使各节点负载更加均衡,可明显提升计算作业执行效率。     

大数据与量子计算

大数据技术的迅猛发展对计算效率提出了更高的要求.由于量子系统的独特性质,量子计算具有经典计算不具有的量子超并行计算能力,能够对某些重要的经典算法进行加速.人们发现,除了大数分解算法,量子计算的更多用途是对量子体系的仿真计算和在数据分析领域的应用.近年来,大数据和量子计算开始融合.虽然实际使用的量子计算机尚未建成,量子计算在大数据的应用在理论上已经取得了一些重要的进展.实验上也有了一些发展.本文首先介绍量子计算的基本原理和Grover量子算法.随后以量子机器学习作为切入点,介绍了量子计算在数据挖掘领域的应用.     

基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.     

交通流大数据中的套牌车并行检测算法

传统的套牌车识别算法通过串行工作方式在网格化城市交通监控系统所产生的大规模数据中进行两两比对实现套牌车检测,因此在处理海量数据时存在性能瓶颈问题.提出了一种新的基于Hadoop的MapReduce算法模型,该算法具有并行特征,通过引入多台硬件计算资源协同处理大规模数据下的套牌车检测问题,显著提高了计算性能.同时,采用基于动态旅行时间实时的时空窗口计算技术,能进一步提高算法的检测速度和识别精度.