大数据下的智能数据分析技术研究

大数据背景下对数据的智能分析技术提出了新的挑战,本文对传统的智能数据分析技术做了比较,分析其各自的优缺点。同时对新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展方向的展望。     

大数据时代的数据挖掘技术与应用

随着数据挖掘技术研究的进步与发展,并伴随着大数据概念的提出,将为数据挖掘技术的发展和应用带来一个很大的机遇,数据挖掘技术将进入一个新的发展时期.文章全面介绍了大数据,数据挖掘的基本概念以及数据挖掘的分析方法,最后给出了大数据时代的挖掘技术的应用领域及将来发展方向.     

大数据时代数字图书馆发展浅析

大数据及其技术是当前信息领域研究的热点,在数据挖掘、数据分析、信息服务以及信息安全、隐私保护等方面给图书馆带来了挑战与机遇。随着大数据时代的到来,用户对信息资源的需求越来越高,图书馆的信息处理及服务将会发生显著的变化,从大量的非结构化数据、半结构化数据集中去分析和挖掘潜在的价值将成为图书馆的主要业务之一,图书馆的服务方式也需做出相应的改变。     

大数据时代的石油地震勘探系统与软件平台

 石油勘探开发精度的不断提高,促进了低频可控震源、宽频带、宽方位、高密度和高效采集技术的推广应用,石油地震勘探已进入了大数据时代,对质量监控、数据处理、数据安全存储和管理带来了新的挑战。本文分析了石油地震勘探大数据的特点,阐述了中国石化基于Hadoop分布式大数据处理系统研发的π-Frame地震数据处理解释软件平台基本构架,举例说明了该平台在石油地震勘探大数据中的应用,对其发展前景进行展望。     

大数据平台网络数据库云计算技术优化与平台搭建研究

利用云计算等先进技术对网络数据库进行优化总结.基于云计算等技术重新设计了一种面向大数据的网络数据库,实现了平台操作设计、集群模块搭建以及数据整合与预处理等.基于云计算等技术对网络数据库进行优化,是实现网络数据库存储容量提升,全面优化大数据时代网络数据库并发性、提高海量数据状态下网络数据库利用率的重要举措.     

基于大数据技术的学习分析系统架构

通过电子书包、移动学习终端、在线学习应用等,可捕获大量的学习行为数据.如何利用这些大数据是目前教育信息化领域亟需研究的问题.本文首先分析了教育信息化领域对学习分析的需求和研究对象.接着引入大数据技术,设计以Hadoop为核心的学习分析系统,构建基于学习分析的智能数字化教育服务,并列举此技术方案的具体应用案例.最后,提出需要解决Hadoop应用在学习分析领域的技术问题.     

电信大数据管理应用技术研究

目前针对电信大数据管理应用技术的研究方法与手段众多,但目前主要集中在Hadoop架构的数据存储及应用开发上,采用Hadoop对于电信大数据的应用主要包括存储系统(HDFS)、计算系统(Map Reduce)和HBase。该框架的实现为我国高效合理的电信大数据管理提供了一种解决问题的新思路。     

大数据时代产品创新与新产品开发研究

大数据时代的产品创新和新产品开发既要继承传统的产品创新和新产品开发的经验,又要针对大数据时代的特点进行创新和突破。本文结合余额宝、打车软件及中粮我买网等案例具体阐释了大数据时代产品创新与新产品开发的新特征。     

大数据环境下的数据安全技术分析

随着大数据技术的不断发展与广泛应用,传统的数据安全技术受到了诸多挑战。本研究立足大数据安全技术,阐述了大数据环境下数据安全面临的挑战,结合国内外数据安全案例与对相关技术的研究现状,探讨了各种数据安全技术在大数据环境下的数据安全问题中的应用。研究根据现实状况,从Hadoop平台架构的安全机制、网络隔离的脆弱性和身份认证的局限性与不便性视角出发,探索了相关技术缺陷的解决方案,最后对未来技术发展的可行路径进行探讨,指出应对Kerberos认证机制和嵌入TLS组件的具体实现流程进行详细分析,并深入了解“震网”病毒及其攻击原理与应对技术。     

医疗大数据平台设计与实现

为解决医疗数据的高效存储与处理分析等问题,设计并开发了医疗大数据平台.首先,搭建并部署了Hadoop分布式文件系统,设计基于Tomcat服务器搭建的网站平台.然后,通过编写Hadoop WEB API将WEB服务器与分布式文件系统相结合,设计数据处理效率高的Python脚本程序读取并统计分析医疗数据.平台运行测试结果表...     

浅谈大数据时代的数据挖掘和数据可视化

大数据时代下数据量的爆炸式增长,使得分析和解读大数据显得尤为重要. 阐述了解析数据工具——数据挖掘和数据可视化技术,重点探讨了两者创新性结合的重要意义和实际效果.     

面向Hadoop的大数据取证研究

大数据解决方案的分布式架构、海量数据存储、内存数据存储等特点给针对Hadoop的电子数据取证带来了巨大的挑战。概述了传统计算机取证的流程、要点以及在大数据取证过程中的局限性。以Hadoop为例,从Hadoop取证生态系统角度介绍了大数据解决方案的架构,分析了大数据取证的数据源、方法、流程、工具等,为调查人员进行大数据调查取证时提供参考。     

Mobile Internet Big Data Platform in China Unicom简

China Unicorn, the largest WCDMA 3G operator in China, meets the requirements of the historical Mobile Internet Explosion, or the surging of Mobile Internet Traffic from mobile terminals. According to the internal statistics of China Unicom, mobile user traffic has increased rapidly with a Compound Annual Growth Rate （CAGR） of 135%. Currently China Unicorn monthly stores more than 2 trillion records, data volume is over 525 TB, and the highest data volume has reached a peak of 5 PB. Since October 2009, China Unicom has been developing a home-brewed big data storage and analysis platform based on the open source Hadoop Distributed File System （HDFS） as it has a long-term strategy to make full use of this Big Data. All Mobile Internet Traffic is well served using this big data platform. Currently, the writing speed has reached 1 390 000 records per second, and the record retrieval time in the table that contains trillions of records is less than 100 ms. To take advantage of this opportunity to be a Big Data Operator, China Unicom has developed new functions and has multiple innovations to solve space and time constraint challenges presented in data processing. In this paper, we will introduce our big data platform in detail. Based on this big data platform, China Unicom is building an industry ecosystem based on Mobile Internet Big Data, and considers that a telecom operator centric ecosystem can be formed that is critical to reach prosperity in the modern communications business.     

基于大数据技术的操作系统教学思考

针对目前传统教学模式存在的问题和大数据技术的快速发展的现状,结合操作系统课堂教学和实验教学的特点,提出基于大数据技术的操作系统课程教学措施,改进操作系统课程的教学模式,提高教学针对性。     

大数据时代图书馆面临的机遇与挑战

大数据吸引了各行各业的关注,图书馆不可避免地面临着大数据浪潮的冲击。阐述了大数据的定义与特征,分析了大数据在图书馆的应用场景,探讨了大数据时代图书馆的发展趋势及面临的挑战。     

大数据时代信息资源利用研究

当今不断增长的数据量和数据种类衍生出“大数据”这一现象。阐述了大数据时代信息资源的特点,分析了基于大数据的信息源的选择,探讨了大数据时代信息资源的利用。     

论大数据时代智慧城区建设的应用研究

云计算和大数据是目前商业界和政府部门研究的热点问题.文章探讨了利用云计算的虚拟化关键技术打造智慧城区相关问题,通过对城区进行现状分析,给出了系统建设的规划,逐步将现有数据中心升级打造成云计算中心,并通过建立云数据库实现城区数据标准化,实现数据共享与有效利用,减少系统重复建设.     

交通流大数据中的套牌车并行检测算法

传统的套牌车识别算法通过串行工作方式在网格化城市交通监控系统所产生的大规模数据中进行两两比对实现套牌车检测,因此在处理海量数据时存在性能瓶颈问题.提出了一种新的基于Hadoop的MapReduce算法模型,该算法具有并行特征,通过引入多台硬件计算资源协同处理大规模数据下的套牌车检测问题,显著提高了计算性能.同时,采用基于动态旅行时间实时的时空窗口计算技术,能进一步提高算法的检测速度和识别精度.     

大数据时代背景下的媒介传播新形式

大数据时代,能否创新媒介传播形式,做到"精准服务"成为媒体发展的关键因素之一。大数据为分析受众的精准需求、个性化精准的传播内容提供支持。通过社会化媒体和社会网络平台吸引受众参与信息的制作与传播,分析受众需求的"相关性",从而对受众需求进行精准研究;通过多元化经营与合作等互动形式,重视基于互联网的数据库的建设,实现"精准服务"。