大数据环境下的数据分析及应用研究

大数据蕴含着巨大的商业价值和社会价值。针对大数据的分析与应用面临的新挑战,文章重点阐述了文本分析、Web分析、网络分析及移动数据分析等数据分析技术,并从商务智能挖掘、公共安全预警等领域介绍了大数据分析与挖掘的热点应用。     

基于大数据分析的用户需求挖掘研究

首先介绍大数据、大数据分析以及用户需求挖掘的相关概念,论述大数据对用户需求挖掘的影响,并对不同行业用户需求挖掘的案例进行研究分析,由浅到深地研究了大数据分析在用户需求挖掘这一方面的影响及重要性。     

互联网交通大数据应用教学探究平台设计

随着大数据等新兴技术的发展,交通数据的内涵和外延得到了进一步拓展,对数据进一步挖掘利用成为交通研究和实践的热点,数据分析应该成为交通专业学生必备技能,交通实验课程体系也应跟上大数据技术的发展步伐.对建设互联网交通大数据实验平台进行探讨,以滴滴出行平台交通大数据共享为基础,开发交互性、可变性较强的大数据分析及可视化实验,...     

大数据时代数字图书馆发展浅析

大数据及其技术是当前信息领域研究的热点,在数据挖掘、数据分析、信息服务以及信息安全、隐私保护等方面给图书馆带来了挑战与机遇。随着大数据时代的到来,用户对信息资源的需求越来越高,图书馆的信息处理及服务将会发生显著的变化,从大量的非结构化数据、半结构化数据集中去分析和挖掘潜在的价值将成为图书馆的主要业务之一,图书馆的服务方式也需做出相应的改变。     

保护隐私的智能电网大数据分析挖掘技术

针对智能电网中的大数据安全和隐私保护问题,梳理了当前智能电网大数据安全与隐私保护关键技术,按照保护隐私的智能电网大数据分析挖掘技术路线,提出一种保护隐私的智能电网关联规则挖掘方案,即使用简单的加法秘密共享方案,加密和发送电表数据给可信第三方,并在安全聚合协议下汇总电表数据,使用安全多方计算关联规则的支持度和置信度。保护隐私的智能电网大数据挖掘使得电力公司在不泄露客户隐私信息的前提下,能够提高服务质量。     

基于大数据的交通处理平台的分析与应用

为了提高交通处理平台的大数据分析和管理能力,提出一种基于大数据融合调度模型的交通处理平台。对交通处理大数据进行信息聚类处理,采用关联规则特征提取方法进行交通处理平台大数据有效挖掘,结合信息融合理论,对交通处理平台中的文本信息、位置信息、图片、音频、视频等数据进行模式识别和信息融合,提高大数据计算资源的利用效率。建立实时性较高的有效算法库,快速形成面对不同模型大数据的知识库,实现大数据优化挖掘和智能调度,提高交通处理平台的智能信息管理能力。实验结果表明,采用该方法进行交通处理平台的大数据挖掘的聚类性较好,信息融合度较高,数据调度的准确率高达96%。运用该平台能够使数据调度和访问的效率得到有效提升。     

一种分布式大数据挖掘的快速在线学习算法

在大数据分析处理中,存在诸多问题,如数据类型多,处理效率低,从中获得有用的信息和知识以便指导后续的决策,这是机器学习的最终目标。有效学习样本逐渐增加,据此如何高效渐进地学习分类器是一个非常有价值的问题。大数据分析要求大量数据流的分布式挖掘要实时执行,设计这样独特的分布式挖掘系统:在线适应传入数据的特征;在线处理大量的异构数据;在分布式学习者之间的有限数据访问和通信能力。提出了一个基本的数据挖掘框架,并基于此研究了一种高效的在线学习算法。框架包括一个整体学习者和只能访问不同输入数据部分的多个局部学习者。通过利用在局部学习者学习的相关性模型,提出的学习算法可以优化预测精度而比现有最先进的学习解决方案需要更少的信息交换和计算复杂度。     

基于文本挖掘的电影评论情感分析研究

基于文本挖掘技术对电影评论进行深层数据分析.爬取电影网站短评,利用TF-IDF进行高频词可视化,对评论进行情感倾向分析.利用贝叶斯分类器将电影短评分为好评集和差评集,得出好评与差评集的主题词概率,找出影评大数据背后隐含的深层信息.     

基于Python的数据分析可视化研究与实现

大数据时代下数据总量规模大幅度增加,类型多样化,传统数据分析和处理技术存在很大的限制,导致数据分析精准度不高,处理效率偏低。因此,为了满足不断增长的数据信息处理需求,并结合传统数据分析工具高门槛性和操作难度大的问题,越来越多的人开始运用Python来设计数据分析和处理的平台,借助Python中pandas来分析结构化数据,非结构化数据中提取文本信息,借助Matplotlib图表展示,借助Jieba来分次处理文本信息,最终在Web上发布信息。基于此种方式,可以为用户提供更加便捷、功效的数据分析服务,获得可视化的数据分析结果。该文就Python下的数据分析可视化内容展开研究。     

知识地图大数据视角下首都安全“3+1”风险预控系统模型构建关键技术与设计

目的以《北京城市安全隐患治理三年行动方案(2018—2020年)》为依据,利用知识地图大数据分析与挖掘技术,从海量的首都安全大数据中提炼有效信息并合理应用,构建首都社会安全“3+1”风险预控模式。方法利用知识本体映射方法以及信息构建技术、数据分析技术,明晰首都安全风险隐患,构建首都安全风险预控知识地图。结果通过知识建模、知识抽取,梳理安全事故发生链的全过程中蕴涵的知识关联、因果关联,建设首都安全的人物知识地图、机构知识地图、成果知识地图、首都安全风险预控平台。结论构建首都安全风险知识地图,为挖掘与分析首都安全事件数据知识链提供有效依据;建立大数据视角下的首都安全知识单元地图及其网络关系,为“平安北京”风险预警预控的多元协作系统、应急管理系统、公共安全系统建设提供有价值的参考。     

基于一卡通数据的校园大数据分析平台的构建与应用

基于大数据分析技术对校园一卡通系统中累积起来的数据进行分析和挖掘,建立决策模型,大数据标准、管理和规范,进一步构建一体化、智能化、高可靠性和安全性的高校大数据综合管理与决策平台,为学生管理工作提供决策支撑,促进学生管理与决策科学化.     

基于云计算技术的Web数据挖掘的算法研究

本文提出一种基于云计算的web数据挖掘算法,云计算技术将大数据集与进行数据挖掘的人员分配到多台计算机工作站上进行并行处理。Web数据挖掘是指探寻网络中的大量有用信息进行分析,选择和存储有用的信息。利用云计算技术可以明显提高web数据挖掘的效率。     

面向服务的大数据分析平台解决方案

本文针对日益增长的大数据分析与信息服务的应用需求,提出基于数据中心和互联网、面向服务的大数据分析平台解决方案,为开展大数据分析相关的研究和实践提供借鉴和参考。首先对国内外大数据技术的产业现状进行回顾,然后给出基于数据中心和互联网的大数据分析平台拓扑架构,讨论大数据分析平台的系统功能和关键技术,最后阐述该平台系统的应用和产业化前景。     

基于WEB的数据挖掘研究综述

运用数据挖掘技术进行Web数据挖掘成为数据分析领域中的一个重要研究热点,与传统数据相比较,Web数据具有结构复杂、形式多样与内容广泛等特点,且用户对其需求亦是五花八门的,这对数据分析领域提出了更大的挑战.基于为研究Web数据挖掘提供参考,将Web数据挖掘粗略地分为三类:内容挖掘、结构挖掘和使用挖掘,并分别进行了综述,然后根据当前的应用现状分析了这一研究领域的几个研究方向.     

基于酒店评论大数据的游客评论主题挖掘与情感分析 ——以北京五星级酒店为例

分析酒店评论数据可以挖掘游客的关注点、意见、建议、情感倾向等有价值的信息.结合对酒店评论数据进行主题挖掘和情感分析的交叉研究,提出一个包含数据采集、数据预处理、主题挖掘、情感倾向研究及可视化分析的集成框架.以Tripadvisor网站上北京地区50家五星级酒店的5万余条中文评论数据为研究对象,进行LDA主题挖掘,同时基于酒店领域扩充情感词典,判定评论文本三元情感极性,并在此基础上实现主题和情感的交叉分析.研究结果可降低潜在游客购买决策的风险,也为酒店管理者制定针对性的管理和营销策略提供重要参考依据.研究方法同样适用于景区及餐饮领域的在线评论数据分析,拓展评论大数据与自然语言处理技术在旅游业的应用范畴.     

基因芯片的信息挖掘

基因芯片是一项急速发展的新技术，该技术大致包含芯片设计、芯片制作和数据分析三个主要环节．该文综合介绍了在基因芯片的数据分析中所采用的信息挖掘方法，特别是一些行之有效的数学模型和算法．当前，基因芯片的信息挖掘已成为生物信息学研究的热点之一，而数学技术的应用将促使基因芯片技术日趋完善．     

欧洲反恐信息技术框架的构建与应用研究

欧洲在反恐领域内的信息技术框架包括信息与技术两大方面。信息框架主要由欧洲警察署的信息系统和申根协定中的信息系统组成;技术框架则由语音识别系统和视频识别系统两大部分构成。欧盟及欧洲各国通过措施使政治、法律与信息、技术相互平衡并不断研究和完善反恐技术、充分发挥信息与技术相互融合的功效来构建与优化框架。我国要善于利用欧洲反恐经验,包括学习与研究比较完备的人身/脸识别技术、数据分析与挖掘技术、系统化与一体化理念等,从而为我国反恐信息技术体系的建立出谋划策,构建人类命运共同体。     

邮政大数据技术应用可行性分析

随着当前各行业信息化的发展,邮政行业各类信息化系统积累了海量的业务数据,这些数据分散在不同的业务领域。由于业务的扩展,数据呈现出几何级地快速增长趋势,并且明显表现出数据量庞大、数据类型多样、价值密度低等特点。传统的数据分析处理方式已经无法满足行业需求。通过引入针对大数据的数据采集、数据处理、数据存储及管理、数据分析与挖掘等技术,可以有效地解决对海量业务数据的分析、价值挖掘问题,进而通过对大数据技术的应用,达到对客户需求的精准把控、对现有业务流程的优化、对业务发展趋势的预判等目的,最终实现对整个邮政行业发展的促进效果。     

基于大数据分析的复值BP神经网络方法

神经网络分析方法,现在已经成为极为成功的大数据分析方法,并在学术界和工业界全部被人所熟知,与传统的方式相比较,神经网络方法能够运用数据驱动等自动从数据中提取信息,并且在数据结构不明确、跨领域的大数据中具有极为明显的优势。复值BP神经网络对数据进行特征提取和抽象能力,从大量数据源中处理大数据中异构数据,这种分析方法的优势在于能够提取静态数据之间的相关信息。复值BP神经网络方法将会更加适用于提取信息的时序特征,从而加强对大数据的分析预测。基于大数据分析的神经网络方法可以对数据的时空关联以实现大数据的预测,解决大数据分析中的核心问题,为大数据分析研究提供了一定的科学依据。     

脱贫攻坚大数据决策支持系统分析与设计

为进一步增强扶贫数据分析与应用能力,提高扶贫信息的精准度,本系统基于GIS平台,采用Java EE框架结构,通过对各地脱贫攻坚工作中所产生大量数据的挖掘分析,以数据呈现、数据联合分析等实现脱贫攻坚工作的可视化。本文从当前脱贫工作的需求进行分析,提出脱贫攻坚大数据决策支持系统模型,同时对决策支持系统的功能结构进行阐述,进而实现辅助决策的功能。本文通过大数据技术实现数据系统分析,以形象直观的动态图像来展示扶贫数据,提高用户的体验度。