探究大数据下的智能数据分析技术

人类发明计算机以来就一直利用它进行数据相关性分析,从这个意义上来说现在的所谓“大数据分析”和之前的数据分析是一样的,只是原来的算法对处理上千个维度这样复杂数据模型时显得力不从心。从2006年以来,随着算法上的一系列突破再加上廉价计算能力的普及,人们终于有能力分析这些复杂的数据模型,于是大数据这个概念就诞生了。该文主要对通过对数据分析和大数据进行论述,探究大数据下的智能数据分析技术。     

大数据环境下的数据分析及应用研究

大数据蕴含着巨大的商业价值和社会价值。针对大数据的分析与应用面临的新挑战,文章重点阐述了文本分析、Web分析、网络分析及移动数据分析等数据分析技术,并从商务智能挖掘、公共安全预警等领域介绍了大数据分析与挖掘的热点应用。     

保护隐私的智能电网大数据分析挖掘技术

针对智能电网中的大数据安全和隐私保护问题,梳理了当前智能电网大数据安全与隐私保护关键技术,按照保护隐私的智能电网大数据分析挖掘技术路线,提出一种保护隐私的智能电网关联规则挖掘方案,即使用简单的加法秘密共享方案,加密和发送电表数据给可信第三方,并在安全聚合协议下汇总电表数据,使用安全多方计算关联规则的支持度和置信度。保护隐私的智能电网大数据挖掘使得电力公司在不泄露客户隐私信息的前提下,能够提高服务质量。     

浅析大数据时代的产品与技术

介绍了大数据数据结构的特点,分析了大数据平台的系统架构和关键技术．比较了主流的数据库产品。     

基于大数据技术的学习分析系统架构

通过电子书包、移动学习终端、在线学习应用等,可捕获大量的学习行为数据.如何利用这些大数据是目前教育信息化领域亟需研究的问题.本文首先分析了教育信息化领域对学习分析的需求和研究对象.接着引入大数据技术,设计以Hadoop为核心的学习分析系统,构建基于学习分析的智能数字化教育服务,并列举此技术方案的具体应用案例.最后,提出需要解决Hadoop应用在学习分析领域的技术问题.     

大数据环境下的数据安全技术分析

随着大数据技术的不断发展与广泛应用,传统的数据安全技术受到了诸多挑战。本研究立足大数据安全技术,阐述了大数据环境下数据安全面临的挑战,结合国内外数据安全案例与对相关技术的研究现状,探讨了各种数据安全技术在大数据环境下的数据安全问题中的应用。研究根据现实状况,从Hadoop平台架构的安全机制、网络隔离的脆弱性和身份认证的局限性与不便性视角出发,探索了相关技术缺陷的解决方案,最后对未来技术发展的可行路径进行探讨,指出应对Kerberos认证机制和嵌入TLS组件的具体实现流程进行详细分析,并深入了解“震网”病毒及其攻击原理与应对技术。     

电信大数据管理应用技术研究

目前针对电信大数据管理应用技术的研究方法与手段众多,但目前主要集中在Hadoop架构的数据存储及应用开发上,采用Hadoop对于电信大数据的应用主要包括存储系统(HDFS)、计算系统(Map Reduce)和HBase。该框架的实现为我国高效合理的电信大数据管理提供了一种解决问题的新思路。     

大数据环境下决策树的研究

传统决策树在中小型数据集的预测分类上表现优秀,但在大数据集的处理上仍然存在效率低下、准确率较低等问题.为了适应大数据集环境,国内外学术界和工业界提出了将决策树与分布式处理平台相结合的分布式决策树算法,面向大数据处理的Hadoop和Spark分布式计算系统的出现,为研究分布式决策树算法提供了新的契机.为此,面向以基于大数...     

大数据下区域科技资源共享型智能服务平台模式研究

随着大数据时代发展,人们对于如何使用科技资源服务平台来提高对资源利用效率变得愈发关注.在经历了过去的资源型-被动服务和需求型-主动服务两种模式后,科技资源服务平台开始逐渐向着一种新型模式演化,即共享型-智能服务.身处大数据时代,共享型-智能服务在对促进服务水平、服务效率等方面具有重要的作用.在通过对资源服务环境的构建原...     

大数据下高校智能资助的技术方案与实施模式研究

文章分析了高校贫困生资助存在的问题,从实践层面提出大数据下高校实施智能资助的优势、技术方案、实施模式与建设对策,并用一个典型案例详细解释大数据下智能资助的可能性与优越性,为高校资助工作的完善提供有价值的参考建议。     

大数据智能下数据脱敏的思考

随着人工智能技术在大数据与高性能计算的推动下飞速发展,涌现出大量创新性的方法,对现有的数据安全与脱敏方法带来了诸多挑战。从当今大数据与智能技术发展的现状入手,讨论了数据脱敏技术的内涵、工作流程、系统机制、典型脱敏案例,展望了未来数据脱敏技术的发展趋势,从技术、需求和法治、管理机制方面提出了一些数据脱敏的建议。     

基于Hadoop的分布式智能推荐系统

通过对云计算平台相关技术的分析研究,结合目前智能推荐系统的应用情况,采用Hadoop、Mahout、Sqoop以及Oozie等云计算相关技术构建一个海量数据智能推荐系统。与传统的数据存储处理相比,可以提高资源的利用率,降低成本,同时也保证了速度。     

基于多维感知的智能路由器大数据插件技术研究

随着商业Wi Fi的大规模部署,智能路由器取代传统路由器已成趋势。然而如何通过技术手段进行大数据资产的积累,并实现最终的流量变现成为亟待解决的问题。文中基于大数据插件技术,采用多维感知的方式获取多个维度的上网流量数据,并以能力开放的方式提供给第三方开发者使用,很好的解决了大数据资产积累和流量变现的问题,实验证明,插件对智能路由器自身的几乎没有影响,可以平滑使用。     

基于大数据技术的智能交通管理与应用研究

"互联网+"使各行各业每天都产生了海量数据,针对交通数据的爆炸式增长,传统的交通规划与管制已经不能满足复杂的交通需求,交通管理的难度不断增加这一问题,提出一种智能交通大数据处理框架;通过该框架及相关技术进行交通大数据的数据采集、数据同步与传输、数据存储、数据分析与处理和结果展现等应用研究,将起到助力交通违法与环境监测、为相关业务部门提供决策依据、提高交通运行效率与交通安全水平、提升城市交通规划等作用,使交通管理真正地智能起来;大数据研究与应用下的智能交通将成为解决诸多交通城市病的有力手段,其发展将导致各种新技术的不断诞生,使人们的出行方式和生活模式产生巨大变革,人们的生活将更加美好。     

基于大数据的重大工程智能群体决策支持系统研究

随着工程建设行业的规模化及国际化发展趋势,重大工程逐渐成为国家发展的重要标志.重大工程的复杂性往往导致决策不确定性并引发管理中的诸多难题.为高效解决重大工程决策主体多元化所带来的信息不对称、决策方案冲突等问题,将智能决策方法融入重大工程群体决策过程中,构建了基于大数据的重大工程智能群体决策支持系统(BD-IGDSS),并通过将BD-IGDSS应用于中泰铁路工程及港珠澳大桥工程,分析该系统在重大工程决策管理中的优势.     

基于大数据架构的智能交通可视化平台设计

利用大数据技术、地理信息技术、数据可视化技术等,构建智能交通可视化平台,给出平台的总体架构、技术架构,并对平台的功能进行了设计.文章基于地理信息系统的大数据可视化、多源异构海量数据融合、地理信息专用引擎、大数据引擎、多源数据分析等技术深入的研究,对利用交通管理大数据、时空大数据建立分析研判模型进行了设计,可为公安机关建...     

大数据平台网络数据库云计算技术优化与平台搭建研究

利用云计算等先进技术对网络数据库进行优化总结.基于云计算等技术重新设计了一种面向大数据的网络数据库,实现了平台操作设计、集群模块搭建以及数据整合与预处理等.基于云计算等技术对网络数据库进行优化,是实现网络数据库存储容量提升,全面优化大数据时代网络数据库并发性、提高海量数据状态下网络数据库利用率的重要举措.     

基于大数据的智能交通综合信息应用平台设计

智能交通是目前交通领域研究的主要问题之一,它涉及多种技术的综合运用,主要采用大数据、云计算技术研究如何高效地利用各种信息,为智能交通提供支撑,提出以大数据技术构建智能交通综合信息应用平台,探讨了其可行性,给出了平台基本体系结构、总体框架、不同类型的数据存储策略、不同引擎的应用场景等,并对平台的功能进行了设计,对性能进行了分析.     

云南少数民族地区精准扶贫大数据智能分析模型

通过分析云南少数民族地区贫困人口的主要特征属性,提取导致精准扶贫"不精准"的主要影响因素,对贫困对象存疑、扶贫措施不精准、动态退出不客观等问题进行分析,研究少数民族地区贫困人口特征、识别校验规则、帮扶措施信息、扶贫过程特征量等数据的特征规则库建立方法,探索贫困对象识别可靠性模型、精准帮扶措施模型、贫困动态评价指数模型的实现思路、数据分析、模型训练和验证方法,对少数民族深度贫困地区的精准扶贫大数据智能分析模型建设和实现具有实际指导意义.