互联网数据在高校大数据平台中的应用研究

互联网数据是高校大数据平台应用的重要数据来源,该文主要阐述了高校大数据平台的技术架构,并在此基础上提出了互联网数据的重要价值,分析了高校大数据应用中专业数据、资讯数据和网络舆情数据三大主要互联网数据构成,并对应用模式和应用场景进行了研究。提出并阐述了学科大数据分析、网络舆情监测、情报大数据分析、校友大数据分析等高校互联网数据大数据应用场景。     

从数据到决策的大数据时代

根据大数据时代的特点和带来的变化,明确了大数据时代的核心是从数据到决策.对大数据时代兴起的即时决策,从大企业到个人进行全面的分析说明.在数据辅助决策方面,讨论了利用统计方法的辅助决策、从数据中归纳出数学模型、从数据中获取知识等有效方法.大数据与云计算的结合,将会达到相互促进和共同发展.大数据不仅支持大企业和政府的决策,也支持个人的决策.     

大数据与大数据机器学习

大数据时代已经到来,大数据是指具有海量(Volume)、多样(Variety)、时效(Velocity)、不精确(Veracity)和价值(Value)这5种特征的数据,大数据研究是近几年信息处理领域最热门的研究方向,已经引起了工业界、学术界乃至政府部门的高度关注.大数据之所以备受关注,是因为大数据里面蕴藏着巨大的价值.如何把蕴藏在大数据中的价值挖掘出来,为企业或政府部门提供决策支持具有重要的意义.大数据给传统的机器学习带来了许多挑战,这些挑战可以从大数据的5个特征或从5个不同的角度进行分析.本文首先介绍大数据的概念,并详细剖析大数据5种特征的内涵;然后在此基础上,重点分析大数据给机器学习带来的挑战及可能的解决方法.本文对从事大数据研究的人员,特别是从事大数据机器学习研究的人员具有较高的参考价值.     

基于大数据的数据清洗研究

大数据具有体量大、来源和格式多样、增长速度快、价值密度低和处理难度大的特点,即使通过合理设计参数对某段数据进行点估计的结果可能相当令人满意,但通过应用标准统计程序对整个数据体进行精度估计得到的结果,却是差强人意,从而误导人们。目的旨在分析影响大数据清洗的主要因素有哪些,首先回顾了数据获取对时间序列的依赖性并构造了一个大数据模型,然后在列出数据估计时所用的一些属性后,给出了数据清洗时的回归分析,同时探讨回归系数估计的可能影响。最后给出了大数据处理中误差累积的通用表示方法,提出了与时间序列理论中短程和长程依赖之间的区别大致相同的问题。     

大数据技术之一“数据标识”

DT时代,最重要的是"大数据"。目前,大数据开发和应用正如火如荼地开展,然而真正实现落地的项目并不多见。大数据现在只呈现的是一个研究热点,迫切需要一种技术实现大数据精准开发应用。该文通过导入大数据概念,解释大数据包含的二元概念,分析"大统计"与"大数据"的区别,引出大数据技术之一"数据标识"方法与应用,用以标识人类行为数据和医学大数据开发应用的方法,文章进一步阐明"数据标识"的科学性和准确性,为大数据开发应用指引道路。大数据是人类行为轨迹生产出来的数据资源,大数据是关于人的研究,由于物理人体的边界清晰,医学大数据应用或将早于人类行为数据应用的成功,未来的人工智能离人们不再遥远。     

浅谈大数据时代数据信息现状及发展

大数据开启了一个时代的转型,给人们带来一场生活、工作与思维的大变革。时代的变革需要以大数据为视角理解数据与信息。本文介绍了大数据时代出现的必然性,分析大数据时代数据的特点,从而阐述大数据时代背景下信息的特点。     

大数据研究综述

针对大数据在生活中越来越普遍，分析了大数据的概念，对大数据的关键技术大数据集成、集群计算、大数据挖掘、数据仓库和大数据可视化进行了框架式讨论，并给出了大数据开源实现平台的技术组件，最后对大数据的挑战给予了展望.     

浅谈大数据时代的数据挖掘和数据可视化

大数据时代下数据量的爆炸式增长,使得分析和解读大数据显得尤为重要. 阐述了解析数据工具——数据挖掘和数据可视化技术,重点探讨了两者创新性结合的重要意义和实际效果.     

蓬勃发展的中国大数据产业

党的十八大以来,中央高瞻远瞩,提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了《促进大数据发展行动纲要》《大数据产业发展规划（2016—2020年）》等指导性文件。各部门、各地方高度重视,据不完全统计,已有20多个省级地方和1O余个部委出台了本地区、本行业大数据发展规划,我国大数据发展已经正式驶入快车道。为此,国家信息中心、南海大数据应用研究院联合组织撰写了《2017中国大数据发展报告》。作为业界首部完全基于大数据方法对大数据现状进行研究的报告,它从多个维度对大数据产业发展进行了全面分析。本文节选部分数据内容,为读者简单展现我国大数据产业发展的业态。     

科学研究大数据挑战

现代科学研究的一个重要模式就是大科学项目,其特点是大科学装置和合作,并产生海量的科研数据.数据密集型的大科学项目对数据的采集、存储、分发和处理有着巨大的需求.本文以大科学项目为案例讨论了科研大数据在数据采集、处理、存储以及网络等方面的挑战,以及相应的应对方法.其中,国际上的高能物理实验每年产生数十拍字节(PB)的数据,这些数据需要妥善地记录和保存下来,并高效地分发到世界各地进行分析处理.高能物理学家基于网格技术合作建立了大数据处理的WLCG网格平台,该平台成功地支持了大型强子对撞机实验数据的处理和分析,同时也支持了其他大科学项目,取得很好的效果.另外,为了解决对数据的高效存储和访问,新的存储技术和网络技术,如软件定义网络和云存储等,被开发应用到科学大数据中.最后还介绍了云计算技术在科研大数据中的应用.     

Domain-oriented data driven data mining:a new understanding for data mining

Recent advances in computing, communications, digital storage technologies, and highthroughput dataacquisition technologies, make it possible to gather and store incredible volumes of data. It creates unprecedented opportunities for largescale knowledge discovery from database. Data mining is an emerging area of computational intelligence that offers new theories, techniques, and tools for processing large volumes of data, such as data analysis, decision making, etc. There are many researchers working on designing efficient data mining techniques, methods, and algorithms. Unfortunately, most data mining researchers pay much attention to technique problems for developing data mining models and methods, while little to basic issues of data mining. In this paper, we will propose a new understanding for data mining, that is, domainoriented datadriven data mining (3DM) model. Some datadriven data mining algorithms developed in our Lab are also presented to show its validity.     

运用多维数据模型实现数据集市

文中阐述了数据集市、多维数据模型的基本概念和技术 ,探讨了一种用多维数据模型实现数据集市的方法。最后 ,给出了一个数据集市的应用实例     

一个数据仓库的设计和实现

介绍了数据仓库的定义、特征与组成部分,通过银行贷款分析实例,详细叙述了数据仓库的多维数据的数据结构与相关技术,同时介绍了ＫＤＤ过程中的数据挖掘技术、方法和应用,指出了设计数据仓库过程中所需解决的难点问题,为银行的贷款风险与利润增长预测提出了可靠的依据。     

DMB+,新一代数据传播技术

针对通信网络在公共信息发布时传输效率低、可靠性差等问题,提出DMB+(digital multimedia broadcast plus)数据传播新技术.采用编码正交频分复用(coded orthogonal frequency division multiplexing,COFDM)、终端识别等技术,以无线广播的方式,面向大量终端实时分类传输文字、数据、图片、视频等信息.DMB+具有无线传输、覆盖范围大、施工和维护简单等优点,可以弥补现有通信技术的不足,更适用于终端数量多和人群密集的应用场景,如学校、工矿企业、社区以及智慧城市和公共安全等相关应用.DMB+的时间精准性、数据安全性使其能在保密专用通信、工业控制以及中国制造2025应用中发挥特定的作用.全面介绍DMB+的研究背景、关键技术和应用方案,并对DMB+的产业前景进行了探讨.     

Towards a four-dimensional analysis of meteorological data

Rapid advances in the gathering of meteorological data and the design of atmospheric models are making the conventional two-dimensional analysis inadequate. This article describes some progress towards a four-dimensional analysis system.     

VMDM:一种基于VRML的3D Web多媒体数据挖掘的模型

随着3D Web技术的成熟与发展，第二代Web离我们越来越近，从3D Web中挖掘多媒体数据是一个新兴的研究领域．提出了一种基于VRML标准的多媒体数据模型——VMDM，该模型能够充分表达3D Web中的多媒体对象的特征，且易于实现，尤其易于可视化的数据挖掘．同时，在此模型基础上，提出了基于兴趣的个性收索方法，并给出了部分算法，最后，给出了基于VMDM模型的3D Web多媒体数据查询语言VMQL，并展望了在该领域将要进一步研究的内容．     

CPU中数据调整器的版图设计

介绍了一种CPU中数据调整器的手工版图设计,说明了版图设计中常使用的一些方法.     

一种多属性的时空数据聚类算法分析研究

时空聚类(spatial-temporal density based spatial clustering of applications with noise,ST-DBSCAN)算法只能处理固定属性的时空数据,且其人为设定阈值的方法具有较大随机性会导致聚类结果不理想.基于ST-DBSCAN算法存在的不足,提出了一种改进的多属性时空聚类算法.改进后的新算法采用绘制时空对象距离频数柱状图来设定自适应阈值,通过引入Gower相似系数、Dice相似系数与欧几里德距离来构建多属性相似度模型,计算多个事务对象之间属性特征的相似度大小,从而将ST-DBSCAN时空聚类算法扩展到更多属性的时空数据聚类分析中.以北京市计算机行业职位招聘信息数据进行实验仿真,实验结果表明,新提出的阈值设定方法可以有效识别部分低密度簇,提高聚类的准确性和有效性;改进后的算法具有较好的普适性与包容性,能对多属性的时空数据进行很好的聚类分析.