大数据的受、想、形、识

正大数据是数据科学的一个研究领域。要从受(数据采集)、想(数据分析)、形(数据重构)、识(数据挖掘、预测、利用)等四个方面来研究它,从而获得认识现实世界的大智慧。大数据这个新名词,近来总在不同的媒体出现。大数据的浪潮扑面而来,自然会伴随着大量的泡沫。究竟什么是大数据,不同人有着不同的理解与解读,但给人的感觉是总体形象还不十分清晰。如果说成数据科学,那就比较容易理解了,即关于埘象为数据的科学,而大数据应该是数据科学中的问题,是尚未解决的问题,是     

原子分子数据

1.什么是原子分子数据所谓“原子分子数据”,是有关单个原子、分子的各种性质以及有关原子分子之间或者原子、分子与电子、光子之间相互作用的各种数据的总称,它包括原子能级、分子构造方面的数据,以及原子分子的光吸收几率、由电子碰撞引起的原子分子的电离截面等等数据。另外,在化学反应速度方面,特别是比较简单的分子在气相反应中的数据,也属于原子分子数据的范畴。     

浅谈如何提高多媒体检索系统的效率

如果基本数据不再是字符数值型,而是图像、声音,甚至是视频数据,它们是一些非结构化数据,如何表达多媒体信息的内容,怎样提高检索与查询这些数据的效率,这正是文章阐述的内容.     

地质科学大数据及其利用的若干问题探讨

地质科学大数据是一种时空大数据,其特征与一般大数据有相似之处,也有显著差别.为了应对挑战,需要引进大数据理论、方法和技术,开展对地质科学大数据的统合和利用.采用大数据技术直接在海量时空数据和文本数据中挖掘知识,能突破采样随机性和样本空间狭小、仅凭少量观测数据和固有模式进行判断,以及传统数据分析方法的限制,有可能取得地质科学的新发现.目前常用的一系列数学地质方法和一般空间数据挖掘方法,经改造可用于地质科学时空大数据挖掘.大数据时代地质科学发展所涉及的关键科学技术问题,包括结构化数据与半结构化非结构化数据、大数据与小数据、混杂性数据与精确性数据、模型与数据、静态勘查模型与动态监测模型等的一体化存储管理和处理,数据挖掘与数据分析的结合、相关关系与因果关系的统一,地质科学大数据的深度挖掘和可视化."玻璃地球"是地质科学大数据的有效载体,开展"玻璃地球"建设是解决上述各种科学技术问题的最佳途径之一.     

大数据时代的数据素养教育

正数据素养是大数据时代对科研人员所提出的要求。国外各大学已在广泛开展数据素养教育。在中国,如何提高下一代科学家的数据素养,使他们具备在大数据时代开展科学活动的能力,是一项紧迫的重要任务。随着信息技术和网络技术的迅速发展,科学研究数据呈现爆炸性增长的态势。利用各种各样的研究工具和实验设备,通过模拟、仿真、计算和观察,在科学研究过程中不断产生和创造出大量"原生态数字信息",形成特定科学领域的数据集和数据场。如美国大规模科学项目"泛星计划"(全景式巡天望远镜和快速反应系统),每年在运行中可捕获2.5PB(1PB=10~(15)字节)的数据;国际上高能物理学研究领域的LHC(大型强子对撞机)每年能产生50～100PB的数据;小规模研究     

不一样的淘宝首页

<正>自2013年起,中国大数据产业日趋活跃,至今已呈现出百花齐放、异彩纷呈的发展态势。在互联网业内,以阿里巴巴、腾讯、百度为代表的行业领头羊,不断将积累的社交数据、搜索数据、电商数据转化为大数据时代珍贵的原生素材。在零售电商领域,由于互联网、智能设备、大数据的快速发展,正发生着颠覆性的创新与变化。特别是大数据技术,在目前的电子商务     

大数据哈希学习:现状与趋势

随着信息技术的迅速发展,各行各业积累的数据都呈现出爆炸式增长趋势,我们已经进入大数据时代.大数据在很多领域都具有广阔的应用前景,已经成为国家重要的战略资源,对大数据的存储、管理和分析也已经成为学术界和工业界高度关注的热点.收集、存储、传输、处理大数据的目的是为了利用大数据,而要有效地利用大数据,机器学习技术必不可少.因此,大数据机器学习(简称大数据学习)是大数据研究的关键内容之一.哈希学习通过将数据表示成二进制码的形式,不仅能显著减少数据的存储和通信开销,还能降低数据维度,从而显著提高大数据学习系统的效率.因此,哈希学习近年来成为大数据学习中的一个研究热点.本文对这方面的工作进行介绍.     

面对大数据和人工智能,我谨慎乐观

<正>面对各种新技术,总有不同的态度:有的乐观,有的悲观。对于大数据和人工智能技术,我持谨慎乐观的态度。首先是谨慎。政府肯定喜欢大数据,因为有利于监控;企业也喜欢大数据,因为可以在此挖宝。有些个人也喜欢大数据,因为他们觉得大数据给生活带来了方便,比如有了基于大数据的高质量手机翻译软件,不懂外语也可以走遍天下了。可是我们千万要记住:在某种程度上,充斥于生活各个角落的大数据是与人的本性相违背的。一方面,我们厌恶不确定性;另一方面,如果完     

投影寻踪技术及其应用进展

投影寻踪(projection pursuit,简称PP)是国际统计界于70年代中期发展起来的一种新的、有价值的高新技术,是统计学、应用数学和计算机技术的交叉学科,属当今前沿领域。它是用来分析和处理高维观测数据,尤其是非正态非线性高维数据的一种新兴统计方法。它通过把高维数据投影到低维子空间上,寻找出能反映原高维数据的结构或特征的投影,达到研究分析高维数据的目的。它具有稳健性、抗干扰性和准确度高等优点,因而在许多领域得到广泛应用。     

大数据时代:趋势和对策

正无论在科学研究和生产制造领域,还是在社会管理和国防安全领域,数据正在爆发增长,一个数据产生重大价值、数据驱动创新的时代已经来临。大数据将逐渐成为现代社会基础设施的一部分,许多领域都会因它而发生本质上的变化,政府、产业界和学术界必须做好迎接大数据趋势的准备。现代公民应具备数据意识,数据素养应成为每个公民的基本素养之一。当前,大数据的影响力正如日中天。有人认为,正在到来的大数据时代将会全方位地推动产业创新,改变社会管理的面貌,并且改善人民生活。值得注意的是,以往对一些所谓的大趋势,国际上经常是众说纷纭、意见不一,而最近几年,从各国政府、大型企业,到包括严谨的科学类杂志在内的各家媒体,对作为当今     

我国核数据发展现状与未来发展的思考

核数据是核事业发展的基础数据,在国防建设、国民经济建设以及基础科学研究领域起着重要的作用.核数据是联系核物理基础研究和核工程以及核技术应用的重要桥梁,是核物理研究的一个重要分支学科.我国核数据工作经过近50年的发展,取得了众多的研究成果,也在一定程度上满足了国内用户对核数据的需求.目前,随着我国国防建设、核能及核技术应用研究的不断深入发展,对核数据提出了更高、更急迫的需求.但是我国核数据现有的研究能力在相关理论、实验和队伍方面逐渐呈现出无法适应目前核数据需求的趋势.本文简要介绍了核数据的种类和用途;评述了国际核数据发展动态、我国核数据工作发展历程、取得的成果以及核物理基础研究对核数据的重要性;此外还介绍了新形势下我国核数据工作面临的新需求、新问题以及新机遇;最后我们探讨了未来几年我国核数据工作应该需要重点关注的几个重要问题.     

给刻录光盘上把锁

给刻录光盘上锁?听起来你可能不信。听我慢慢说来。现在,我们常习惯把一些重要的数据存储到光盘中。但也要注意对光盘上的数据进行保护,给刻录有重要数据的光盘加密是一种很好的方法。光盘加密原理:利用特殊的光盘母盘上的一些特殊数据是不可呈现的特征。这些特殊数据大多是光盘上的非数据性内容(例如帧、状态等),如果试图复制加密光盘,这些特征内容是不能被复制的。目前光盘的加密技术有:外壳加密技术、CSS保护技术、CPPM技术、DCPS技术、CPRM技术、CGMS技术以及APS保护技术等。其中外壳保护技术的原理是:给光盘中的可执行程序加…     

投影寻踪的理论及应用进展

投影寻踪是用来处理和分析高维观测数据,尤其是非正态、非线性高维数据的一种新兴统计方法。它通过同维数据投影到低维子空间上,寻找出能反映原高维数据的结构或特征的投影,达到研究分析主维数据的目的。本文简略介绍投影寻踪的理论及其应用进展。     

微观妙论

正我们现在的大数据其实只是小数据移动互联网的爆发,带来了现实世界数据化的一个全新局面。移动互联网让人真正成为互联网的主要节点。于是我们看到了,人及其生活不断在数据化,购物、阅读、出行、旅游、锻炼、看病……对于一些互联网公司来讲,用户在他们眼中就是一堆可以变现的数据而已。现在很多通过各种手段获得数据的公司实际问题不是数据太少了,而是数据太多了。从数据清理到场景适用,如何有效使用是大家普遍面临的问     

挖掘大数据

数据是无处不在的,只要人类的活动依旧,且观测行为始终存在,那么数据就会不断产生.一旦数据被记录下来,它就会成为历史的一个投影,被保存在各种各样的信息媒介中.不过在互联网时代,数据早已挣脱了简单的数字束缚,它不仅可以是符号、文字、语音,更可以是图像或视频.     

政府需要得到数据的管控权

正英国宣布要建立一个新的数据伦理中心,这是一件受欢迎的事情。但是,我们必须确保该中心要有能力解决其所认定的伦理问题。叫停研发杀手机器人的活动引起了人们对自动武器危害的关注数据无处不在。然而,数据会让我们的生活变得更好,还是会使我们处于危险之中呢?近几个月来,人们已经搞清楚的一点是,虽然不断扩大的数据所呈现的     

全球海洋预报与科学大数据

全球海洋预报是当前国内外海洋预报领域的前沿方向之一,与实施海洋强国战略、维护国家海洋权益,以及开发深远海资源等各类海洋活动日益走向深海大洋的迫切需求有着密切的关系.全球海洋预报的突出特点是使用并生成海量的数据,充分体现了大数据的基本特征.本文从论述大数据的起源、概念和本质开始,介绍了全球海洋预报的基本理论,进一步结合数据同化、模式数据和产品分发等3个方面具体阐述了全球海洋预报中使用的观测数据和生成的模式数据等大数据.最后展望了全球海洋预报以及海洋大数据未来发展中面临的挑战和亟需解决的关键科学问题.     

了解大数据,具备起码的数据素养

当本期刊物出版之时,大数据在商界(特别是电子商务)和技术圈内(不仅是信息技术人士)肯定已经不再是一个新鲜话题.人们现在乐观地预计,就像计算机改变20世纪那样,大数据将能改变21世纪,虽然大数据的现实和潜在影响可能极为广泛,然而目前专业人士最关注的是大数据可能带来的巨大商业价值,我看到证券公司发的报告居然成为国内大数据研究的先驱(虽然对其质量无法恭维).而本刊这次组织的一组文章,涉及美国政府和地区的大数据计划、在科研领域的新发展,还包括大数据对你我日常生活可能产生的影响,从那些议题看,这组文章来得还不算太迟.     

数据科学:问题导向的交叉学科创新

<正>在大数据应用技术需求的推动下,大数据科学研究和应用已经成为科技领域中的热点.同时人们开始从这些工程实践中提炼出一些共性的思路、方法和工具,开启了一门新科学——数据科学.从思想方法上,数据科学研究继承了统计学的一些思想,例如在大量数据上做统计性的搜索、比较、聚类或分类等分析归纳,其结论是一种相关性,而并非一定是某种因果关系.虽然都依赖大量的计算,但数据科学与计算机模拟不同,并非是基于一个已知的数学模型,而是用大量数据的相关性取代了因果关系和严格     

用并行计算构建一个虚拟太空

科学家目前正以空前的速度对我们所见的宇宙进行数字化处理——正在实施中的Sloan数字化太空测量项目,其使命是对整个天穹的四分之一进行图像处理,对其中一亿多颗天体确定其位置和绝对亮度。这一项工程最终将汇集十几太(即兆兆)字节具有不同格式、不同波长的结果数据,构成丰富多彩的天文学数据源之一。 通常,这些不同来源的数据相互间仍缺少联系,而已为大家广为接受的共识是:只有对这些数据进行认真的开发,才能发掘出隐藏于数据之中的真正潜力。随着观测手段的提高,数据集的规模不断突破,特别是由大型设备如ESO超大型望远镜所发回的数据量更是达到了惊人的程度。因此,天文学家目前已把他们的关注重点从计算能力转移到了对数据集的存取上——即如何对付汹涌而来的数据洪流。