科学研究大数据挑战

现代科学研究的一个重要模式就是大科学项目,其特点是大科学装置和合作,并产生海量的科研数据.数据密集型的大科学项目对数据的采集、存储、分发和处理有着巨大的需求.本文以大科学项目为案例讨论了科研大数据在数据采集、处理、存储以及网络等方面的挑战,以及相应的应对方法.其中,国际上的高能物理实验每年产生数十拍字节(PB)的数据,这些数据需要妥善地记录和保存下来,并高效地分发到世界各地进行分析处理.高能物理学家基于网格技术合作建立了大数据处理的WLCG网格平台,该平台成功地支持了大型强子对撞机实验数据的处理和分析,同时也支持了其他大科学项目,取得很好的效果.另外,为了解决对数据的高效存储和访问,新的存储技术和网络技术,如软件定义网络和云存储等,被开发应用到科学大数据中.最后还介绍了云计算技术在科研大数据中的应用.     

大数据时代:趋势和对策

正无论在科学研究和生产制造领域,还是在社会管理和国防安全领域,数据正在爆发增长,一个数据产生重大价值、数据驱动创新的时代已经来临。大数据将逐渐成为现代社会基础设施的一部分,许多领域都会因它而发生本质上的变化,政府、产业界和学术界必须做好迎接大数据趋势的准备。现代公民应具备数据意识,数据素养应成为每个公民的基本素养之一。当前,大数据的影响力正如日中天。有人认为,正在到来的大数据时代将会全方位地推动产业创新,改变社会管理的面貌,并且改善人民生活。值得注意的是,以往对一些所谓的大趋势,国际上经常是众说纷纭、意见不一,而最近几年,从各国政府、大型企业,到包括严谨的科学类杂志在内的各家媒体,对作为当今     

面向分子科学的数据智能

分子科学是化学的核心,也是生物、材料、药学等学科的基础.传统的分子科学研究通过实验或理论手段进行,研究成本高、周期长,难以处理高复杂度体系.随着大数据时代的到来,数据驱动的人工智能研究已成为继实验、理论和模拟之后的第4种科学研究范式.数据驱动的机器学习凭借其快速高效的数据处理能力,在分子科学领域展现出巨大的发展潜力.尤其是在分子性质预测、分子设计、化学反应预测及逆合成、量子化学计算、自动化合成等领域获得了广泛应用.本文首先介绍面向分子科学数据智能研究过程中的3个关键部分,即分子科学开放数据集、分子描述符和机器学习算法;然后,列举机器学习在不同分子科学研究方向中的重要应用案例;最后,分析讨论该研究领域可能存在的挑战及潜在发展方向.     

科学大数据与数字地球

大数据研究正发展为科技、经济、社会等各领域的关注焦点,诸多国家已将大数据研究上升至国家战略层面.本文从时空角度论述了大数据的缘起、内涵与发展势态,分析了科学大数据成为科学研究新途径的历程——科学范式开始从模型驱动向数据驱动发生转变.给出了科学大数据的定义及科学大数据计算的应对策略.进一步地论述了数字地球学科的基本理论框架和数字地球中的数据系统,指出了数字地球学科具有大数据的鲜明特点.最后以"胡焕庸线"形成机理的空间认知研究为例,具体阐述了数字地球学科中的大数据研究的理论和方法.     

政府数据开放,经济发展的新引擎

<正>本期"走近科学",我们采访了复旦大学的郑磊老师,他致力于公共政策尤其电子政务研究。随着大数据时代的来临,如大家所知,数据已经成为科学研究和技术创新的重要资源。正是在这一背景下,各方呼吁数据开放的声音越来越迫切和激烈。尤其是,对于沉积在政府部门的海量数据,一旦公开将     

戈登·摩尔对大数据科学家的慷慨

<正>戈登·摩尔(Gordon Moore,上图)有一个新的信念,他认为大数据终将造就大科学。戈登-贝蒂·摩尔基金会计划对15位科学家给予150万美元的津贴(每年20万美元至30万美元分期发放)。基金会对这15位科学家的期望是有能力对新算法、机器学习的方法,以及其他数据密集型科学技巧进行跨学科的开发和使用,能把巨大数据量变成惊人的科学发现。根据基金会的说法,这"可能是对那些推动数据驱动以及     

大数据的受、想、形、识

正大数据是数据科学的一个研究领域。要从受(数据采集)、想(数据分析)、形(数据重构)、识(数据挖掘、预测、利用)等四个方面来研究它,从而获得认识现实世界的大智慧。大数据这个新名词,近来总在不同的媒体出现。大数据的浪潮扑面而来,自然会伴随着大量的泡沫。究竟什么是大数据,不同人有着不同的理解与解读,但给人的感觉是总体形象还不十分清晰。如果说成数据科学,那就比较容易理解了,即关于埘象为数据的科学,而大数据应该是数据科学中的问题,是尚未解决的问题,是     

大数据时代下金融业的发展方向、趋势及其应对策略

首先简要回顾了大数据的定义、内涵及其主要特征;其次,通过研究发现,金融业是信息密集型服务产业,在数据特征和数据处理方面基本符合"大数据"概念和特征,正步入大数据时代的初级阶段;接下来,论述了在大数据时代未来的金融体系尤其是银行业将具有"开放、数字化、高生产力、科学决策"的显著特征与发展趋势,并指出在通往大数据时代之路上金融业面临来自文化、管理与技术方面的挑战;最后,给出了在大数据时代金融业发展的应对策略.研究结果将不仅对金融业务未来发展规划具有非常现实的指导意义;同时,也将为大数据时代下新金融理论的拓展奠定基础.     

大数据与云存储

正大数据究竟有多大?云存储是什么样的存储器?在新互联网时代,这些词汇让我们应接不暇。"大数据"作为时下最火热的IT(information technology)行业的词汇在互联网时代显得越来越重要。随之而来的数据仓库、数据安全、数据分析、数据挖掘等围绕大数据商业价值的利用逐渐成为行业人士争相追捧的利润焦点。     

大数据浪潮冲击下网络科学与工程面临的挑战与机遇

近年在大数据浪潮的冲击下,“网络科学与工程”与众多领域一样,面临着新的挑战和机遇。首先评述大数据及大数据科学的特点和概况;然后针对当今“网络科学与工程”的最新前沿课题--“网络的网络(NON)”,讨论若干典型的NON 及其主要特点和相关课题初步进展,并提供若干挑战性课题和难得的机遇。     

“大数据”畅想

新年伊始,各大科学媒体纷纷为读者呈献未来展望的新篇章。在本刊连续两期推介的一系列新科学图景中,除了宇宙暴涨新证据和ISON彗星掠日太空秀,以及多国科学家南极冰下湖探秘新生命值得期待以外,气候变化和医学健康的有关话题也将备受关注。而欧盟的FutureCT、英国的高能效计算和美国的数据解决方案使信息技术继续成为看点,还不断彰显出科学和未来研究的"大数据"色彩。"大数据"一词原本出自天文学和基因研究等科学领域,像斯隆数字巡天计划就获得了200万个天体的光谱数据,人类基因组计划测出了人类     

大数据时代的天文学研究

天文学已经进入数据密集型时代或者说大数据时代.面对海量天文数据在存储、计算、网络、软件、算法乃至工作模式等方面的需求和挑战,天文学家连同计算机和信息技术领域的专家正努力使基于科学数据的知识发现过程变得更加容易.虚拟天文台旨在实现科学数据的互操作,打造一个全球性的数据网格.天文信息学则从分支学科的高度来考虑天文学的长远发展.数据挖掘和知识发现在数据密集型时代大有可为,自身也必将获得长足发展.本文简要论述天文学研究在数据密集型时代所面临的挑战,介绍虚拟天文台理念和最新进展,探讨天文信息学发展的必要性和所包含的研究内容,阐明数据挖掘和知识发现的必要性和发展方向.     

大数据哈希学习:现状与趋势

随着信息技术的迅速发展,各行各业积累的数据都呈现出爆炸式增长趋势,我们已经进入大数据时代.大数据在很多领域都具有广阔的应用前景,已经成为国家重要的战略资源,对大数据的存储、管理和分析也已经成为学术界和工业界高度关注的热点.收集、存储、传输、处理大数据的目的是为了利用大数据,而要有效地利用大数据,机器学习技术必不可少.因此,大数据机器学习(简称大数据学习)是大数据研究的关键内容之一.哈希学习通过将数据表示成二进制码的形式,不仅能显著减少数据的存储和通信开销,还能降低数据维度,从而显著提高大数据学习系统的效率.因此,哈希学习近年来成为大数据学习中的一个研究热点.本文对这方面的工作进行介绍.     

生物大数据可视化的现状及挑战

在过去的10年中,以基因组学、医学遗传学和神经信息学等为代表的生命科学各研究领域,以前所未有的增长趋势,积累了海量的数据信息.这些数据类型复杂、数量庞大,其中蕴含的价值更是不可估量.通过传统的处理手段,难以理清海量原始数据中错综复杂的关联信息.而针对生物大数据的可视化研究,将有利于科研人员对复杂数据进行多角度观察并获取有效信息.生物数据量越大,复杂性越高,可视化在生物有效信息挖掘方面发挥的作用就越大.本文通过例举若干生物机构中心现存的数据规模和数据增长速率,说明生物研究领域已进入大数据时代,然后由生物数据的组成特征及可视化的特点引出生物大数据可视化的重要性和必要性.本文总结了生命科学研究领域中不同类型生物大数据的可视化研究进展,最后讨论了目前生物大数据可视化所面临的挑战,并提出可能的解决方案.     

面向脑电数据的知识建模和情感识别

心理科学研究依赖于对生理、心理数据的分析,情感是心理研究的重要内容.近年来随着认知神经科学研究技术的成熟,研究者利用脑电(electroencephalogram,EEG)等可以反映脑功能活动的生理信号,直接研究情感问题,如情感识别、情绪脑等.但是,生理信号将会产生TB级甚至PB级的数据量,认知研究和临床神经科学在过去几十年中已产生大量生理数据,对这些大数据的表示和情感知识挖掘需要更高级的工具.构建能够表示数据含义和情感相关知识的模型,能够给心理研究者提供一个知识共享平台,以便使用这些大数据进行情感方面的科学研究.本文构建一个可以表示EEG数据语义和被试者上下文信息的本体模型,并基于该模型使用推理引擎进行基于EEG生理信号数据的自动情感识别.实验结果表明,模型在e NTERFACE 2006数据集上能够以99.11%的平均准确率识别被试者的情感状态,并从实验结果分析发现基于EEG数据情感识别最关键的特征是Beta波与Theta波的绝对功率比.     

指数级增长的科学数据

面对每年科学数据量的成倍增长,亚历山大·斯扎莱(AlexanderSzalay)和吉姆·格雷(JimGray)分析了从纸质记录本演化为巨大的在线数据库的的基础上,提出了如何实行数据共享的标准问题——很久以来,科学家们就被训练成在实验室记录本中记录下实验数据和观察过程,以便用它们分析实验结果。其他人也可以依据这些记录重复他们所做的实验,伽利略、曼德尔、达尔文也都是如此。当记录下的数据量不大,即时可以对数据进行计算的时候,这种工作方式还是挺不错的。但是,在现代科学几乎所有的学科里,数据量每年都在成倍成倍地增长,而且对这些数据的分析过…     

人工智能——科学家的学徒

<正>在神经网络中,每个概念性的实例都可以产生一个节点。为了对输入数据做出反应,模拟神经元之间的连接会发生变化,而神经网络则会随着变化的发生"进行学习"大数据已经找到了与之相适应的数据处理方式。各个学科领域收集数据的能力都呈现出爆炸式增长——生物学领域的基因组和蛋白质数据库发展迅猛、天文学领域的巡天测量产生了PB级数据、社会科学领域每天数以百万计的帖子和微博充斥着互联网……数据的洪流可以淹没人类的分析和认知,但是计算机的发展既帮助实现了大数据,也带来了分析这些大数据所需要的强有力的新工具。     

大数据驱动的互联网时代

<正>2014年9月的最后一周,阿里巴巴在纽约证券交易所(NYSE:BABA)正式上市,这是历史最大规模的首次公开募股(IPO),更标志着互联网进入了一个新的时代,一个属于中国本土互联网企业的大数据时代。大数据的前世今生大数据或称海量数据,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理,并整理成为人类所能解读的信息。在总数据量相同的情况下,与个别分析     

大数据安全与自主可控

继互联网、物联网、云计算之后,大数据已成为当今信息技术领域的发展热点.大数据在带来"大"价值的同时,也存在"大"安全问题.大数据的基本特征对计算设施、存储、网络、信息资源等提出了更高的安全要求,传统的信息安全手段和管理机制已经跟不上大数据时代的信息安全形势发展.本文在研究大数据安全新特点的基础上,分析了我国大数据发展面临的信息基础设施自主可控程度低、安全防护技术和手段不足等问题;阐述了自主可控对大数据安全的重要性和意义,明确了解决大数据安全的根本之道在于实现我国主要信息产品、设备和技术的自主设计制造,并总结了我国在大数据安全领域自主可控产品的发展现状.大数据安全事关国家安全,本文最后从加强大数据战略规划和安全体系建设、构建中国特色自主可控的发展路线、强化大数据技术在信息安全领域的创新应用等3个方面,探讨提出了解决我国大数据安全的策略和办法,以确保我国大数据时代的信息安全逐步朝着体系化、规范化和技术自主可控的方向发展.     

全球海洋预报与科学大数据

全球海洋预报是当前国内外海洋预报领域的前沿方向之一,与实施海洋强国战略、维护国家海洋权益,以及开发深远海资源等各类海洋活动日益走向深海大洋的迫切需求有着密切的关系.全球海洋预报的突出特点是使用并生成海量的数据,充分体现了大数据的基本特征.本文从论述大数据的起源、概念和本质开始,介绍了全球海洋预报的基本理论,进一步结合数据同化、模式数据和产品分发等3个方面具体阐述了全球海洋预报中使用的观测数据和生成的模式数据等大数据.最后展望了全球海洋预报以及海洋大数据未来发展中面临的挑战和亟需解决的关键科学问题.