大数据与云存储

正大数据究竟有多大?云存储是什么样的存储器?在新互联网时代,这些词汇让我们应接不暇。"大数据"作为时下最火热的IT(information technology)行业的词汇在互联网时代显得越来越重要。随之而来的数据仓库、数据安全、数据分析、数据挖掘等围绕大数据商业价值的利用逐渐成为行业人士争相追捧的利润焦点。     

生物大数据可视化的现状及挑战

在过去的10年中,以基因组学、医学遗传学和神经信息学等为代表的生命科学各研究领域,以前所未有的增长趋势,积累了海量的数据信息.这些数据类型复杂、数量庞大,其中蕴含的价值更是不可估量.通过传统的处理手段,难以理清海量原始数据中错综复杂的关联信息.而针对生物大数据的可视化研究,将有利于科研人员对复杂数据进行多角度观察并获取有效信息.生物数据量越大,复杂性越高,可视化在生物有效信息挖掘方面发挥的作用就越大.本文通过例举若干生物机构中心现存的数据规模和数据增长速率,说明生物研究领域已进入大数据时代,然后由生物数据的组成特征及可视化的特点引出生物大数据可视化的重要性和必要性.本文总结了生命科学研究领域中不同类型生物大数据的可视化研究进展,最后讨论了目前生物大数据可视化所面临的挑战,并提出可能的解决方案.     

移动大数据时代:无线网络的挑战与机遇

随着移动互联网、云计算、物联网、机器类型通信等新兴信息通信技术的飞速发展,信息社会进入了网络化的大数据时代.快速普及的智能化移动终端应用助推了全球移动数据流量的大幅度增长.在移动大数据时代,海量数据、业务类型演进、数据多样化、数据空-时域分布不均匀等特征给无线网络带来了严峻的挑战.为了应对挑战,一方面,无线网络从新频谱拓展、传输技术、智能立体化组网等多维度进行演进以满足大数据传输与应用的需求;另一方面,移动大数据作为一种新的生产要素改变着人们认知网络的方法,无线网络可以充分借鉴互联网数据挖掘的理论与方法,实现网络的灵活部署、无线资源的优化配置和低能耗绿色通信.     

大数据时代的数据素养教育

正数据素养是大数据时代对科研人员所提出的要求。国外各大学已在广泛开展数据素养教育。在中国,如何提高下一代科学家的数据素养,使他们具备在大数据时代开展科学活动的能力,是一项紧迫的重要任务。随着信息技术和网络技术的迅速发展,科学研究数据呈现爆炸性增长的态势。利用各种各样的研究工具和实验设备,通过模拟、仿真、计算和观察,在科学研究过程中不断产生和创造出大量"原生态数字信息",形成特定科学领域的数据集和数据场。如美国大规模科学项目"泛星计划"(全景式巡天望远镜和快速反应系统),每年在运行中可捕获2.5PB(1PB=10~(15)字节)的数据;国际上高能物理学研究领域的LHC(大型强子对撞机)每年能产生50～100PB的数据;小规模研究     

大数据时代下金融业的发展方向、趋势及其应对策略

首先简要回顾了大数据的定义、内涵及其主要特征;其次,通过研究发现,金融业是信息密集型服务产业,在数据特征和数据处理方面基本符合"大数据"概念和特征,正步入大数据时代的初级阶段;接下来,论述了在大数据时代未来的金融体系尤其是银行业将具有"开放、数字化、高生产力、科学决策"的显著特征与发展趋势,并指出在通往大数据时代之路上金融业面临来自文化、管理与技术方面的挑战;最后,给出了在大数据时代金融业发展的应对策略.研究结果将不仅对金融业务未来发展规划具有非常现实的指导意义;同时,也将为大数据时代下新金融理论的拓展奠定基础.     

戈登·摩尔对大数据科学家的慷慨

<正>戈登·摩尔(Gordon Moore,上图)有一个新的信念,他认为大数据终将造就大科学。戈登-贝蒂·摩尔基金会计划对15位科学家给予150万美元的津贴(每年20万美元至30万美元分期发放)。基金会对这15位科学家的期望是有能力对新算法、机器学习的方法,以及其他数据密集型科学技巧进行跨学科的开发和使用,能把巨大数据量变成惊人的科学发现。根据基金会的说法,这"可能是对那些推动数据驱动以及     

指数级增长的科学数据

面对每年科学数据量的成倍增长,亚历山大·斯扎莱(AlexanderSzalay)和吉姆·格雷(JimGray)分析了从纸质记录本演化为巨大的在线数据库的的基础上,提出了如何实行数据共享的标准问题——很久以来,科学家们就被训练成在实验室记录本中记录下实验数据和观察过程,以便用它们分析实验结果。其他人也可以依据这些记录重复他们所做的实验,伽利略、曼德尔、达尔文也都是如此。当记录下的数据量不大,即时可以对数据进行计算的时候,这种工作方式还是挺不错的。但是,在现代科学几乎所有的学科里,数据量每年都在成倍成倍地增长,而且对这些数据的分析过…     

大数据时代,福尔摩斯的破案神器

<正>"在洛杉矶,警方通过数据分析,预测未来12小时内哪个地区最有可能发生犯罪;在伦敦金融城,一位交易员认为,数学计算可以成为发财‘秘笈’……这些迥然不同的领域如今被一种事物统一起来:数据量的大爆炸。"这是英国BBC品牌栏目《地平线》2013年4月发布的纪录片《大数据时代》的开篇一幕……     

大数据时代:趋势和对策

正无论在科学研究和生产制造领域,还是在社会管理和国防安全领域,数据正在爆发增长,一个数据产生重大价值、数据驱动创新的时代已经来临。大数据将逐渐成为现代社会基础设施的一部分,许多领域都会因它而发生本质上的变化,政府、产业界和学术界必须做好迎接大数据趋势的准备。现代公民应具备数据意识,数据素养应成为每个公民的基本素养之一。当前,大数据的影响力正如日中天。有人认为,正在到来的大数据时代将会全方位地推动产业创新,改变社会管理的面貌,并且改善人民生活。值得注意的是,以往对一些所谓的大趋势,国际上经常是众说纷纭、意见不一,而最近几年,从各国政府、大型企业,到包括严谨的科学类杂志在内的各家媒体,对作为当今     

面向互联网金融行业的大数据资源服务平台

在大数据时代,数据已经渗透至各个行业,并且呈现出数量大、动态性、类型复杂等显著特征,尤其是互联网金融等为代表的典型行业.本文简要阐述了大数据的研究现状与重大意义,探讨了大型数据资源服务平台架构及其3个主要组成部分:数据资源识别和获取、数据资源存储和分析、服务支撑平台,并介绍了项目组在面向可信网络金融交易的大型数据分析研究与应用方面所开展的工作.具体来讲,围绕软件行为认证等关键技术,研究并开发了以行为认证为核心的可信网络金融交易系统,支持在线交易过程中产生的用户行为数据与软件行为数据的实时监控和动态展示.     

大数据哈希学习:现状与趋势

随着信息技术的迅速发展,各行各业积累的数据都呈现出爆炸式增长趋势,我们已经进入大数据时代.大数据在很多领域都具有广阔的应用前景,已经成为国家重要的战略资源,对大数据的存储、管理和分析也已经成为学术界和工业界高度关注的热点.收集、存储、传输、处理大数据的目的是为了利用大数据,而要有效地利用大数据,机器学习技术必不可少.因此,大数据机器学习(简称大数据学习)是大数据研究的关键内容之一.哈希学习通过将数据表示成二进制码的形式,不仅能显著减少数据的存储和通信开销,还能降低数据维度,从而显著提高大数据学习系统的效率.因此,哈希学习近年来成为大数据学习中的一个研究热点.本文对这方面的工作进行介绍.     

基于互联网平台的大数据收集在社会认知研究中的应用

基于互联网的大数据收集是社会认知领域的新兴研究手段.本文主要介绍了基于以MTurk,Micro Turk等为代表的、具有交易功能的大型行为数据网络收集平台进行的社会认知领域的研究,从网络平台大数据采样的数据质量和大数据对社会认知领域新方向的启发两方面进行阐述,总结了网络大数据在样本范围和数量、分析方法和实验情境上相比传统实验室数据采集的优势和不足.虽然互联网平台的大数据收集还有无法完全控制被试完成任务、存在难以通过大量样本平衡的变量等一系列问题,但这一研究方式的社会性生态效度佳,且在纵向研究和社会行为的网络化分析等方面表现出独有优势,在社会认知领域的研究中具有广阔的应用前景.     

不一样的淘宝首页

<正>自2013年起,中国大数据产业日趋活跃,至今已呈现出百花齐放、异彩纷呈的发展态势。在互联网业内,以阿里巴巴、腾讯、百度为代表的行业领头羊,不断将积累的社交数据、搜索数据、电商数据转化为大数据时代珍贵的原生素材。在零售电商领域,由于互联网、智能设备、大数据的快速发展,正发生着颠覆性的创新与变化。特别是大数据技术,在目前的电子商务     

大数据并行计算框架

大数据是当前IT信息技术研究和应用的热点,但目前的研究多集中在系统和应用层面,而理论基础研究方面相对较少.本文以计算复杂性理论为基础,针对大数据量大、快速和多样性等挑战,着重研究大数据的可计算性及其计算原理.首先将多种类型的大数据抽象到度量空间进行统一化表示以解决多样性问题,其次在度量空间中基于距离对大数据进行划分,最后运用NC类计算理论等并行计算理论和方法对大数据问题进行并行求解,以解决量大和快速等问题.本文从更广的视角,根据大数据的特性和大数据整个生命周期,提出处理大数据的策略和技术以及需要变革思维方法研究大数据.     

政府数据开放,经济发展的新引擎

<正>本期"走近科学",我们采访了复旦大学的郑磊老师,他致力于公共政策尤其电子政务研究。随着大数据时代的来临,如大家所知,数据已经成为科学研究和技术创新的重要资源。正是在这一背景下,各方呼吁数据开放的声音越来越迫切和激烈。尤其是,对于沉积在政府部门的海量数据,一旦公开将     

用并行计算构建一个虚拟太空

科学家目前正以空前的速度对我们所见的宇宙进行数字化处理——正在实施中的Sloan数字化太空测量项目,其使命是对整个天穹的四分之一进行图像处理,对其中一亿多颗天体确定其位置和绝对亮度。这一项工程最终将汇集十几太(即兆兆)字节具有不同格式、不同波长的结果数据,构成丰富多彩的天文学数据源之一。 通常,这些不同来源的数据相互间仍缺少联系,而已为大家广为接受的共识是:只有对这些数据进行认真的开发,才能发掘出隐藏于数据之中的真正潜力。随着观测手段的提高,数据集的规模不断突破,特别是由大型设备如ESO超大型望远镜所发回的数据量更是达到了惊人的程度。因此,天文学家目前已把他们的关注重点从计算能力转移到了对数据集的存取上——即如何对付汹涌而来的数据洪流。     

基于正交基光谱的大数据新型快速比对算法的构建

基于光谱分析快速、简便的优点,利用光谱标准谱库与未知样品光谱图进行比对,是未知样品定性分析的重要手段.随着"大数据时代"的来临,互联网的发展使得全球各存储端的光谱数据库都可以调用,数据量显著增加,这给需要进行逐一比对的传统方法的分析速度带来了巨大压力.本文就此问题进行探讨,提出一种基于正交基光谱的新型比对算法,用于大数据背景下的光谱快速比对.该方法基于不同结构化合物具有典型特征光谱这一基本化学规律,通过提取各类化合物有代表性的特征光谱信息构建正交基光谱,称为基谱,利用基谱与未知样品谱图进行比对,参照提出的判断原则综合比较以得到正确的比对结果.构建的基谱具有明确的化学意义,表征了其对应光谱的特征光谱信息.同时,由于基谱具有正交性,原始光谱的特征不能在其对应的基谱中完全体现出来,但可以利用基谱进行构建,不丢失有用信息.以标准拉曼光谱数据库Aldrich Raman库为例进行方法验证,完成了5种烃类化合物的比对,正判率为93.94%.本方法可以进一步应用于其他结构(如不同取代基数目)化合物的细分比对,并有望推广到其他光谱数据库.     

对地观测大数据处理:挑战与思考

通过航天航空飞行器搭载的传感器对地球进行观测可以获得地球全面而系统的信息.随着空间信息技术的高速发展,对地观测领域步入了大数据时代.在分析对地观测数据处理与服务的全流程及其算法的基础上,总结出"大数据时代"对地观测数据处理面临的挑战——"数据密集型计算"问题,并指出解决这一问题应该在系统平台、处理算法和服务模式3个方面开展创新性的研究工作.     

面向大社交数据的深度分析与挖掘

社交网络在线化是大数据时代的典型特点,也是大数据产生的重要原因之一.本文从大数据的特点着手,结合互联网络尤其是在线社交网络的发展趋势,介绍大数据在提升国家信息产业科学化水平、引领新型互联网经济发展、推动社会学与信息科学交叉发展等方面带来的重大机遇;分析在线社会网络中存在的关键问题,阐述网络大数据研究在语义理解与分析、多模态关联与融合、群体行为分析与挖掘、多维分析与可视化、系统的研发与集成等方面面临的巨大技术挑战,以及当前国内外在大数据分析和在线社交网络领域的主要研究工作;总结和展望网络大数据研究的未来方向和前景.     

大数据时代的药物设计与药物信息

大数据时代,以数据驱动的药物研发(data-driven drug research and development)方式有望显著提高药物研发成功率、缩短药物研发周期以及降低药物研发成本.本文简短综述了近年来药物设计和药物信息相关数据整合和数据挖掘的最新研究概况,并对大数据时代的药物设计与药物信息研究提出了展望.