大数据时代警察如何破案

据英国《卫报》和美国《华盛顿邮报》报道,美国安全局和联邦调查局于2007年启动了一个代号为棱镜(PRISM)的秘密监控项目,直接进入网络公司的中心服务器里挖掘数据、收集情报.这个秘密项目由美国安全局前雇员爱德华·斯诺登向媒体透露,引起了国际社会的高度关注.现在人们关注的焦点,除了斯诺登最终的去向和命运外,还有棱镜门涉及的核心技术——数据挖掘.目前,在大数据基础上建立起来的数据挖掘技术不仅用于维护国家安全,也被司法机关用于刑事侦破.     

大数据 小隐私——谈大数据时代的个人隐私如何保护

正如今,网络已成为一种生活方式,每个人都期待获得个性化的服务和体验,社交网络、电子商务和物联网的快速发展带来了数据的大爆发。在浏览网页、进行网络社交的过程中,庞杂的网络数据中包含大量的私人信息,同时网络的开放性、便捷性等特点,使个人隐私保护更加困难,稍不留神就会造成个人隐私的外泄。可是大数据时代来了,我们的法律却还没有准备好,由此带来的征信方式剧变以及个人信息保护等问题,在     

挖掘大数据

数据是无处不在的,只要人类的活动依旧,且观测行为始终存在,那么数据就会不断产生.一旦数据被记录下来,它就会成为历史的一个投影,被保存在各种各样的信息媒介中.不过在互联网时代,数据早已挣脱了简单的数字束缚,它不仅可以是符号、文字、语音,更可以是图像或视频.     

大数据时代的数据素养教育

正数据素养是大数据时代对科研人员所提出的要求。国外各大学已在广泛开展数据素养教育。在中国,如何提高下一代科学家的数据素养,使他们具备在大数据时代开展科学活动的能力,是一项紧迫的重要任务。随着信息技术和网络技术的迅速发展,科学研究数据呈现爆炸性增长的态势。利用各种各样的研究工具和实验设备,通过模拟、仿真、计算和观察,在科学研究过程中不断产生和创造出大量"原生态数字信息",形成特定科学领域的数据集和数据场。如美国大规模科学项目"泛星计划"(全景式巡天望远镜和快速反应系统),每年在运行中可捕获2.5PB(1PB=10~(15)字节)的数据;国际上高能物理学研究领域的LHC(大型强子对撞机)每年能产生50～100PB的数据;小规模研究     

饥饿感是如何产生的?

人的饥饿感是如何产生的?这个问题生理学家已经研究了一个多世纪。有人会说,饥饿不就是因为缺少食物吗?可是,我们要了解的是,在我们感到饥肠辘辘时,我们的机体内究竟发生了些什么变化?     

改变临床实践的大数据

正如今,对人类基因组三十亿个DNA碱基对测序的花费,可能比做一次脑部扫描费用还少,然而人们是如何将所有这些基因组数据转化为医疗手段呢?比如,生命科学家们通过对基因组测序、实验室成果,以及病人的病史的研究,汇集了海量信息,由此应运而生的"精准医学",已经能够根据个人需求提供具体的治疗方案。尽管如此,利用"大数据"的种种努力也面临着巨大的挑战,这些挑战包括:     

IBM大数据副总裁:利用大数据提升客户体验

<正>Inhi Cho Suh,IBM公司大数据副总裁。她于1998年加入IBM公司,曾担任公司多个专注于战略性增长、开发和市场营销的领导和管理职位。她拥有杜克大学的理学学士学位和北卡罗来纳中央大学法学院法学博士学位。目前与丈夫和儿子居住在康涅狄格州的里奇菲尔德。     

科学研究大数据挑战

现代科学研究的一个重要模式就是大科学项目,其特点是大科学装置和合作,并产生海量的科研数据.数据密集型的大科学项目对数据的采集、存储、分发和处理有着巨大的需求.本文以大科学项目为案例讨论了科研大数据在数据采集、处理、存储以及网络等方面的挑战,以及相应的应对方法.其中,国际上的高能物理实验每年产生数十拍字节(PB)的数据,这些数据需要妥善地记录和保存下来,并高效地分发到世界各地进行分析处理.高能物理学家基于网格技术合作建立了大数据处理的WLCG网格平台,该平台成功地支持了大型强子对撞机实验数据的处理和分析,同时也支持了其他大科学项目,取得很好的效果.另外,为了解决对数据的高效存储和访问,新的存储技术和网络技术,如软件定义网络和云存储等,被开发应用到科学大数据中.最后还介绍了云计算技术在科研大数据中的应用.     

大数据并行计算框架

大数据是当前IT信息技术研究和应用的热点,但目前的研究多集中在系统和应用层面,而理论基础研究方面相对较少.本文以计算复杂性理论为基础,针对大数据量大、快速和多样性等挑战,着重研究大数据的可计算性及其计算原理.首先将多种类型的大数据抽象到度量空间进行统一化表示以解决多样性问题,其次在度量空间中基于距离对大数据进行划分,最后运用NC类计算理论等并行计算理论和方法对大数据问题进行并行求解,以解决量大和快速等问题.本文从更广的视角,根据大数据的特性和大数据整个生命周期,提出处理大数据的策略和技术以及需要变革思维方法研究大数据.     

了解大数据,具备起码的数据素养

当本期刊物出版之时,大数据在商界(特别是电子商务)和技术圈内(不仅是信息技术人士)肯定已经不再是一个新鲜话题.人们现在乐观地预计,就像计算机改变20世纪那样,大数据将能改变21世纪,虽然大数据的现实和潜在影响可能极为广泛,然而目前专业人士最关注的是大数据可能带来的巨大商业价值,我看到证券公司发的报告居然成为国内大数据研究的先驱(虽然对其质量无法恭维).而本刊这次组织的一组文章,涉及美国政府和地区的大数据计划、在科研领域的新发展,还包括大数据对你我日常生活可能产生的影响,从那些议题看,这组文章来得还不算太迟.     

大数据时代的天文学研究

天文学已经进入数据密集型时代或者说大数据时代.面对海量天文数据在存储、计算、网络、软件、算法乃至工作模式等方面的需求和挑战,天文学家连同计算机和信息技术领域的专家正努力使基于科学数据的知识发现过程变得更加容易.虚拟天文台旨在实现科学数据的互操作,打造一个全球性的数据网格.天文信息学则从分支学科的高度来考虑天文学的长远发展.数据挖掘和知识发现在数据密集型时代大有可为,自身也必将获得长足发展.本文简要论述天文学研究在数据密集型时代所面临的挑战,介绍虚拟天文台理念和最新进展,探讨天文信息学发展的必要性和所包含的研究内容,阐明数据挖掘和知识发现的必要性和发展方向.     

大数据的财富与陷阱

百度能知道我们在关注什么,淘宝能洞察我们喜欢什么,这是喜还是忧？大数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。2013年10月28日,三名新疆籍恐怖分子驾吉普车冲撞天安门,恐怖分子当场全部烧死,可是警方仅用了10多个小时就全部抓住了5名同伙。警方如何快速锁定嫌疑犯,这是国家秘密,     

大数据驱动的互联网时代

<正>2014年9月的最后一周,阿里巴巴在纽约证券交易所(NYSE:BABA)正式上市,这是历史最大规模的首次公开募股(IPO),更标志着互联网进入了一个新的时代,一个属于中国本土互联网企业的大数据时代。大数据的前世今生大数据或称海量数据,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理,并整理成为人类所能解读的信息。在总数据量相同的情况下,与个别分析     

大数据与云存储

正大数据究竟有多大?云存储是什么样的存储器?在新互联网时代,这些词汇让我们应接不暇。"大数据"作为时下最火热的IT(information technology)行业的词汇在互联网时代显得越来越重要。随之而来的数据仓库、数据安全、数据分析、数据挖掘等围绕大数据商业价值的利用逐渐成为行业人士争相追捧的利润焦点。     

大数据与癌症研究

正抗癌之战中的大数据开发利用还处于初始阶段,但这一前沿阵地正在不断向前推进。癌细胞突变分类基因组图谱目录包含有大约250万字节数据,这一由美国国立卫生研究院(NIH)开展的一个庞大的研究项目,极大地提高了我们对各种形式癌症的理解。但对于提供样本患者的临床治疗经验,我们了解的还相对太少。在癌症治疗链的另一端,电子健康档案中包含有丰富的个案信息,如充分加以利用,可极大地提     

“大数据”畅想

新年伊始,各大科学媒体纷纷为读者呈献未来展望的新篇章。在本刊连续两期推介的一系列新科学图景中,除了宇宙暴涨新证据和ISON彗星掠日太空秀,以及多国科学家南极冰下湖探秘新生命值得期待以外,气候变化和医学健康的有关话题也将备受关注。而欧盟的FutureCT、英国的高能效计算和美国的数据解决方案使信息技术继续成为看点,还不断彰显出科学和未来研究的"大数据"色彩。"大数据"一词原本出自天文学和基因研究等科学领域,像斯隆数字巡天计划就获得了200万个天体的光谱数据,人类基因组计划测出了人类     

科学大数据与数字地球

大数据研究正发展为科技、经济、社会等各领域的关注焦点,诸多国家已将大数据研究上升至国家战略层面.本文从时空角度论述了大数据的缘起、内涵与发展势态,分析了科学大数据成为科学研究新途径的历程——科学范式开始从模型驱动向数据驱动发生转变.给出了科学大数据的定义及科学大数据计算的应对策略.进一步地论述了数字地球学科的基本理论框架和数字地球中的数据系统,指出了数字地球学科具有大数据的鲜明特点.最后以"胡焕庸线"形成机理的空间认知研究为例,具体阐述了数字地球学科中的大数据研究的理论和方法.     

大数据与量子计算

大数据技术的迅猛发展对计算效率提出了更高的要求.由于量子系统的独特性质,量子计算具有经典计算不具有的量子超并行计算能力,能够对某些重要的经典算法进行加速.人们发现,除了大数分解算法,量子计算的更多用途是对量子体系的仿真计算和在数据分析领域的应用.近年来,大数据和量子计算开始融合.虽然实际使用的量子计算机尚未建成,量子计算在大数据的应用在理论上已经取得了一些重要的进展.实验上也有了一些发展.本文首先介绍量子计算的基本原理和Grover量子算法.随后以量子机器学习作为切入点,介绍了量子计算在数据挖掘领域的应用.     

大数据与化学数据挖掘

数据是重要的战略资源,大数据挖掘技术已成为学术界、企业界甚至各国政府关注的热点.本文介绍了大数据的基本概念及发展现状,综述了与化学研究有关的大数据研究状况,讨论了大数据在基础理论与关键技术2个层面上的主要问题以及大数据挖掘技术在化学各领域中的应用,并对大数据发展的未来及其在化学学科中的应用前景进行了展望.     

能否由生物学数据产生完整的生命图像?

生物学中有大量的描述性数据——而且这些数据正与时俱增。大规模研究样品的方法如DNA排序、显微阵列和自动化基因功能研究，正在不断地充实着新的数据库。许多生物学分支学科，从生物力学到生态学已走向数字化，其结果是观察更精确、更丰富。