大数据哈希学习:现状与趋势

随着信息技术的迅速发展,各行各业积累的数据都呈现出爆炸式增长趋势,我们已经进入大数据时代.大数据在很多领域都具有广阔的应用前景,已经成为国家重要的战略资源,对大数据的存储、管理和分析也已经成为学术界和工业界高度关注的热点.收集、存储、传输、处理大数据的目的是为了利用大数据,而要有效地利用大数据,机器学习技术必不可少.因此,大数据机器学习(简称大数据学习)是大数据研究的关键内容之一.哈希学习通过将数据表示成二进制码的形式,不仅能显著减少数据的存储和通信开销,还能降低数据维度,从而显著提高大数据学习系统的效率.因此,哈希学习近年来成为大数据学习中的一个研究热点.本文对这方面的工作进行介绍.     

致力于隐私保护的数据应用管控

随着政府及商业机构大规模数据采集行为的泛滥,传统的隐私保护措施正面临着巨大的挑战。旧有的隐私保护方法有两条核心原则:(1)知情原则,不允许存在秘密的数据收集系统;(2)许可原则,未经用户同意不得将以原始目的收集而来的数据转作它用。但当数据信息的碎片化程度日甚,作为上个时代隐私保护的基本规范而存在的知情原则已经在越来越多的场景中显得捉襟见肘;同时,鉴于决策量与决策复杂性的直线飙升,授权原则也不再具有实际应用场景中的可操作性。因此,通过控制数据使用来实现隐私保护的努力开始得到越来越多的关注。在下文中我将讨论与此相关的技术、政策及法律问题,并将对一些能够澄道明理的实例进行剖解。我们正处在一个数据爆炸的时代。政府与私人机构肆无忌惮的数据采集,相关性计算的日渐易用(并不存在于原始数据中的用户信息也会被追溯挖掘出来),各式各样的原因使得传统的隐私保护措施逐渐失效。数据使用权限的控制策略非常复杂,但将技术、政策和法律相结合的协作方式无疑是现阶段对抗政府与商业机构数据入侵的最佳手段。数据保护的规范原则已经存在了40年之久。为了应对1960年代计算机数据系统的兴起,经济合作与发展组织(OECD,the Organization of Economic Cooperation and Development)在美国卫生教育与福利部(the U.S.Department of Health,Education,and Welfare)一份原始报告的基础上,修订出台了FIPs。覆盖面更广的OECD隐私保护原则多年来一直是许多国家及国际隐私保护条例所参照施行的通用惯例基础。     

科学大数据与数字地球

大数据研究正发展为科技、经济、社会等各领域的关注焦点,诸多国家已将大数据研究上升至国家战略层面.本文从时空角度论述了大数据的缘起、内涵与发展势态,分析了科学大数据成为科学研究新途径的历程——科学范式开始从模型驱动向数据驱动发生转变.给出了科学大数据的定义及科学大数据计算的应对策略.进一步地论述了数字地球学科的基本理论框架和数字地球中的数据系统,指出了数字地球学科具有大数据的鲜明特点.最后以"胡焕庸线"形成机理的空间认知研究为例,具体阐述了数字地球学科中的大数据研究的理论和方法.     

大数据与化学数据挖掘

数据是重要的战略资源,大数据挖掘技术已成为学术界、企业界甚至各国政府关注的热点.本文介绍了大数据的基本概念及发展现状,综述了与化学研究有关的大数据研究状况,讨论了大数据在基础理论与关键技术2个层面上的主要问题以及大数据挖掘技术在化学各领域中的应用,并对大数据发展的未来及其在化学学科中的应用前景进行了展望.     

近红外光谱分析方法研究:从传统数据到大数据

近红外光谱分析技术作为一种绿色分析技术,在许多领域中已得到广泛应用.随着应用的深入和拓展,近红外光谱的数据类型逐渐从传统数据变成近红外光谱大数据.本文总结了近红外光谱的预处理、奇异样本筛选、多元校正和模型转移等技术及其在相关领域的应用.对近红外光谱大数据分析技术的初步研究,包括近红外光谱在工业品在线检测、不同批次产品鉴别中的应用以及近红外光谱物联网系统等也进行了综述.此外,对于近红外光谱大数据未来的发展及近红外光谱大数据云平台的基本功能、软硬件的设计与开发、建设过程中需要解决的问题等进行了详细阐述.     

大数据对肿瘤登记发展的影响

对肿瘤登记和大数据的发展、大数据对肿瘤登记的作用和影响进行了系统回顾,大数据和肿瘤登记近年发展快速,大数据的发展促进了肿瘤登记的发展,而肿瘤登记发展又推动了大数据的进步.在大数据的影响下,肿瘤登记将向以下几个方向发展:(ⅰ)肿瘤登记自动化;(ⅱ)及时收集、整合和更新不同来源的肿瘤数据,提高肿瘤资料的质量、可用性和易用性,推动肿瘤资料的开放和共享,扩展肿瘤资料的应用;(ⅲ)各级医疗卫生信息中心的出现将彻底改变肿瘤登记模式;(ⅳ)采用大数据的技术和方法建立各级肿瘤数据中心;(ⅴ)医院肿瘤登记逐步开展,人群肿瘤登记覆盖率大幅提高,部分省将全民开展肿瘤登记.肿瘤登记自动化的理念和技术,迎合了大数据和肿瘤登记发展的趋势,并可借鉴应用到其他疾病的监测和研究.     

大数据与量子计算

大数据技术的迅猛发展对计算效率提出了更高的要求.由于量子系统的独特性质,量子计算具有经典计算不具有的量子超并行计算能力,能够对某些重要的经典算法进行加速.人们发现,除了大数分解算法,量子计算的更多用途是对量子体系的仿真计算和在数据分析领域的应用.近年来,大数据和量子计算开始融合.虽然实际使用的量子计算机尚未建成,量子计算在大数据的应用在理论上已经取得了一些重要的进展.实验上也有了一些发展.本文首先介绍量子计算的基本原理和Grover量子算法.随后以量子机器学习作为切入点,介绍了量子计算在数据挖掘领域的应用.     

面向互联网金融行业的大数据资源服务平台

在大数据时代,数据已经渗透至各个行业,并且呈现出数量大、动态性、类型复杂等显著特征,尤其是互联网金融等为代表的典型行业.本文简要阐述了大数据的研究现状与重大意义,探讨了大型数据资源服务平台架构及其3个主要组成部分:数据资源识别和获取、数据资源存储和分析、服务支撑平台,并介绍了项目组在面向可信网络金融交易的大型数据分析研究与应用方面所开展的工作.具体来讲,围绕软件行为认证等关键技术,研究并开发了以行为认证为核心的可信网络金融交易系统,支持在线交易过程中产生的用户行为数据与软件行为数据的实时监控和动态展示.     

对地观测大数据处理:挑战与思考

通过航天航空飞行器搭载的传感器对地球进行观测可以获得地球全面而系统的信息.随着空间信息技术的高速发展,对地观测领域步入了大数据时代.在分析对地观测数据处理与服务的全流程及其算法的基础上,总结出"大数据时代"对地观测数据处理面临的挑战——"数据密集型计算"问题,并指出解决这一问题应该在系统平台、处理算法和服务模式3个方面开展创新性的研究工作.     

全球海洋预报与科学大数据

全球海洋预报是当前国内外海洋预报领域的前沿方向之一,与实施海洋强国战略、维护国家海洋权益,以及开发深远海资源等各类海洋活动日益走向深海大洋的迫切需求有着密切的关系.全球海洋预报的突出特点是使用并生成海量的数据,充分体现了大数据的基本特征.本文从论述大数据的起源、概念和本质开始,介绍了全球海洋预报的基本理论,进一步结合数据同化、模式数据和产品分发等3个方面具体阐述了全球海洋预报中使用的观测数据和生成的模式数据等大数据.最后展望了全球海洋预报以及海洋大数据未来发展中面临的挑战和亟需解决的关键科学问题.     

大数据时代下金融业的发展方向、趋势及其应对策略

首先简要回顾了大数据的定义、内涵及其主要特征;其次,通过研究发现,金融业是信息密集型服务产业,在数据特征和数据处理方面基本符合"大数据"概念和特征,正步入大数据时代的初级阶段;接下来,论述了在大数据时代未来的金融体系尤其是银行业将具有"开放、数字化、高生产力、科学决策"的显著特征与发展趋势,并指出在通往大数据时代之路上金融业面临来自文化、管理与技术方面的挑战;最后,给出了在大数据时代金融业发展的应对策略.研究结果将不仅对金融业务未来发展规划具有非常现实的指导意义;同时,也将为大数据时代下新金融理论的拓展奠定基础.     

科学研究大数据挑战

现代科学研究的一个重要模式就是大科学项目,其特点是大科学装置和合作,并产生海量的科研数据.数据密集型的大科学项目对数据的采集、存储、分发和处理有着巨大的需求.本文以大科学项目为案例讨论了科研大数据在数据采集、处理、存储以及网络等方面的挑战,以及相应的应对方法.其中,国际上的高能物理实验每年产生数十拍字节(PB)的数据,这些数据需要妥善地记录和保存下来,并高效地分发到世界各地进行分析处理.高能物理学家基于网格技术合作建立了大数据处理的WLCG网格平台,该平台成功地支持了大型强子对撞机实验数据的处理和分析,同时也支持了其他大科学项目,取得很好的效果.另外,为了解决对数据的高效存储和访问,新的存储技术和网络技术,如软件定义网络和云存储等,被开发应用到科学大数据中.最后还介绍了云计算技术在科研大数据中的应用.     

生物大数据可视化的现状及挑战

在过去的10年中,以基因组学、医学遗传学和神经信息学等为代表的生命科学各研究领域,以前所未有的增长趋势,积累了海量的数据信息.这些数据类型复杂、数量庞大,其中蕴含的价值更是不可估量.通过传统的处理手段,难以理清海量原始数据中错综复杂的关联信息.而针对生物大数据的可视化研究,将有利于科研人员对复杂数据进行多角度观察并获取有效信息.生物数据量越大,复杂性越高,可视化在生物有效信息挖掘方面发挥的作用就越大.本文通过例举若干生物机构中心现存的数据规模和数据增长速率,说明生物研究领域已进入大数据时代,然后由生物数据的组成特征及可视化的特点引出生物大数据可视化的重要性和必要性.本文总结了生命科学研究领域中不同类型生物大数据的可视化研究进展,最后讨论了目前生物大数据可视化所面临的挑战,并提出可能的解决方案.     

信息隐私保护的护卫者——访2008年启明星跟踪计划入选者胡乃静博士

在今年的启明星跟踪计划入选者中,胡乃静(见上图)是我最早联系的几个人之一,吸引我的主要是他此次获得资助的项目--隐私保护的服务型商务智能平台研究--涉及通过开发相关数据挖掘技术保护隐私信息.     

信息时代的隐私与行为

<正>本文是关于隐私行为研究的一篇综述,我们尝试把各种学术思路进行一个总结,同时也找出它们之间的关联。本文以三个主题来总结从社会科学和行为科学的角度所得到的观察:隐私相关行为所带来后果的不确定性,以及个人对这些后果的偏好选择;行为决策的语言表述依赖性,以及因此导致的隐私决策变化与信息私密性调整;隐私保护可被经济、政治利益体操纵到何种程度。通过对这些主题的讨论学习,我们在最后提出了信息时代公共政策在隐私保护中应该起的作用。     

大数据时代的天文学研究

天文学已经进入数据密集型时代或者说大数据时代.面对海量天文数据在存储、计算、网络、软件、算法乃至工作模式等方面的需求和挑战,天文学家连同计算机和信息技术领域的专家正努力使基于科学数据的知识发现过程变得更加容易.虚拟天文台旨在实现科学数据的互操作,打造一个全球性的数据网格.天文信息学则从分支学科的高度来考虑天文学的长远发展.数据挖掘和知识发现在数据密集型时代大有可为,自身也必将获得长足发展.本文简要论述天文学研究在数据密集型时代所面临的挑战,介绍虚拟天文台理念和最新进展,探讨天文信息学发展的必要性和所包含的研究内容,阐明数据挖掘和知识发现的必要性和发展方向.     

MOOCs平台大数据的教育实证

随着大数据技术和大规模在线开放课程(MOOCs)的不断发展,基于MOOCs平台数据的教育研究也日益涌现.然而,相关研究在研究问题、理论基础和研究方法等方面还有待进一步探索.MOOCs平台大数据将为教育问题的研究提供不同类型的数据,有助于打破以往的一些限制.目前来看,基于MOOCs平台大数据的教育实证研究可能会出现聚焦MOOCs本身的研究、大规模在线开放式研究和应用于经典教育研究框架内的研究3种类型.     

大数据时代:趋势和对策

正无论在科学研究和生产制造领域,还是在社会管理和国防安全领域,数据正在爆发增长,一个数据产生重大价值、数据驱动创新的时代已经来临。大数据将逐渐成为现代社会基础设施的一部分,许多领域都会因它而发生本质上的变化,政府、产业界和学术界必须做好迎接大数据趋势的准备。现代公民应具备数据意识,数据素养应成为每个公民的基本素养之一。当前,大数据的影响力正如日中天。有人认为,正在到来的大数据时代将会全方位地推动产业创新,改变社会管理的面貌,并且改善人民生活。值得注意的是,以往对一些所谓的大趋势,国际上经常是众说纷纭、意见不一,而最近几年,从各国政府、大型企业,到包括严谨的科学类杂志在内的各家媒体,对作为当今     

基于互联网平台的大数据收集在社会认知研究中的应用

基于互联网的大数据收集是社会认知领域的新兴研究手段.本文主要介绍了基于以MTurk,Micro Turk等为代表的、具有交易功能的大型行为数据网络收集平台进行的社会认知领域的研究,从网络平台大数据采样的数据质量和大数据对社会认知领域新方向的启发两方面进行阐述,总结了网络大数据在样本范围和数量、分析方法和实验情境上相比传统实验室数据采集的优势和不足.虽然互联网平台的大数据收集还有无法完全控制被试完成任务、存在难以通过大量样本平衡的变量等一系列问题,但这一研究方式的社会性生态效度佳,且在纵向研究和社会行为的网络化分析等方面表现出独有优势,在社会认知领域的研究中具有广阔的应用前景.     

药物分子设计中的大数据问题

药物创新领域的大数据主要来源于高通量实验、高效能模拟计算、信息化、科技出版物和专利文献4个方面.这些大数据使我们有可能在系统层面上看到药物分子与许多靶标相互作用的新现象、新规律,提高药物创新的效率,也带来新的挑战,如存储、标引/标注和质控、可视化、数据挖掘和计算复杂度等问题.这些问题可以通过在超算和云服务技术的支持下发展并行计算方法而逐渐得到解决.从离散、不完备且信噪比低的大数据中难以找到物质活性与结构之间的连续函数关系,贝叶斯学习机及其与支持向量机、决策树技术的组合是大数据挖掘的发展方向.大数据既是科学实验通量化和社会信息化的结果又是原因,正确解决大数据挖掘问题是提高药物创新效率的核心.