生物大数据可视化的现状及挑战

在过去的10年中,以基因组学、医学遗传学和神经信息学等为代表的生命科学各研究领域,以前所未有的增长趋势,积累了海量的数据信息.这些数据类型复杂、数量庞大,其中蕴含的价值更是不可估量.通过传统的处理手段,难以理清海量原始数据中错综复杂的关联信息.而针对生物大数据的可视化研究,将有利于科研人员对复杂数据进行多角度观察并获取有效信息.生物数据量越大,复杂性越高,可视化在生物有效信息挖掘方面发挥的作用就越大.本文通过例举若干生物机构中心现存的数据规模和数据增长速率,说明生物研究领域已进入大数据时代,然后由生物数据的组成特征及可视化的特点引出生物大数据可视化的重要性和必要性.本文总结了生命科学研究领域中不同类型生物大数据的可视化研究进展,最后讨论了目前生物大数据可视化所面临的挑战,并提出可能的解决方案.     

基于多粒度Top-k查询的流式数据事件获取方法

流式数据中事件的查询及获取是研究流式数据各类操作的基础.现有流式数据系统中的事件查询只针对流中的异常数据点进行查询,而在实际情况下,流式数据中的事件多为一段连续时间的异常,包含时间、空间位置等多种信息,因此,传统的阈值查询方法无法从不同的时间及空间角度对事件进行全面分析,查询准确性极低,导致无法获取事件的全部信息.针对这些问题,本文提出一种基于多粒度Top-k查询的流式数据事件获取方法.该方法首先在监测区域内构建基于投影分区的区域监测簇;在此基础上,提出一种改进的多粒度空间Top-k查询方法对点进行查询,获取异常事件发生的空间位置信息;其次,基于事件峰谷点信息,对流式数据进行时间多粒度Top-k查询,找出异常事件的触发点和终止点,从而获得事件的完整信息.实验表明,本文提出的方法在系统资源开销、查询效率等方面均具有很大优势.     

物联网中的海量数据处理技术

物联网近年来得到了迅速的发展.停随着各种传感设备的使用,物联网所处理的数据量呈现出海量特征.如何对这些数据进行高效处理,从中获取有用信息,进而提供智能决策,是物联网面临的关键问题.该文对物联网中使用的海量数据处理技术进行了介绍.     

轨迹数据压缩综述

移动终端的普及和全球定位系统(Global Positioning System,GPS)的发展,产生了海量的移动轨迹数据.许多基于位置服务(Location-Based Services,LBS)利用这些轨迹数据为用户提供服务.但是轨迹数据的日益增多也带来了许多挑战:数据量巨大、查询延时增长、数据冗余.因此,轨迹压缩对于提供更好的服务是非常有必要的.轨迹压缩的目标是在满足压缩轨迹与原始轨迹之间的相似度条件下,尽可能减小轨迹数据量.本文回顾了已有的轨迹压缩工作,包括线段简化压缩方法、基于路网的压缩方法和语义压缩方法,并介绍了基于压缩轨迹的查询处理和轨迹管理系统.     

基于改进深度学习算法的大数据交互式查询技术研究

传统大数据交互式查询技术忽略了对大数据融合步骤,导致该技术的交互查询效果不理想,且准确度偏低.为此,提出基于改进深度学习算法的大数据交互式查询技术.以教务系统为研究对象,构建教务系统交互大数据的粗糙量化特征分析模型,基于联合自相似性特征解析控制方法实现对教务系统交互大数据信息融合和特征匹配,从而提取教务系统交互大数据的...     

高校图书馆如何在大数据时代下健康发展

大数据时代的到来,使人们面对海量信息时产生了更多选择,对各个行业都产生巨大影响.大数据具有自身特点,把大数据这些特点与高校图书馆的管理相结合,使图书馆管理不断跨越传统,改革创新,提高管理与服务水平.图书馆可通过重视用户数据与信息、增加大数据分析服务、利用数据分析技术与工具等来创新图书馆的管理、提升图书馆服务,更好的促进高校图书馆健康发展与校园文化建设.     

网格环境中异构数据访问和集成研究

随着公有数据库资源的丰富,广泛分布的用户希望能够按需地、透明地访问和使用这些丰富的数据资源.本文采用SOA(Service Oriented Architecture)思想,提出了一种支持异构数据访问和集成的方法,基于关键字过滤的数据集成策略,减少通信代价,采用分布式聚类技术,实现大数据量信息的概要显示.     

地理信息产品综合浏览系统的建立

为解决海量遥感影像数据的快速浏览、显示问题,基于ArcEngine开发模块,应用海量数据的组织与管理技术,开发嵌入式GIS应用系统——地理信息产品综合浏览系统。通过对影像数据和DEM分层分块建立多分辨金字塔模型组织数据,利用几何纠正、重采样等整合数据,控制实时调入的数据量,实现了海量数据实时浏览,查询,DOM与DEM、DLG数据的叠加与三维可视化等主要功能,具有显著的理论价值及社会应用前景。     

统计面临新挑战

"大数据"是伴随着网络新技术的发展产生的数据形态,本质上是数据生产、传输和应用的社会化。"大数据"不在于数据量的多少,而是一种"以数据为大"的方法论,对传统统计工作的理念、方法以及价值将产生重大的冲击,对当前统计管理体制、机构设置、数据价值等形成了挑战。政府统计应当借助于"大数据"所带来的有利条件,从优化统计机构设置、推进统计业务数据化,提高数据挖掘分析能力等方面加快推进政府统计的改革。     

大数据时代下如何打造个性化的商务智能实践

随着移动互联网、物联网、云计算等信息技术的迅猛发展,全球每时每刻都在产生着巨大的数据量。应用这些海量的(大)数据,也预示着新的网络传播与网络服务等模式将逐步走近人们当前的工作状态与生活模式。该文主要通过对大数据的产生背景以及商务智能发展阶段分别进行相关分析阐述,探讨了大数据时代下,如何挖掘信息的真正潜力和价值,实现商务智能实践的个性化。希望通过该文的研究,能够让人们对大数据时代下的商务智能有更多的了解与认识。     

大数据环境下的图书馆服务创新思考

当前已经进入了大数据时代,大数据正在改变人们的信息使用偏好与习惯,给图书馆的数据存储、信息服务、网络架构等带来了巨大的挑战。本文在分析大数据对图书馆的影响的基础上,就图书馆如何创新服务以适应大数据环境图书馆发展进行了深入思考。     

基于MPEG-7和消隐镜头检测的视频检索系统

视频是一种非格式化、时空并存、大数据量的媒体数据,传统的基于文本的信息查询技术已不能满足人们的要求,所以有关视频特征描述、查询、浏览及管理中存在的障碍亟需解决.本文在基于内容的视频检索系统中提出了一种消隐镜头的检测算法--基于局部特征时变一致性的检测算法.同时利用MPEG-7标准中描述符的结构定义描述视频检索系统的特征库,实验结果验证了系统的有效性.     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

大数据知识发现

随着信息技术的快速发展,人类面临的数据呈爆炸式增长,大数据的时代已经来临.大数据研究成为当今科学和经济社会发展的重大战略方向和必然趋势.大数据的巨大价值在于依据数据间关联性而建立的复杂结构关系网络中所蕴含的知识.大数据知识发现是一个非常重要和亟待解决的问题.本文总结了以燕山大学为核心的大数据研究团队部分最新工作,重点给出了大数据偏序结构理论及其相关工作的简要介绍,为快速、准确了解该团队的研究现状提供参考.     

基于Spark/Shark的电力用采大数据OLAP分析系统

用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树的细粒度索引结构TrieIndex,并通过数据重组技术优化了数据在HDFS的分布,提升了Shark的数据过滤能力以及用电信息大数据OLAP分析的性能.真实用电信息采集系统数据与查询的实验结果表明,该系统比关系型数据库的写入速度提升了12倍,比原生Shark的查询效率提升了10倍以上.     

基于xml的DeepWeb信息自动抽取技术的研究

随着近年来Internet的飞速发展,Deepweb已成为网络信息资源的重要组成部分,用户通过查询接口在线访问其后端的Web数据库来动态的获取其中蕴含的海量信息。由于DeepWeb资源分布在各个De印web站点,具有异构、动态、数据量大等特点,使用起来较为不便,因此,面向Deep Web的数据集成系统便应运而生。本文对Deepweb数据集成系统中的数据抽取技术进行了研究,提出了基于xml的Deepweb数据自动抽取方法,并作了详细的技术分析与研究,它能够快速有效地抽取出DeepWeb资源,具有抽取准确度高,抽取粒度细等特点。     

Web数据挖掘系统体系结构的研究与设计

随着计算机技术和Web技术的日益发展,Web的数据量越来越大,如何从庞大的数据量中挖掘出自己需要的信息,越来越成为人们的需要。本文以此为目的,设计了一个Web数据挖掘系统的体系框架,为后续的实现打下了基础。     

基于小波分析的湍流采样数据量缩减算法

根据缩减数据必须反映与原数据统计同等的湍流流动信息准则,利用小波分析良好的时频双局域性信号处理特点,结合统计检测理论提出了一种相对合理的湍流采样数据量缩减算法.与传统算法及已有算法比较,由该算法缩减所得的数据量稍大但更能合理反映与原数据统计同等的湍流流动信息.选取湍动能为统计特征量,对沟槽壁面减阻机制实验数据进行了缩减分析,结果验证了该数据缩减算法的合理性和可靠性.     

面向RDF数据的语义扩展查询方法

随着大数据时代的到来,互联网所承载的信息呈现出异构性强、价值密度低、来源分布广、实时性高等新的特点.因此在信息检索时,与获取相关网页相比,人们更希望获得页面中包含的知识.RDF作为一种新的知识表示和发布形式,以其精确且易于理解的语义结构得到了广泛的认可和应用.但传统基于语法匹配策略的SPARQL查询方法无法发现RDF数据中不同谓词间的隐含语义,不能从语义层面上获取更加完备的查询结果.针对这一问题,设计了一种新的查询方法来扩充传统SPARQL查询模式.首先分析RDF三元组中谓词的语义属性.在此基础上,根据不同谓词间语义属性的标注,对输入SPARQL语句中具有语义属性的谓词进行扩展,从而给出了一种新的一般化的查询策略.最后通过实验验证了这种语义扩展查询方法的可行性和正确性.     

云数据的划分存储和查询研究

随着网络数据、生产数据的大幅增长,数据存储和查询面临着严峻的挑战.数据划分技术可将海量数据分布存储在多台机器中,既能解决单机存储容量问题,也能通过划分区间来缩小数据查询范围.为此,研究了海量数据背景下数据划分存储和查询的方法,设计了将海量数据按角度和距离值计算其所属数据区间,并分布存储到该区间对应的机器文件中,从而实现了大数据量的文件以小数据量的文件存储,使得查询数据时可以先通过索引表找到所属的数据区间其所在文件,再进行查询即可,这样缩小了数据查询范围,而且还可以通过多机器协同查询,加快查询速度.对采用以上方法划分存储的数据进行了Top-K查询,验证了方法的有效性.