基于Hadoop的港口物流大数据应用研究

物流大数据已经成为港口关键的生产要素,分析和利用大数据可有效控制经营风险,促进港口的健康可持续发展。本文基于Hadoop设计快速DBSCAN密度聚类算法,引入熵优化DBSCAN算法的核心点选择。在HDFS分布式文件系统中对大数据分块,采用Map对各个数据块完成初始聚类,并在Reduce上基于核心点扩展类融合形成最终聚类结果,以此提高大数据应用的效率。通过应用大数据对港口企业进行全面管理,为企业决策提供有效支持。     

计算机取证系统的研究

计算机技术的迅速发展改变了人们的生活方式、生产方式与管理方式。同时,也为违法犯罪分子提供了新的犯罪空间和手段。以计算机信息系统为犯罪对象和工具的各类新型犯罪活动越来越多,造成的危害也越来越大。如何获取与计算机犯罪相关的电子证据,将犯罪分子绳之以法。已成为司法和计算机科学领域中亟待解决的新课题。作为计算机领域和法学领域的一门交叉科学——计算机取证学成为人们研究与关注的焦点。     

数据科学与大数据技术专业建设研究

数据科学与大数据技术专业作为国内最热门的新增专业被广泛关注,但是如何进行专业建设成为各高校的难点问题。论文对国内首批和二批开设数据科学与大数据技术专业的学校进行系统调研,重点从开设学院、人才培养、特色课程等方面进行总结分析,最后给出大数据专业在课程体系、师资队伍、实践平台等方面的问题及建议,为应用型本科高校专业建设提供参考。     

大数据时代背景下科学数据发展对情报学变革影响研究

经过半个多世纪的发展,情报学研究范式演变历经多个阶段,每个阶段都伴随信息载体形式改变或技术革新。大数据时代背景下,科学数据呈现数字化、信息化发展态势,产生大量原始电子科学数据,激发情报学变革动力。通过梳理情报学及科学数据发展路径,结合中英文文献可视化分析,发现科学数据与情报学领域深度融合,大数据引发情报学转型压力等原因影响情报学变革路径。建议推动科学数据开放共享,情报学借此把握数据转型,做好国家战略指南针。     

基于Hadoop的大数据处理平台研究

大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.     

电子证据取证技术的研究

电子证据即为电子数据证据,通常指在计算机或计算机系统运行过程中产生的以其记录内容来证明案件事实的电磁记录物。电子证据取证包括证据获取、证据分析和证据报告三个过程。同时,电子证据作为诉讼证据必须具备客观性、关联性、合法性的特征。当前,以数字化形式出现的电子证据对传统的证据形式提出了挑战。     

面向电子档案大数据的可视化组织与分析

电子档案发展至今已经积累到大数据状态,数据可视化成为解决电子档案管理问题的主要方法。根据以上描述,提出面向电子档案大数据的可视化组织与分析新方法。所提新方法将瓦片模型用于进行电子档案大数据可视化组织工作,借助瓦片图层的金字塔结构与矢量特征建立可视化组织结构。讨论了电子档案大数据编码方法与矢量瓦片可视化绘图流程,提高了可视化组织工作的准确性与效率。依次通过可视化图层捕获、非关系数据存储、数据流处理、已处理数据读取、分析结果显示以及图层更新,进行电子档案大数据可视化分析。实验结果显示,所提新方法的可视化效果优异,大数据读取效率较高。     

面向时序大数据的数据库性能研究

在大数据背景下,物联网技术的广泛应用产生了大量的时序数据。如何合理选择最适合的数据库来存储时序大数据是一个重要的研究内容。然而现有的数据库性能对比研究没有考虑数据的具体应用场景,缺乏特定场景下的性能对比实验。为了在存储时序大数据时能够从不同存储结构的数据库中选择最适合当前场景的数据库,文章对关系型数据库、本地NoSQL数据库以及公有云NoSQL数据库在燃气大数据的应用场景下进行了定量定性的实验与分析。实验结果表明,相比于关系型数据库,NoSQL数据库更加适合存储时序大数据。然后,进一步提出了针对不同应用场景下时序大数据的数据库选型建议。     

存储介质安全取证研究

存储介质取证是一种静态的计算机取证模式。安全取证才能使证据具有真实性和合法性。根据安全取证原则,建立安全取征模型,对整个取证过程进行监督管理;选择安全可靠的取证工具;选择公开发布的标准规范作为取证方法;保障环境安全和人员安全。存储介质取证,安全要素缺一不可,只有所有要素安全才能保证整个取证工作的安全有效。     

反计算机取证技术研究

分析了反计算机取证的基本概念和方法,比较了反计算机取证所采用的数据擦除、数据加密、数据隐藏、数据混淆和数据转换等主要技术,并提出了一种安全、高效的基于m序列的数据擦除方法.     

浅析大数据时代的产品与技术

介绍了大数据数据结构的特点,分析了大数据平台的系统架构和关键技术．比较了主流的数据库产品。     

基于Ambari的Hadoop集群快速部署研究

Hadoop作为处理大数据的一个优秀分布式计算框架,在企业应用非常普通。然而Hadoop集群部署需要考虑各组件的兼容性、编译问题及繁琐的组件参数配置,初学者往往耗时几天也不能部署成功。Ambari是一种支持Hadoop集群部署、监控和管理的开源工具。针对Hadoop集群部署的复杂性,提出基于Ambari工具部署Hadoop集群各组件的实践方法并讨论了快速部署的若干要点及重要步骤;通过Ambari工具,完成了Hadoop生态圈最小化集群大部分常用组件的快速部署,如HDFS、HBase、Hive、Pig、Oozie、Zookeeper、Sqoop、Spark、Storm、Kafka、Flume等;项目实践表明:利用Ambari工具能够在8 h内部署完毕Hadoop集群,相比较传统手工部署方式,Ambari工具极大提高了Hadoop集群部署的效率及成功率。     

基于Hadoop的油气水井生产大数据分析与应用

基于Hadoop框架的分布式存储、并行计算以及数据仓库建模等技术,构建Kylin多维分析平台,实现油气田注入井生产数据的统一存储、计算、分析功能,解决多表联合查询效率低、多数据库之间存在数据孤岛等问题。实现16个分散数据库的快速查询和管理优化,查询分析效率提升3倍。该平台可统一管理8×10~4余口注入井生产数据,业务分析时间由原来的1 d缩短到现在的5 s,查询时间为秒级响应。通过建立注入井生产数据多维分析模型,在中国石油天然气集团公司实现了注入井宏观管理分析、问题井管理分析、注入井生产运行分析等应用。实现了系统的快速响应,满足了高效分析需求。注入井生产数据分析粒度由原来的油田细化到单井,业务分析更为细致,能够实时掌握油气生产动态。     

基于Hadoop云平台的数据传输保护研究

Hadoop是一套开放的云计算平台,使用Map Reduce处理数据的分割与合并,简单的设置就可使用云计算的强大功能.但随之而来的是个人数据在没有任何保护的情况下随时可能遭受攻击,因此云平台上的个人信息安全问题就显得格外重要.本研究提出了一种具备安全数据传输的Hadoop云平台规则来增加云数据分割与合并的安全度.实验结果证明,本安全方案确实提高了云平台数据传输的安全性.     

大数据时代科技期刊数字化研究

随着目前网络技术的深度应用,海量数据产生,“大数据”成为近期各界关注的焦点和热点。科技期刊数字化是期刊发展的大方向,如何适应大数据环境也成为了科技期刊界的焦点问题。在总结数字出版和大数据的特点上,分析了针对科技期刊大数据存储、处理、分析等一方面关键技术的研究。     

数据恢复技术在计算机取证系统中的应用

在讨论计算机取证概念和技术进展的基础上,针对其中重要的数据恢复技术进行了讨论,并对该技术的应用、局限性进行了讨论,提出了在计算机取证系统中如何利用数据恢复技术完成软件自动取证和自动恢复的问题.     

数字取证平台技术的研发

面对高科技的犯罪案件,取证人员已无法采用传统的方式采集完整的数字证据,须藉由取证工具的辅助以收集与分析数字证据,用科学的方法产生取证报告. 文中探讨计算机取证与手机取证的技术与工具,并自行设计与开发相关的取证雏型系统. 已开发完成的取证系统可以收集Windows/Linux计算机与Android手机数字证据,进行系统分析,且可尝试还原删除的信息并找出与案件相关的犯罪证据.     

Mobile Internet Big Data Platform in China Unicom简

China Unicorn, the largest WCDMA 3G operator in China, meets the requirements of the historical Mobile Internet Explosion, or the surging of Mobile Internet Traffic from mobile terminals. According to the internal statistics of China Unicom, mobile user traffic has increased rapidly with a Compound Annual Growth Rate （CAGR） of 135%. Currently China Unicorn monthly stores more than 2 trillion records, data volume is over 525 TB, and the highest data volume has reached a peak of 5 PB. Since October 2009, China Unicom has been developing a home-brewed big data storage and analysis platform based on the open source Hadoop Distributed File System （HDFS） as it has a long-term strategy to make full use of this Big Data. All Mobile Internet Traffic is well served using this big data platform. Currently, the writing speed has reached 1 390 000 records per second, and the record retrieval time in the table that contains trillions of records is less than 100 ms. To take advantage of this opportunity to be a Big Data Operator, China Unicom has developed new functions and has multiple innovations to solve space and time constraint challenges presented in data processing. In this paper, we will introduce our big data platform in detail. Based on this big data platform, China Unicom is building an industry ecosystem based on Mobile Internet Big Data, and considers that a telecom operator centric ecosystem can be formed that is critical to reach prosperity in the modern communications business.     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

基于Ontology的数据挖掘在计算机动态取证中的应用

动态取证势必会产生大量的杂乱无章数据.如何对大量繁杂的数据进行有效的分析,成为动态取证的关键问题.提出了基于本体的数据挖掘模型,利用此模型实现了高精度的语义挖掘,根据挖掘结果提供了预警防范服务,利用关联规则具体说明了基于本体的数据挖掘的过程,并用贝叶斯网络模型简单计算了实例本体间的关联程度,实现了关联挖掘.应用实例表明基于Ontology的数据挖掘提高了对攻击源定位追踪的准确性和实时性.