基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.     

基于大数据的防窃电模型与方法

针对常见的窃电现象及方法，分析了窃电方法的本质特征；利用鱼骨图表示特征参量的方法建立了多维度电参量的相关特征参量集合，并构建了多维度电参量的窃电本质特征模型来揭示窃电方法、本质特征和特征参量三者的关联关系；提出了基于大数据的防窃电模型与方法，包括数据预处理、大数据的防窃电结构化模型；最后通过用电信息系统采集的数据验证了本文结构化防窃电模型与方法的有效性。本文研究成果可为解决大数据条件下窃电行为监控问题提供有效的途径和方法。     

基于电子商务平台的NoSQL解决方案应用研究

电子商务和社交网络迅速兴起,在带来巨大商机的同时,也引起了非结构化的面向信息的数据大爆炸。盛行多年的关系数据库不再适用于这些繁杂的不受控数据。从09年开始,NoSQL运动在各大社交网络和新兴公司间展开。如何将NoSQL和电子商务平台融合在一起,从而取得经济价值,成为IT界目前最关注的议题。本文探究如何使用现有的技术和资源进行伸缩性和可维护性的管理和开发,为电子商务平台在NoSQL运动中获益提供新的思路,使网站在充分利用现有资源和技术的情况下充分发挥数据存储和检索的极限。     

大数据时代数字图书馆发展浅析

大数据及其技术是当前信息领域研究的热点,在数据挖掘、数据分析、信息服务以及信息安全、隐私保护等方面给图书馆带来了挑战与机遇。随着大数据时代的到来,用户对信息资源的需求越来越高,图书馆的信息处理及服务将会发生显著的变化,从大量的非结构化数据、半结构化数据集中去分析和挖掘潜在的价值将成为图书馆的主要业务之一,图书馆的服务方式也需做出相应的改变。     

基于XML的生物信息数据模型

各大研究机构之间生物信息数据是异地、异构和高度自治的，并且信息之间的存放是分散无序的．这给生物信息数据的交换和利用带来了很多困难．因此生物信息检索挖掘更着重于过程中相关信息有序的提取和集成，本文提出了一种新的基于xml表达的有序的层次分形数据模型，更有利于生物信息数据的集成和融合．     

基于Hadoop的即时查询分析平台

为了解决大数据的深度挖掘和即时查询的需求,建立了一个分布式、可伸缩、低成本和大容量的并行计算集群,实现了半结构化数据的SQL查询分析,并提供了标准对外接口。     

互联网商品匹配算法

实体解析是指识别同一实体的不同描述形式的过程, 旨在保障数据质量, 是数据清理、数据集成及数据挖掘中的关键技术. 随着电子商务的不断发展和成熟, 商品的多样性和消费者灵活的购买方式, 使得对网络商品的精确识别和匹配成为大数据时代亟待解决的问题. 与传统实体解析主要针对结构化数据不同, 网络数据具有非结构化、异构和海量的特性, 为此设计了综合相似度算法(synthesized similarity method, SSM)来计算网络商品数据间的相似度, 同时引入凝聚的层次聚类框架, 以匹配来自不同数据源的异构商品. 此外, 为了解决大数据环境下对执行效率的要求, 从字符串相似度缓存、约束知识库和分块策略三个方面对SSM进行优化, 基于真实数据集的实验结果验证了SSM的执行效率和有效性.     

ORACLE InterMedia多媒体数据存取技术与应用

在ORACLE9i数据库平台下,依据Oracle interMedia对象技术特点,分析了Oracle interMe-dia在实现多媒体数据存取方面的技术优势;给出了实现多媒体数据在ORACLE数据库中进行存取的基本设计方法、通过实例阐明了在ORACLE的SQL(PL/SQL)级实现结构化与非结构化数据统一操作的可行性。     

基于区块链的非结构化大数据动态安全存储

当前大数据交互的不透明性以及数据文件访问形式的不合理性, 导致大数据存储存在存储延时长、 安全性较差的问题, 为此提出基于区块链的非结构化大数据动态安全存储技术。 构建多用户规则调度模型, 利用存储数据包生成独立的行向量与 n 阶矩阵, 基于列不满秩概率完成存储算法设计; 采用区块链非对称加密技术的公私钥, 实现透明与完整的数据交互, 对次要信息与数据访问形式实施记录。 引入分布式文件系统, 将其与Mongo DB 非关系型数据库有效结合, 从而使非结构化大数据得到安全存储。 仿真实验结果表明, 该方法不仅具有理想的存储速率, 而且使大数据的完整性得到了保证, 具有理想的有效性与实践性。     

智能导库工具研究与实现

针对金融系统数据的特点,基于ETL基本原理,结合工作流调度引擎,设计开发了具有结构化数据和半结构化数据处理能力的ETL(Extract Transfer move and Loading)处理平台——SETL(SMART ETL)智能化ETL处理平台。     

大数据时代信息资源利用研究

当今不断增长的数据量和数据种类衍生出“大数据”这一现象。阐述了大数据时代信息资源的特点,分析了基于大数据的信息源的选择,探讨了大数据时代信息资源的利用。     

大数据时代图书馆面临的机遇与挑战

大数据吸引了各行各业的关注,图书馆不可避免地面临着大数据浪潮的冲击。阐述了大数据的定义与特征,分析了大数据在图书馆的应用场景,探讨了大数据时代图书馆的发展趋势及面临的挑战。     

大数据时代互联网投融资平台应用研究

近年来,大数据在我国得到广泛的应用。随着大数据技术的不断完善,我国互联网投融资领域积极利用大数据开展业务。本文简要阐述了互联网投融资平台的概念和特点、P2P信贷、众筹融资以及大数据在互联网投融资平台中的应用。     

大数据时代下电子商务安全以及发展趋势研究

随着数据量的增加,其安全问题也日趋重要。本文以大数据为切入点,着重分析了大数据时代电子商务平台所面临的安全问题以及大数据对电子商务未来的影响。     

大数据时代的信息用户行为分析

大数据时代的数据分析影响着我们的生活和学习,也影响着图书馆的发展。阐述了大数据及用户行为研究现状,分析了大数据时代的用户行为,指出大数据时代的用户行为分析从取样到数据接受和数据分析都发生了根本的变化,同时指出了用户行为分析中存在的不足。     

大数据时代知识管理的作用和方法创新

大数据时代的来临给社会各行业、各领域均带来了机遇与挑战,为使大数据能够得到充分的利用,知识管理的作用日渐凸显.分析了知识管理在大数据时代的作用,探讨了大数据时代知识管理的方法,结合实际提出了知识管理在特定时期内的发展方向.     

Big data management in the mining industry

The mining industry faces a number of challenges that promote the adoption of new technologies. Big data, which is driven by the accelerating progress of information and communication technology, is one of the promising technologies that can reshape the entire mining landscape. Despite numerous attempts to apply big data in the mining industry, fundamental problems of big data, especially big data management(BDM), in the mining industry persist. This paper aims to fill the gap by presenting the basics of BDM. This work provides a brief introduction to big data and BDM, and it discusses the challenges encountered by the mining industry to indicate the necessity of implementing big data. It also summarizes data sources in the mining industry and presents the potential benefits of big data to the mining industry. This work also envisions a future in which a global database project is established and big data is used together with other technologies(i.e., automation), supported by government policies and following international standards. This paper also outlines the precautions for the utilization of BDM in the mining industry.     

Big data resource service platform for the internet financial industry

It is now the era of big data. Massive volumes of complex and dynamic data exist in a variety of indus- tries, including internet finance. This paper briefly describes the current big data situation and its significance, discusses the big data resource service platform architec- ture that includes three levels： data resource identification and access, data resources storage and analysis, and net- work information service platform, and then introduces some work undertaken by our project team on big data analysis research and application of trusted transactions for internet finance.     

大数据的应用及其发展趋势

近几年来大数据之风已由欧美、日本等国进入中国,2013年被世界称为"大数据年"。介绍了大数据的基本概念及其特点,简述了大数据在金融行业应用的丰硕成果,展望了大数据的发展趋势。     

大数据背景下图书馆数字化发展探析

大数据的出现和发展,对包括图书馆行业在内的各行各业产生了巨大的影响.大数据在推进图书馆事业发展的同时,也给图书馆事业带来了根本性的变革. 阐述了大数据背景下图书馆工作流程和模式的构建,探讨了大数据背景下图书馆的发展对策.