基于频繁模式半结构化数据的模式抽取

为克服半结构化数据存储复杂的缺点,提出一种基于动态树的半结构化的存储模型。对该模型进行模式抽取, 并将其引入到Apriori算法。通过设置最小支持度阀值过滤掉不必要的信息, 输出最长频繁路径的集合, 以实现半结构化数据的提取。实验结果表明, 该算法能同时有效地处理分支及环路问题, 避免了死循环的出现。     

基于BERT-CNN的数据标准化方法

针对复杂多源的非结构化数据，提出一种数据标准化方法，在抽取信息的同时，能将不同来源的数据转换为统一的表示形式.首先，对文本进行词性标注等预处理，提取出需要进一步识别类型的实体；其次，使用语言表征模型对文本信息进行向量表示；最后，通过基于注意力机制的卷积神经网络对抽取出的实体进行分类，以适应不同应用场景的分类标准.实验结果验证了该模型的有效性.     

基于网格的数字信息管理G-DIM

提出了一种基于网格的数字信息管理思想,并以此开发了G-DIM模型.这种开发思想适用于对大量的非结构化数字信息进行集中管理、分布式存储的应用.文中论述了建立在网格架构上的开发模型G-DIM具有的分布式动态资源协同使用、信息安全及在信息存储与处理方面的可扩展性能.通过实验表明,建立在网格架构上的数字信息管理方法是可行并且是有效的.     

基于边缘计算的非结构化大数据动态安全存储算法

针对非结构化大数据边缘安全性较差,存储效果受限的问题,提出基于边缘计算的非结构化大数据动态安全存储算法。有效分析和识别非结构化大数据,利用构建的数据敏感级别识别模型确立非结构化大数据敏感度等级并加密。基于边缘计算及云计算,建立云边协同架构,利用该架构编写的分布式压缩感知-同时正交匹配追踪(DCS-SOMP:Distributed Compressed Sensing-Simultaneous Orthogonal Matching Pursuit)算法对加密数据进行压缩采集,以此降低数据存储量,最终将非结构化加密数据上传至云边协同框架各个边缘,实现非结构化大数据动态安全存储。经存储量、元数据占比、加密耗时和带宽消耗测试实验,结果表明该算法鲁棒性较高,能保证实际应用性。     

面向时空嵌套关系的半结构化时空数据管理模型研究

研究了利用半结构化时空数据的"嵌套"特征实现对时空数据存储和管理的问题,提出了一种面向时空嵌套关系的半结构化时空数据管理模型.该模型以时空数据的"嵌套关系"为管理对象,用更丰富的数据语义(semantics)区别了"实体对象类"的属性、"空问嵌套关系类"的属性和"时空嵌套关系类"的属性等概念,运用非第一范武的嵌套关系数据库实现对时空数据的综合营理.基于传统关系型DBMS和GIS组件构成的软件实验系统表明,本模型简明有效,在数据更新和冗余方面均取得了较好的效果.该研究为半结构化时空数据的管理探索了一条新的途径.     

一种结构化P2P存储系统的负载均衡方法

针对结构化P2P存储系统中的负载不均衡问题,提出了一种基于虚节点划分的负载均衡方法.建立适用于P2P存储系统的节点性能模型,对网络节点进行性能评价,将物理网络中性能弱的临近节点划分成DHT网络中的一个虚拟节点以平衡系统的负载.实验结果表明该方法可以有效降低结构化P2P存储系统中负载不均衡节点的数量.     

云环境中基于金字塔模型的影像数据存储方法

随着卫星遥感获取技术的发展,影像数据量呈几何式增长,传统数据存储技术已经无法适应海量影像数据的处理要求.结合金字塔模型和MapReduce架构提出了一种适用于云计算环境的分布式并行存储方法—BMLStorage(storage based on MapReduce and local file system),该方法基于金字塔模型对影像数据进行分层分块处理,并对所得瓦片重新编码.定义了一种新的存储规则,使得所有瓦片可以按照此规则利用Hadoop中的MapReduce框架实现并行存储.实验表明,该方法与现有方法相比,在海量影像数据存储性能方面有一定的提高.     

基于区块链的非结构化大数据动态安全存储

当前大数据交互的不透明性以及数据文件访问形式的不合理性, 导致大数据存储存在存储延时长、 安全性较差的问题, 为此提出基于区块链的非结构化大数据动态安全存储技术。 构建多用户规则调度模型, 利用存储数据包生成独立的行向量与 n 阶矩阵, 基于列不满秩概率完成存储算法设计; 采用区块链非对称加密技术的公私钥, 实现透明与完整的数据交互, 对次要信息与数据访问形式实施记录。 引入分布式文件系统, 将其与Mongo DB 非关系型数据库有效结合, 从而使非结构化大数据得到安全存储。 仿真实验结果表明, 该方法不仅具有理想的存储速率, 而且使大数据的完整性得到了保证, 具有理想的有效性与实践性。     

E-learning非结构化数据管理系统的构建与实现

针对e-learning教学系统非结构化数据管理中存在着文件系统和数据库记录的不一致性和非结构化文件信息不能直接提取的问题,提出了在数据库和文件系统相结合的管理模式基础上加入文件控制模块和元数据提取模块,构建了基于元数据的e-learning教学非结构化数据管理系统,实现了对e-learning教学系统中非结构化文件的统一管理和信息直接提取,减少了人工输入,提高了效率.     

基于灰色神经网络的云平台大数据安全风险评估

为了提高网络云平台大数据存储的安全性能,并对数据安全风险进行评估,提出了一种基于灰色神经网络的云存储大数据安全风险评估模型。首先,采用基于自治的元组划分方法将待分析和评估的大数据安全风险信息进行分类,利用高斯密度谱提取信息特征,然后利用灰色神经网络将待分类的信息进行分解,最后,使用自适应差分改进方法检测安全风险信息的相关性。模型根据大数据安全风险信息频谱的特征提取,实现了相关补偿和自适应控制,提高了大数据安全风险评估能力。安全评价曲线能够快速收敛,并与K近邻算法(K-nearest neighbor, KNN)对比仿真实验结果显示,基于灰色神经网络的模型评估具有较高的准确性,因而具有更好的大数据安全保护能力。     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

基于TEE的可信存储系统设计与实现

在对当前主流可信存储系统的分析和研究的基础上，设计并实现了符合GP标准，同时满足多种安全存储特性的可信存储系统(TSS). TSS不仅能对数据进行授权加密、保证数据的完整性和一致性，同时还提供了很多其他安全存储特性(如持久存储对象的原子操作).为了改善大数据读写性能，提出了一种在REE的内核空间中动态申请连续内存并通过通信管道将该连续物理内存映射到TEE中的方法.这种方法可以有效地减少TEE和REE之间的切换次数、内存申请次数及内存的拷贝负载.实验数据显示，与其他相关可信存储系统相比，TSS有8%到10%的性能提升.     

三维城市模型的统一表示

针对解决多维、多类型空间数据信息的透明集成管理与各种应用问题,在三维城市模型不同应用的分类和综合分析基础上,从概念层次提出了一种统一矢量数据与栅格数据、连续表面和离散实体的二维表达与三维表达的三维城市模型。该模型具备对任意复杂目标的多种细节层次表达和描述能力,为建立自动理解与解析分析的数学描述提供了理论依据。     

面向嵌入式应用的深度神经网络模型压缩技术综述

结合大数据的获取,深度神经网络关键技术广泛应用于图像分类、物体检测、语音识别和自然语言处理等领域.随着深度神经网络模型性能不断提升,模型体积和计算需求提高,以致其依赖高功耗的计算平台.为解决在实时嵌入式系统中的存储资源和内存访问带宽的限制,以及计算资源相对不足的问题,开展嵌入式应用的深度神经网络模型压缩技术研究,以便缩减模型体积和对存储空间的需求,优化模型计算过程.对模型压缩技术进行分类概述,包括模型裁剪、精细化模型设计、模型张量分解和近似计算和模型量化等,并对发展状况进行总结.为深度神经网络模型压缩技术的研究提供参考.     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

大数据时代档案工作的挑战与展望

随着互联网技术的飞速发展,获取信息的途径越来越多,大数据时代的到来使得人们能够获取的信息量越来越大.对大数据的理念对传统的档案工作的重要性、档案存储、分析与管理、档案资源的利用、档案工作方式等各个方面带来的挑战进行分析,将为我国档案工作带来新的机遇与挑战.     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

噪声大数据的MapReduce高度随机模糊森林算法

为解决日趋增长的噪声大数据分类问题,提出了一种高度随机模糊森林算法.该算法在决策树学习中生成连续属性的模糊分区,并给出在MapReduce框架中所提算法的分布式实现,用于受属性噪声污染的大数据集中学习模糊决策树的集合,该分布式实现模型可以适应计算的有效分配策略,从而产生良好的可扩展性数据,这种分布式算法使得模糊随机森林能够处理大数据集的学习和分类.高度随机模糊森林算法能够实现噪声大数据的高精度分类,为以后的大数据分析打下良好的基础.实验结果表明,所提算法比现有算法准确率更高,在属性噪声情况下,该文分类准确率也高于随机森林算法,说明该文算法的可行性和有效性.