日志结构合并树的查询优化技术

针对基于日志结构合并树(Log Structured Merge Tree, LSM-tree)的数据库查询性能较差的问题,目前的研究工作主要集中在利用索引和缓存技术提升LSM-tree的查询性能.本文主要从以下几个方面对LSM-tree的查询优化技术进行了综述.第一,介绍了LSM-tree的基础架构,分析了影响查询的因素.第二,分析了当前的LSM-tree查询优化技术,包括索引优化技术和缓存优化技术.第三,分析了索引和缓存技术是如何提升基于LSM-tree的数据库查询性能的,并总结了一些现有的研究工作.最后,总结并给出了未来可能的研究方法.     

基于C／S的多层体系结构的分布式数据库的研究

由于数据库变得越来越大,为了使数据和资源能够被共享,体系结构也在不断的发展。在基于C／S的分布式数据库中存在了很多问题。在分析了单层架构、多层架构、以及三层架构之后,这篇论文提出了多层架构的解决方案。最后,本文给出了一个多层架构的例子来演示它的优点。     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

基于表空间和数据文件探讨MIS中数据库架构设计

在MIS现有数据架构基础上,针对MIS中数据库架构优化问题,研究表空间与数据文件设计,以优化其数据库为目的,应用表空间和数据文件技术,设计MIS数据库架构,提升MIS数据库的运行效率。研究结果证实,运用表空间和数据文件技术,优化设计MIS数据库架构中,不仅能够减少数据库的操作难度,也可以降低数据库管理成本,提升12.0%繁荣数据库运行效益。研究结论中表明,基于表空间和数据文件,优化设计MIS中数据库架构,发挥积极研究意义。     

基于Neo4j的面向体系架构(DOA)的数据注册中心(DRC)的实现

为解决大数据时代下数据急剧增长带来的信息孤岛、系统扩展难及数据管理过度复杂等现象,采用面向数据体系架构(DOA)的思想和相关技术,结合Neo4j,设计了基于图形数据库的具有分布式、高效率、扩展性强的数据注册中心(DRC)方案,并搭建了实验平台.采用分布式图形数据库的注册方案已得到初步验证,与传统的数据注册方案相比,能够提高系统的运行效率,增强系统的扩展性,同时,简化了数据管理.     

基于Raft一致性协议的高可用性实现

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

J2EE技术在纳米材料科学数据共享平台中的应用研究

设计并实现了基于J2EE技术的纳米材料科学数据共享平台,介绍了平台的总体架构、各功能模块的关系和后台数据库设计与实现,并阐述了平台开发过程中的关键技术.运行效果表明,平台操作简单、功能齐全,能够用于纳米材料数据的管理,帮助研究纳米材料的科研人员更好地分析和利用科学数据.     

基于边缘云计算的人体数据传感架构

为了解决基于云平台的架构方法在处理人体监测传感数据时无法很好地支持实时性和可移动性的问题,该文提出一种基于边缘云计算的人体数据传感架构,并将其运用于大数据分析.其构建了3层云计算人体数据流架构,分别由无线体域网、边缘云系统和中央云系统组成.针对人体数据流架构提出了支持实时性和可移动性的移动服务架构,该架构在中央云数据中心和用户之间使用边缘服务器,在此基础上设计了边缘云的数据传感架构,该软件架构包含3层应用程序接口,分别应用于传感器设备、边缘云和中央云.设计了能够支持多种类型应用程序的存储架构,优化传感架构并提高数据存储可靠性.实验结果表明,基于边缘云的架构降低了由虚拟机容量导致的故障率和服务器整体利用率,同时在服务时间和数据处理时间方面均优于现有的架构.     

一种支持大数据集成架构的多维分析系统

面对新型数据管理和分析环境,结合高校信息化建设中业务统计分析要求,本文设计了基于数据仓库架构的多维分析系统,实现了人事主题数据仓库及多维分析模型,满足了灵活高效的教职工信息分析的需求;同时,设计了基于传统数据仓库、Hadoop和数据库集群之上的透明访问网关和支持大数据集成架构的BI分析系统,为未来高校信息化建设中的数据分析系统建设奠定了基础.     

基于B/S的应用型本科科研管理信息系统设计

在对应用型本科的科研管理工作进行深入分析的基础上,以B/S/D体系结构为架构,JSP为开发工具,设计并实现一套基于B/S的科研管理信息系统.内容包括科研档案管理、科研信息管理、科研工作量化、数据统计分析和上报.多数据库设计与用户身份鉴别技术提高了数据的一致性与安全性.将计算机技术、网络技术和数据库技术综合运用,使得科研管理工作更加规范化、科学化、现代化.     

一种支持大数据集成架构的多维分析系统

面对新型数据管理和分析环境,结合高校信息化建设中业务统计分析要求,本文设计了基于数据仓库架构的多维分析系统,实现了人事主题数据仓库及多维分析模型,满足了灵活高效的教职工信息分析的需求;同时,设计了基于传统数据仓库、Hadoop和数据库集群之上的透明访问网关和支持大数据集成架构的BI分析系统,为未来高校信息化建设中的数据分析系统建设奠定了基础.     

基于LevelDB的二维数据二级索引实现

随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的Key-Value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是Key-Value结构的局限性使其无法有效地索引空间数据,对于这个问题本文提出了一种基于LevelDB和R-tree的二级索引,使其可以支持二维数据的索引和近邻查询.实验结果表明该结构有较好的可用性.     

基于MapReduce的关系型数据仓库并行查询

针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索引等查询优化优势相结合.实验证明基于MapReduce的ChunkDB数据库能够为数据仓库应用提供快速高效的并行查询.     

数字化转型背景下我国金融机构业务与技术融合发展的路径

近年来,我国金融行业数字化转型不断提速,金融机构数字化转型已迫在眉睫.金融机构面临的数字化转型环境包括3个方面:一是大数据走向跨界融合;二是人工智能加速发展;三是区块链等技术建立了新型连接关系.基于以上环境分析,文章认为金融机构数字化转型的核心在于业务与技术融合,需要在机制、组织、架构、人才和文化层面实行再造.     

基于TPC-DS的数据库测试工具实现

为测试国产数据库和各大厂商数据库处理数据性能以便设计人员选择合适的大数据管理系统,设计了一款基于TPC-DS测试标准的数据库处理性能测试软件TPC-DS_Utensil。通过分析TPC-DS测试标准设计了加载(Load)测试、功率(Power)测试和吞吐量(Throughput)测试三大核心功能;为了方便设计人员对测试过程进行监控与分析设计了查询验证、性能计算和日志管理等辅助功能。通过对MySQL、Oracle、Hive和Hbase进行性能测试,表明该测试工具能够准确地反映服务器性能。     

海量数据管理技术在桥梁结构监测中的应用

介绍了桥梁结构监测中海量数据管理的现状,提出大型数据存储技术在桥梁结构监测中的应用,着重论述了海量数据存储与管理系统的总体方案,提出了数据管理平台的总体架构,构建了一套架构先进、性能高效的海量数据存储与管理平台。基于数据库集群技术,通过ORACLE数据库平台,有效地实现了大数据的管理使用,为大型桥梁的状态评估和日后的状态预测、溯源提供数据依据。     

基于C/S架构的光纤智能预警系统的软件设计

以C/S架构为基础，根据光纤预警系统的需求建立了系统的平台网络结构.系统依据总体架构可划分为服务端(Server)和客户端 (Client)2部分.服务端主要包括DSP通信模块、前后端交互模块、数据库模块和算法模块；客户端主要包括前后端交互模块、地图显示模块、历史报警查询模块和参数设置模块.设计了基于C/S架构的实时数据软件系统，完成了各功能模块在VS中的实现，并将其移植到系统服务器上进行了性能测试.测试结果表明，本系统能够有效完成数据报警信息的实时处理.     

大数据平台网络数据库云计算技术优化与平台搭建研究

利用云计算等先进技术对网络数据库进行优化总结。基于云计算等技术重新设计了一种面向大数据的网络数据库,实现了平台操作设计、集群模块搭建以及数据整合与预处理等。基于云计算等技术对网络数据库进行优化,是实现网络数据库存储容量提升,全面优化大数据时代网络数据库并发性、提高海量数据状态下网络数据库利用率的重要举措。     

油指纹鉴别中主成分分析法的实现与可视化表达

基于Oracle的油指纹数据库管理系统,提出了油指纹鉴别方法的软件设计架构,并讨论了.NET环境下使用C语言实现主成分分析算法以及点图绘制技术。结合主成分分析方法在溢油鉴别中的应用,从面向对象的思想出发,进行接口和类的设计,实现了主成分分析的算法以及可视化表达,基于此架构可以设计出更多的油指纹鉴别方法,具有灵活方便的扩展性。此方法能够针对大量油样数据进行分析并能够快速缩小可疑溢油源的范围,提高溢油鉴别的效率。