一种分布式实时内存数据库的系统故障恢复模式

提出了一种适合分布式实时内存数据库的、基于日志的故障恢复模式.在该恢复模式中,日志记录被存储在非易失高速存储设备中,非易失日志存储区依据事务类型被分成四个不同的日志分区,不同类型事务的日志被存储在不同的日志分区;采用了执行频率动态可调的模糊检验点模式,在检验点执行过程中,一些无用的日志记录被删除;故障发生后,系统重启、恢复时,分区重装策略被采用;恢复算法结合相关恢复协议,确保了全局事务故障的原子性.实验显示,该故障恢复模式明显地改进了系统性能,提高了实时事务满足截止期的比率.     

面向日志结构化数据存储的高效数据加载

近年来,随着互联网技术的快速发展,无论是互联网企业还是传统的金融机构,用户量和业务处理数据量都在快速地增长.传统的通过增加服务器并采用基于分库分表的方法来解决扩展性问题,需要大量的人工维护成本和硬件开销.为降低开销和分库分表带来的各种问题,业界通常用新型数据库系统替换原有的系统,其中,基于日志结构合并树存储的数据库系统(如OceanBase)被广泛采用,这类系统磁盘上存储数据块呈现全局有序的特征.在从传统数据库切换到新型数据库过程中,需要将大量数据加载到新数据库系统中,长时间加载的过程中可能出现数据库节点宕机.为了减少总加载时间和故障恢复时间,提出了一种负载均衡且支持高效容错的数据加载方法;为了支持负载均衡的数据加载,与预确定分区划分数据的方法不同,考虑到目标系统默认存储块大小,采用通过基于文件大小和目标系统默认存储块大小预计算分区数目,并利用分库分表的数据导出往往已经排序的特点,采用选取部分采样块和等间隔选取样本的方式确定分区之间的切分点,避免了全局采样和随机或头部样本选取方式确定切分点带来的高开销;为了加快故障恢复速度,利用日志结构合并树存储系统的多备份减少故障恢复时的数据量,提出了基本副本局部故障恢复方式,避免了完全重新加载的故障恢复方式.实验结果表明,相比采用预确定分区数目和全局选取采样块的随机或头部选取样本方法,采用预计算分区数目和部分选取采样块的等间隔选取样本确定切分点的方法,提高了数据加载的性能,并且验证了基于副本局部故障恢复方法相比完全重启加载恢复方法的高效性.     

内存数据管理技术在族谱信息系统中的应用

设计并实现了具有数据录入、数据服务、数据输出功能的族谱信息系统.族谱信息系统采用了分布式结构,在每个分布数据节点引入内存数据管理技术,采用列存储模型,自动初始化热点数据,并根据用户请求组织数据建立索引,同时利用事务日志对每个分布数据节点的内外存进行数据同步,对中心数据节点和分布数据节点进行数据同步.     

基于SN并行结构的网络取证日志隐匿安全管理

针对目前应用于网络取证的日志结构多样,存贮分散,缺乏证据能力保证和难以进行综合取证分析的问题,提出并建立一种基于无共享资源SN(shared nothing)并行结构的安全日志隐匿管理系统.该系统将分散的异构的日志记录由日志代理和管理网关收集并转发到多个存贮节点.各存贮节点采用信息分配算法IDA(information dispersal arithmetic)将日志记录分散为n份并存贮相应分片,计算所有分片单向散列值并保存.取证分析时,管理网关利用任意m(m相似文献   

基于分离日志的闪存数据库系统存储管理方法

闪存在企业级计算环境中的不断应用使闪存数据库成为一个新的研究热点.针对数据库数据更新的特点以及已有闪存存储管理方法的不足,提出了一种新的基于分离日志的闪存数据库系统存储管理方法(OPL).OPL方法通过提高日志页的空间利用率来减少闪存写操作和擦除操作数量,从而提高数据更新性能,该方法还提供了对事务恢复的支持.     

基于插件技术的日志采集Agent系统的设计与实现

为了从多源日志信息中灵活地采集数据,在代理技术的基础上提出采用插件技术来实现多源日志采集Agent系统.日志采集工作由多个采集代理来完成,每个代理可以完成一个或多个日志源的数据采集,同时每个日志源被当作代理上的一个插件.基于此设计了日志采集Agent系统的体系结构和工作流程,并通过插件配置和正则表达式来实现各日志源的采集知识定义,从而使多源日志的采集问题得到较好地解决.与其他日志采集系统相比,该Agent系统不仅可以解决多源日志的采集工作,而且具有良好的扩展性和高效性.     

基于CC2530的分区多元数据采集系统的设计与实现

针对需要分区采集多种不同数据的应用场合,提出一种以CC2530射频芯片为主控器的分区多元数据采集与显示系统的设计及其实现方案.系统通过读取各个传感器的数据并通过芯片自带的RF收发器发送到中心节点,再由中心节点将数据发送到上位机进行显示,完成了多元数据的采集及显示.     

P2P流媒体邻居节点组织与行为预测

针对当前流媒体系统用户行为研究缺少单一节点角度的长期行为特性分析及利用的问题,提出一种P2P流媒体邻居节点组织与行为预测策略(POPP).该策略基于流媒体系统中节点长程行为的互相关及自相关特性,通过在数据交互中收集其他节点的在线、延迟及带宽信息来计算邻居节点的综合可用性,维护能够为自身提供优质服务的潜在邻居节点表,并通过基于马氏链的节点行为模型预测邻居节点的未来在线状态.用户日志驱动的仿真实验结果表明,邻居节点组织策略有效提高了邻居节点对自身的服务质量,长期训练后的节点行为预测准确率达97％以上.     

基于数据段优先级分区重装策略

提出一种基于数据段优先级分区重装策略PRS-DSP,其考虑数据特征及与之相关的事务特点,根据数据段优先级对数据库进行分区,并为每个分区设置相应重装频率,故障恢复时按照数据分区的重装频率来分区重装数据库,系统恢复服务后,根据新事务对数据的请求及数据分区重装频率来设置剩余分区的重装优先级。模拟实验结果表明,该分区重装策略降低了系统事务超截止期比率,其重装性能明显优于完全重装策略。     

基于逻辑日志的内存数据库恢复子系统设计

根据嵌入式系统环境的特点及其恢复需要,提出一种基于逻辑日志的嵌入式内存数据库恢复子系统设计模式,该子系统采用一主两副的节点模式,保证了数据对象恢复时状态与逻辑日志写时状态的一致性.经过验证试验表明该子系统有效地减少了日志信息量,缩短了系统的恢复时间,提高了系统的性能.     

分布式日志结构数据库系统的主键维护方法研究

目前在电子商务、社交网络、移动互联网等各类应用中存在大量的写密集型负载(例如,电子商务的秒杀活动、社交用户生成的数据流等),这使得基于日志结构的存储成为现代数据库系统中普遍的后端存储方式.而基于日志结构的数据存储方式一般只支持追加操作,高效的主键维护(主键的生成和更新)可以很好地提升数据库追加操作的性能.此外,在分布式和并发的环境中实现主键维护功能还要面临主键唯一性约束、事务性维护、高处理性能的挑战.因此,本文针对日志结构数据存储的特点,研究了如何在分布式日志结构数据库系统中实现高效的主键维护功能.首先,我们提出了两类先读后写操作的并发控制模型;其次,我们应用这两类模型设计了几种高效的主键维护算法;最后,我们在自己的基于日志结构的分布式数据库系统CEDAR中实现了本文提出的主键维护方法,并通过一系列实验验证了所提方法的高效性.     

一种采用Chord协议的网格日志系统

为记录在大规模网格环境中发生的事件,提出了一种联合使用服务和Chord协议的日志服务系统.通过Chord协议中的一致哈希算法,把采用订阅通知的方式收集来的系统节点的性能数据和系统中所发生事件的记录,分布式存储于日志服务系统中;为了把Chord协议和Web service相结合,对Chord协议的节点加入算法做了修改,使得数据发布服务可以作为Chord节点动态加入离开Chord网;为了在日志系统中查询数据,在Chord协议基础上加入了基于元数据查询的算法.     

基于Paxos的分布式一致性算法的实现与优化

互联网的不断发展,企业的信息化程度不断加强,不计其数的数据需要得到及时处理.但是网络环境不稳定,容易发生数据丢失、节点宕机,从而造成严重后果.因此,构建可以容错的分布式存储系统变得越来越受欢迎.为了保证系统的高可用性和一致性,需要引入分布式一致性算法.为了提高系统在不稳定网络下的性能,传统基于Paxos的分布式系统允许日志中存在空洞.然而,当节点进入恢复状态时,这些系统通常需要大量网络交互来补全日志空洞,这极大地增加了节点恢复的时间,从而影响了系统的可用性.针对节点恢复过程中补全日志空洞代价过大的问题,本文重新设计了日志项结构,优化了数据恢复流程,通过实验模拟,验证改进的基于Paxos的一致性算法的有效性.     

基于B/S模式的服务器性能监控系统

本文提出一种基于B/S(Browse/Server)模式下服务器性能监控系统方案,目的是为网络管理人员提供一种更直接方便地了解软件性能的方法.该方案分为两大功能模块:当前资源使用情况监控和日志查看.前者实现对服务器运行过程中系统资源的远程实时监控并将监控数据记录到数据库中;日志查看是通过Ajax异步调用数据库中的监控数据,并利用Silverlight在客户端脚本中绘制曲线,形成波形图,为管理人员的调试和维护提供参考.系统采用B/S模式,使管理人员在性能测试和网络维护遇到问题时可以随时随地查看服务器端的情况.仿真实验结果表明该方案切实可行.     

一种维护分布式数据库中数据一致性的方法

通过对几种维护分布式数据库一致性方法的优缺点的比较分析，提出一种基于事务日志表的数据一致性的维护方法，给出一个简单例子的部分实现．这种方法较成功地运用于黑龙江省公路养路费微机管理系统的实施中．     

基于ELKB日志管理系统的应用

针对现阶段云平台应用日志运维效率低的问题,研究一种基于ELKB架构的日志管理方案。该方案可实现对日志数据的高效采集和统一存储,并提供日志查询和可视化分析的功能。详细阐述日志的采集和存储方案,提出优化采集器Filebeat基础参数的方法,日志存储过程部署Elasticsearch集群模式,并总结Elasticsearch集群节点的性能提高方法,以此为基础搭建日志可视化管理系统。实验结果表明：参数优化后的Filebeat进行日志采集时,内存占用率与默认配置相比降低47%;Elasticsearch集群模式在进行关键字查询时的数据吞吐率高于单机服务器250req/s,且集群节点的段合并优化有效降低了日志的索引内存占用率,内存优化百分比介于11.9%和22.1%之间。可见日志管理系统部署方式灵活,有效提高了日志采集和检索效率,为云平台日志管理提供了可行的方案。     

局部对称算法在区块链分布式存储中的优化

提出一种局部对称算法,将区块链系统中的节点划分为多个节点子集,每个节点子集生成一个私钥对数据进行加密,将加密后的数据分布存储于节点子集的节点中.利用局部对称算法将哈希值和私钥分别设为全局秘密和局部秘密,用局部秘密对数据区块进行加密并将结果分布存储于节点子集的节点中,用基于中国剩余定理秘密共享的分布式存储方案对私钥和哈希值进行有效存储,达到降低存储成本和通信成本的目的.仿真结果表明,对比减存储算法和单节点故障算法,局部对称算法在区块链分布式存储中的存储成本和通信成本更低.     

InnoDB重做日志深入分析

在Inno DB的引擎实现中,为了实现事务的持久性,针对重做日志深入分析,构建了重做日志系统。重做日志由内存日志缓冲区(redo log buffer)和重做日志文件两部分组成,日志缓冲区是为了加快写日志的速度,而重做日志文件是为日志数据提供持久化的作用。     

基于Cluster的并行内存数据库恢复机制的设计与实现

文章提出的恢复子系统模型是根据差分日志记录的特点,将已提交事务的日志经并行日志管理器收集后并行写入到多个磁盘,通过“协调者”全局检验点和站点局部检验点的协调操作,具有更高的并发度和更高的系统吞吐量,并且能快速地支持系统失败恢复．经过验证试验表明该子系统有效地减少了日志信息量,缩短了系统的恢复时间,提高了系统的性能．     

基于联邦迁移学习的应用系统日志异常检测研究

迄今为止，基于日志的异常检测研究已经取得了很多进展，然而，在现实条件下仍旧存在两个挑战：（1） 是日志数据通常以“数据孤岛”形式储存在不同的服务器上，单一公司或组织的日志数据中异常样本量不足，且异常模式较为固定，很难通过这些数据训练出一个准确率高的检测模型. 为了解决这个问题，将不同来源的日志数据整合成更大的数据集可以提高模型训练的效果但可能会在数据传输过程中产生日志数据泄露问题；（2） 是不同应用系统类型的日志数据通常在结构和语法上存在差异，简单地整合并用于训练模型效果不佳. 基于以上原因，本文提出一种基于联邦迁移学习的日志异常检测模型训练框架LogFTL，该框架利用基于匹配平均的联邦学习算法，在保证客户端数据隐私安全的前提下于服务器聚合客户端的模型参数形成全局模型，再将全局模型分发给客户端并基于客户端的本地数据进行迁移学习，优化客户端本地模型针对自身常见异常行为的检测能力. 经过实验表明，本文提出的LogFTL框架在联邦学习场景下效果超过了传统的日志异常检测方法，同时也证明了该框架中迁移学习的效果.