一种通用的数据交互接口模型及其应用

为改善研究生教育领域中相关数据的交互在灵活性和实时性方面存在不足的现状,提出面向研究生教育领域通用数据交互接口模型:采用分组式的发布/订阅数据传输模型,将应用服务的发布与订阅、数据的传输分组进行管理和实现,通过基于更新日志的数据同步方法实现数据同步,最终完成数据的交互。该模型已在山东省部分高校应用,有效满足了各高校数据交互在灵活性与实时性方面的需求,也提高了系统的安全性和通用性。     

一种基于流的新型数据综合利用架构

针对传统数据综合利用技术手段的不足,提出了一种基于流的新型数据综合利用架构.该架构以消息队列为数据载体,消息和发布/订阅模型为核心,通过设置数据生产者、数据处理者和数据消费者三种角色并合理安排角色职责和关系,实现了对实时数据的综合利用.经过试验证明,该架构开放性良好、高效稳定、灵活性高,解决了系统复杂度和效率问题.     

基于实时操作数据存储的动态警情分析

通过监控公安业务系统日志, 从业务系统日志中实时抽取细节数据到操作数据存储, 实现操作数据存储与业务系统的秒级实时同步, 建立基于“日志 操作数据存储 数据仓库”三层体系结构的公安数据仓库, 基于即时在线联机分析查询、 操作数据存储的多维数据集动态更新和数据集市的多维数据集, 提供即时在线联机分析服务. 实验结果表明, 该动态数据仓库能够提供实时警情决策分析, 并且具有对业务系统负荷小、 实时性强、 访问效率高等特点, 较好地满足了公安系统对实时性的要求.     

基于联邦迁移学习的应用系统日志异常检测研究

迄今为止，基于日志的异常检测研究已经取得了很多进展，然而，在现实条件下仍旧存在两个挑战：（1） 是日志数据通常以“数据孤岛”形式储存在不同的服务器上，单一公司或组织的日志数据中异常样本量不足，且异常模式较为固定，很难通过这些数据训练出一个准确率高的检测模型. 为了解决这个问题，将不同来源的日志数据整合成更大的数据集可以提高模型训练的效果但可能会在数据传输过程中产生日志数据泄露问题；（2） 是不同应用系统类型的日志数据通常在结构和语法上存在差异，简单地整合并用于训练模型效果不佳. 基于以上原因，本文提出一种基于联邦迁移学习的日志异常检测模型训练框架LogFTL，该框架利用基于匹配平均的联邦学习算法，在保证客户端数据隐私安全的前提下于服务器聚合客户端的模型参数形成全局模型，再将全局模型分发给客户端并基于客户端的本地数据进行迁移学习，优化客户端本地模型针对自身常见异常行为的检测能力. 经过实验表明，本文提出的LogFTL框架在联邦学习场景下效果超过了传统的日志异常检测方法，同时也证明了该框架中迁移学习的效果.     

基于增量式学习的海量数据流实时预处理模型

针对海量数据环境下对数据流预处理实时性和高效性的需求,文中提出了一种大规模数据环境下的数据流实时预处理模型,基于MMHC（Max-Min Hill-Climbing）并运用增量式学习的方式改进贝叶斯网络模型的构建过程,提升预处理模型的有效性,同时也减少了因模型更新所消耗的时间,在一定程度上防止了数据的积压,支持网络结构的动态更新,适用于更复杂的数据环境.     

基于DCPS通信模型的分布式实时飞行仿真

为满足飞行模拟机仿真模型对数据传输的实时性和可预测性要求,基于以数据为中心的发布/订阅通信模型(DCPS),设计实现了一种分布式实时飞行仿真系统.对DCPS通信机制、主题与订阅的匹配语义及其提供的质量服务策略(Qos Policy)进行了深入系统的研究,提出了飞行仿真系统的组件化设计方法,并给出了一致的组件接口和实时数据传输的实现步骤.在用于研究的Boeing 737-800飞行模拟机上对该方法进行了试验验证,结果表明:仿真节点间的通信时延稳定在0.2 ms以内,时延抖动不超过5μs,该方法有效地满足了飞行模拟机仿真模型对数据传输的实时性和可预测性要求.     

异构数据库间主动式差异数据同步模型研究

随着各类信息管理系统的广泛应用, 解决异构数据库间数据集成和数据同步就成了当前的研究热点. 针对目前数据集成中主要存在的差异更新难以实现和不能实时同步更新两个主要的技术难题,在充分研究数据集成的基本理论和相关技术的基础上,提出了异构数据库间进行差异数据主动式数据同步的模型, 该模型利用Java,XML,ODS等技术, 通过在异构数据节点上部署数据包装器和日志监视器, 完成异构数据库间主动式双向点对点数据差异实时同步.     

基于分离日志的闪存数据库系统存储管理方法

闪存在企业级计算环境中的不断应用使闪存数据库成为一个新的研究热点.针对数据库数据更新的特点以及已有闪存存储管理方法的不足,提出了一种新的基于分离日志的闪存数据库系统存储管理方法(OPL).OPL方法通过提高日志页的空间利用率来减少闪存写操作和擦除操作数量,从而提高数据更新性能,该方法还提供了对事务恢复的支持.     

基于NDN的高效发布/订阅系统设计与实现

TCP/IP(transmission control protocol/internet protocol)网络下的发布/订阅系统受限于IP与位置的绑定关系,需要复杂的中间件进行发布者与订阅者之间事件的匹配.命名数据网络(named data networking,NDN)以数据命名取代IP的主体地位,由于其具有上下逻辑拓扑一致性、天然支持多播、具有网络层缓存、多路径转发等特点,故NDN在实现发布/订阅系统上更简洁、高效.设计了一个基于NDN的高效发布/订阅通信协议,并且利用NDN的命名机制对传输小块数据的发布/订阅通信协议进行了进一步优化,使得发布过程的网络开销减少一半.在Android平台上实现了分别代表大块数据和小块数据传输的新闻和天气信息发布/订阅系统,功能验证显示系统支持分布式多发布者、多订阅者的发布和订阅活动,而且对用户操作具有一定的容错功能.在ndnSIM上对所设计的2种发布/订阅通信协议进行模拟,实验结果显示优化后的发布/订阅通信协议在系统效率、传输时延2个性能指标上都优于通用情况的发布/订阅通信协议.     

订阅/发布模式下多节点协同的数据分发方法

为了提高分布对称体系结构的订阅/发布系统对大数据量内容的分发效率,提出了一种基于订阅节点协同的数据分发方法.首先,利用MD5算法将订阅节点映射到32 bit逻辑地址空间中;然后依据订阅者与发布者间的逻辑距离所处区间,将订阅节点集合划分成独立不相交的桶,为主题数据的转发规划出合理的路径,且该数据分发路径能适应系统的动态变化.基于逻辑距离的桶分割方法确保了数据分发的单向收敛性,限制了分发路径的深度.真实环境中的实验结果表明,基于订阅节点协同的分发方式通过利用订阅节点的资源,降低了对GB级数据量内容进行分发的分发时延,减轻了发布节点的负载,与传统的点对点分发方式相比,数据分发效率得到了显著提高.