Redis可扩展与高效复制方案的设计与实现简

为了解决Redis数据库复制性能差和扩展性差的问题,该文设计了一个Redis可扩展与高效复制方案,即基于文件共享的主从复制和基于一致性哈希的集群(RSCCH-Redis,Replication on Share and Clusters on Consistent Hash of Redis)方案.该方案在Redis应用中引入了一致性哈希以实现可扩展性及引入了基于文件共享的主从复制功能来提高复制性能;采用一致性哈希作为映射方式,并在其中引入了虚拟节点,这样不但保证了映射关系的单调性与分散性,还保证了映射的负载均衡性;采用文件共享的主从复制方式,可以避免初次复制时大量的数据传输,减轻网络压力,加快复制速度,从而减少故障恢复时间.实验数据表明,该文设计的Redis高可用方案RSCCH-Redis不但解决了Redis数据库复制性能差的问题,而且有着良好的可扩展性.     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

基于OCC-DA-MCP算法的Redis并发控制

该文以提高Redis内存数据库的并发性能为目的,通过研究现有的内存数据库并发控制算法,然后结合Redis架构,设计并实现了基于OCC-DA-MCP算法的Redis并发控制.仿真结果表明,该算法在一定程度上改善了现有Redis并发控制算法存在的浪费的执行和不必要的重启等问题.     

基于一致性哈希的Web跨域认证优化方案

提出一种Web跨域认证优化方案.该方案在认证服务器和一致性哈希的环形空间上的虚拟结点之间建立了映射关系.应用服务器通过计算一个唯一标志的哈希值来选择认证服务器进行用户身份认证,允许以最小的代价增加或移除认证服务器,并且,具有较强的负载均衡能力和较好的冗余机制.该方案使用Web协议传递认证消息,适用于对安全性要求不太高、对性能和扩展性要求较高的互联网服务.     

基于一致性哈希算法的分布式数据库索引查询优化方法

为了解决分布式数据库索引查询负载不平衡的问题,基于一致性哈希算法设计了分布式数据库索引查询优化方法.根据分布式数据库服务器节点CPU处理能力、带宽和缓存大小,采用动态反馈机制计算各服务器节点的索引查询负载率,通过一致性哈希负载平衡算法将任务分配给各服务器节点,并实时调整负载.以最小总代价为目标,利用多蚁群算法求得最佳查询路径.实验结果显示,基于一致性哈希算法的优化方法整体曲线趋势较平稳,在用户请求数量为4 000条时,最大负载平衡度为1.5%,全程响应时间小于35 ms.这说明该方法能够有效调整分布式数据库的负载分布,且受数据库规模影响较小,具备强大的查询响应能力.     

可扩展分布式关系型云数据库方案

为满足云数据库高并发、高可扩展和高可用性的需求,在分析各种关系型和NOSQL数据库的基础上,借鉴关系型数据的便捷性与NOSQL的可扩展性,提出了一种可扩展性的关系型云数据库方案.该方案提出了全新的系统架构、数据库读写流程、数据合并流程、数据模型和数据结构与存储,并对其系统架构理论存在瓶颈进行分析.最后对数据一致性、可用性和线上运行性能进行分析,结果表明此方案可行.     

基于图论的视觉显著模型的图像哈希算法

近年来,图像哈希算法在多媒体安全领域引起了广泛的关注,已成功应用于社会事件检测、复制检测、数字水印等领域,但许多算法在鲁棒性和唯一性之间没有达到很好的平衡,针对这个问题,本文提出了一种基于图论的视觉显著模型的图像哈希算法。该算法首先通过GBVS模型构造预处理后图像的视觉显著图,然后通过Logistic混沌映射生成位置映射数组,最后对数组数据进行哈希加密并得到最终的哈希值。利用公开的数据集去验证该算法的性能,结果表明该算法可以抵抗常见的数据操作,其分类性能也优于某些文献算法。     

基于取模运算哈希函数映射均衡性研究

在基于哈希的应用中,选择恰当的哈希函数,将KEY均匀映射到各个哈希地址中,对于哈希查表 性能的提高有着重要的意义。提出了一种衡量哈希映射均衡性的尺度,对基于取模运算的哈希函数如何根 据KEY的分布特性,选择恰当的模值,以达到均匀映射的目的进行了较为深入的研究,对于实际应用有着 一定的指导作用。     

基于用户访问统计特性的流媒体文件复制策略

该文采用数理统计方法,根据用户访问统计特性预测文件流行度,结合文件自身属性,确定副本生成数量;针对不同流媒体服务器资源属性,采用动态区间映射方法进行副本放置.实验表明,基于用户访问统计特性的文件复制策略,提高了系统服务性能,保证了系统的负载均衡.     

基于语义相似度的无监督图像哈希方法

哈希方法作为最近邻搜索中的一个重要算法,具有快速及低内存的优良特性,能够较好地解决现实图像数据库中存在的样本标签信息缺失、人工标注成本过高等问题,因此在图像检索领域得到广泛使用.提出一种基于语义相似度的无监督图像哈希方法.首先对原始图像进行语义聚类,然后基于图像的语义相似性,把原始图像特征映射到汉明空间;同时,为了增强哈希学习的鲁棒性,在所得到的目标函数中,采用了l2,p范数(0p≤2)来代替l2范数进行哈希学习.通过在两个公共图像检索数据库CIFAR-10和NUS-WIDE的实验结果证明,与现有方法相比,本方法的平均精度均值提升了5%.     

基于MongoDB集群的遥感数据存储方法研究

应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的高速内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型.最后针对文中存储方法提出了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储.     

基于数据挖掘的IDS日志算法的改进

提出了一个基于最小完美哈希函数的关联规则的数据挖掘算法.基于Apriori 的算法,在综合了传统哈希剪枝技术的同时,利用最小完美哈希函数的优点,保证了静态数据库关联规则挖掘,可以对关联规则的哈希结构数据进行动态的调整.该算法提高了挖掘效率,通过抑制哈希地址冲突提高了算法的稳定性和可用性.     

OceanBase一致性与可用性分析

OceanBase作为一个面向海量数据查询的分布式数据库,支持关系查询和跨行跨表事务,同时保证了一致性和可用性.本文在详细阐述了一致性与可用性的背景基础上,根据传统数据库和分布式数据库保证一致性和可用性的协议和策略,对OceanBase的一致性和可用性架构进行分析.最后,探讨了基于OceanBase架构演变而来的3种架构的实现方案.     

键值数据库中弱数据一致性改进技术研究

当前数据库中弱数据一致性维护方法存在读写性能低、集群性能差的问题,为此,提出一种键值数据库中弱数据一致性改进方法。采用数学归纳法建立hash值空间的上下限,利用哈希函数对数据库中的冗余数据进行优化;在此基础之上,通过建立未知弱数据和己知弱数据之间的回归预测模型,同时利用BP网络算法对数据迁移中的缺失数据进行采集,以保证数据的一致性。实验结果显示,与传统方法相比,采用本文方法读写性能更好,且对数据块越大,吞吐量成倍提升。     

键值数据库中弱一致性数据存储优化技术

当前数据库中弱一致性数据维护方法存在读写性能低、集群性能差的问题。为此,提出一种键值数据库中弱一致性数据改进方法。采用数学归纳法建立Hash值空间的上下限,利用哈希函数对数据库中的冗余数据进行优化;在此基础之上,通过建立未知弱数据和己知弱数据之间的回归预测模型,同时利用BP网络算法对数据迁移中的缺失数据进行采集,以保证数据的一致性。实验结果显示,与传统方法相比,其读写性能更好;且对数据块越大,吞吐量越提升。     

基于区块链的无线体域网数据云存储完整性研究

针对无线体域网数据云存储的安全问题,设计了基于区块链的访问控制框架,框架通过区块链技术与数字签名相结合控制用户的访问请求;通过区块存储访问请求及其数字签名,利用改进的Raft算法保证节点间的区块链一致.其次,设计了有序数组和Merkle树相结合的方式存储数据,哈希表和Merkle树相结合的方式存储数据的访问请求;再次,提出针对无线体域网数据的完整性验证方案.最后,对区块链的一致性、数据完整性验证方案进行实验.结果表明,提出的框架能使各用户节点协同对访问请求进行控制,并且均能验证数据的完整性.     

LTE-Advanced系统中改进的载波聚合HARQ进程映射机制

分析了LTE-Advanced系统在引入载波聚合技术以后,混合自动重传请求(HARQ)进程映射机制的设计问题.简述了载波聚合技术和HARQ技术原理,介绍了目前载波聚合中的HARQ映射方式,指出目前映射方式存在的问题,并针对该问题提出了一种半静态可变HARQ进程映射方案,在不同条件下对该方案进行了仿真分析,仿真结果说明新方案实现了对分集增益与开销的折中,能够改善系统综合性能,具有良好的应用前景.     

基于时间标签的可扩展准入控制方案

资源预留协议允许通信的双方预留诸如带宽等资源以提供一种有保证的服务.基于当前资源预留体系结构在拥有大量流的核心网络中,其可扩展性存在着严重的不足,提出了一种简单的资源预留协议和一种可扩展的准入控制算法,可为单个的流提供较严格的服务质量保证,而不用在网络的核心维护每个流的状态信息.通过将每个流映射到一个确定的时间,该方案解决了目前困扰端点准入控制方案有效性的问题.描述了整体的准入控制过程,通过分析说明了方案的合理性,并用仿真验证了其性能.     

使用兴趣子网划分算法对Gnutella中资源定位机制的改进

Gnutella是一种对等网络文件共享应用，使用“洪泛”算法进行资源定位，具有简单、容错的特点，但扩展性差．提出一种基于兴趣本体模型对用户兴趣进行建模，通过将具有相似兴趣的节点建立直接连接构成兴趣子网，从而有效地避免在Gnutella中使用广播扩散方式进行资源定位，以提高Gnutella的可扩展性和内容定位性能．仿真实验证明了兴趣子网模型是有效的。     

基于MSMQ的海量数据访问考试系统解决方案

分析了现有考试系统在应对海量数据访问时性能下降的原因,提出了一种基于MSMQ(微软消息队列)的海量数据并发访问的解决方案.该方案以同步和异步传输相结合的方式传递消息,既有效缓解了数据库的压力,又增加了系统的可靠性和可扩展性.