基于MAS的Web用户数据预处理

数据预处理是采用基于Web的使用挖掘发现用户模式的第一步.由于Web用户数据来源的不同,不仅导致用户的识别困难,用户访问页面的完整性也难于得到保证,这给下一步的用户模式发现带来了问题.本文提出了一个基于MAS的数据预处理方法:在客户端采用Agent精确捕获用户浏览行为,构造用户访问图;在服务器端的Agent保存服务器生成页面,并根据客户端Agent返回的数据完整获得用户的访问内容,为有效实现用户模式发现提供了保证.     

基于Hadoop的移动云存储系统研究与实现

通过对移动存储进行需求分析,提出了一种基于Hadoop的移动云存储系统.移动云存储系统通过手机客户端与服务器端和云端进行数据交换,达到访问云端数据和加密存储数据的目的.本系统实现了基于Android移动手持终端上的文件移动云存储,达到了实时查看和分享数据的目的;对用户信息采用对称加密算法,保证了文件存储过程中用户信息的安全;利用Hadoop云管理平台和AES文件加密算法,保证了在存储在云端文件的安全.     

一种基于源端数据重删的数据备份和恢复系统设计与实现

针对当前源端数据重删技术中,数据重删效率低、计算指纹耗时长以及频繁操作数据库耗时的问题,设计并实现了一种采用基于源端数据重删技术的数据备份与恢复系统.系统通过在客户端预先将数据流进行分段并采用预处理环形队列进行存储,基于可变分块对数据段进行分块,整个处理过程并发执行,因此该预处理并发计算模块有效缩短了计算时间,而服务端通过用容器存放临近的数据块与索引信息,设计以容器为单位的多级缓存,明显提高缓存命中率.此外,通过使用布隆过滤器与多级缓存减少了数据库的操作频率.仿真实验表明该系统能有效提高数据备份与恢复效率.     

基于分段的适应性流媒体缓存管理算法

为提高流媒体代理服务器的缓存效率,从而提高整个流媒体服务系统的性能,提出一种基于用户访问模式的适应性媒体分段缓存策略。该策略充分考虑用户行为模式对具体影片访问特性的不同,采取有针对性的分段缓存管理策略,可显著提高代理缓存命中率。为避免由于分段策略所潜在引发的播放抖动问题,对相应的预取算法进行了理论分析。事件驱动试验结果表明:所提出的缓存算法命中率较之传统的定长分段算法及系统现有的间隔缓存策略均有显著的性能提高,系统稳定时缓存命中率分别高出后两者54%和31%。     

基于分段的适应性流媒体缓存管理算法

为提高流媒体代理服务器的缓存效率,从而提高整个流媒体服务系统的性能,提出一种基于用户访问模式的适应性媒体分段缓存策略。该策略充分考虑用户行为模式对具体影片访问特性的不同,采取有针对性的分段缓存管理策略,可显著提高代理缓存命中率。为避免由于分段策略所潜在引发的播放抖动问题,对相应的预取算法进行了理论分析。事件驱动试验结果表明:所提出的缓存算法命中率较之传统的定长分段算法及系统现有的间隔缓存策略均有显著的性能提高,系统稳定时缓存命中率分别高出后两者54%和31%。     

基于生存期的云存储元数据缓存算法

针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15％的I/O速度和16％的操作处理速度.     

云存储中双备份数据的安全访问

数据的完整性和私密性是客户将数据存储到云存储中时关心的主要问题.提出了一种新的ORAM结构,其访问云存储时间复杂度为O(1)、需要O(cN)(0c1)客户端存储量和O(N)服务器存储量.将客户数据双倍份到两个服务器中以保证数据的完整性,通过ORAM隐藏客户对服务器的访问模式,敌手无法从客户的访问模式中获取有用的信息,从而实现了数据的私密性.     

并行文件系统客户端缓存对系统I/O性能的影响

对浪潮天梭并行文件系统(LCTS-PFS)客户端缓存性能进行了测试,提出了多客户端访问、带客户端缓存的并行文件系统排队模型.分析了不同缓存命中率、不同缓存空间大小和不同文件长度情况下,客户端缓存对I/O响应时间的影响.分析结果表明:I/O响应时间随缓存命中率提高而减少且在有/无缓存情况下的I/O响应时间曲线存在唯一交点,在此交点之前无缓存情况下I/O响应时间小于有缓存情况,而交点之后结果相反;缓存命中率不发生变化时,缓存空间越大I/O响应时间越长;相比无缓存情况下I/O响应时间,若客户端请求生成率固定,则访问文件越大,缓存对I/O响应时间提升越少;若请求生成率发生变化,则相同缓存命中率情况下,访问的文件越大缓存对I/O响应时间提升越多.性能测试和理论分析一致.     

智能电视“云服务”平台的设计实现

文章主要介绍＂云＂时代智能电视＂云服务＂平台的功能特点、设计原理和技术实现方案。通过对服务器端和网络架构进行改造,目标达到千万注册用户的服务和运营。系统具备海量数据的数据库架构设计、数据仓库的支持和分布式集群支持,且在软件架构不变的前提下,能动态扩展硬件和分布式布点来适应日益增长大并发访问量。     

云存储中双备份数据的安全访问

数据的完整性和私密性是客户将数据存储到云存储中时关心的主要问题.提出了一种新的ORAM结构,其访问云存储时间复杂度为O(1)、需要O(cN)(0c1)客户端存储量和O(N)服务器存储量.将客户数据双倍份到两个服务器中以保证数据的完整性,通过ORAM隐藏客户对服务器的访问模式,敌手无法从客户的访问模式中获取有用的信息,从而实现了数据的私密性.     

一种变粒度的闪存地址映射方案

闪存转换层最重要的功能是地址映射.地址映射需要同时具备高性能和低内存占用.基于需求的页级映射方案DFTL能有效节约内存且具有页级映射方案特有的灵活性,但是这种方案中,每个缓存槽只能存储一条映射记录,当缓存大小一定时,缓存中的映射记录数量有限;此外,这种方案没有考虑到请求的空间局部性.因此这种方案中,缓存命中率较低,DFTL需要频繁访问闪存来读取映射记录,降低了系统性能.于是针对命中率低的问题,提出了一种基于需求的变粒度映射方案VGFTL.这种方案可显著提高缓存的命中率.实验表明,VGFTL缓存平均命中率达到89.85%,远高于DFTL的45.46%,块擦除次数以及平均响应时间这两项指标优于DFTL,其性能接近纯页级映射方案.     

对象存储系统的合作缓存方案

结合对象存储系统的数据访问模式,综合设计客户端和元数据服务的缓存,构造存储系统的合作缓存方案.该方案将客户端和元数据服务器的缓存作为整体进行设计,以达到提高缓存利用率的目的;通过缓存准入策略合理选择数据传送模式,减少数据传送的通信量;同时,合作缓存方案根据数据对象的大小、访问成本和网络负载动态地调整缓存策略,提高存储系统的服务质量.实验显示,合作缓存方案能较好地适应不同的工作负载,有效提高了系统的输入输出性能.     

一种基于缓存对象未来价值的淘汰算法

为解决分布式系统缓存淘汰算法的缓存污染、抖动、命中率低等问题,综合考虑缓存对象最近的访问时间、访问频次、分片优先级和对象大小等因素,提出一种基于缓存对象未来最小价值(LFV)的淘汰算法。通过回归模型预测每个缓存对象的访问概率,利用分片优先级和对象大小计算每个缓存对象的未来价值,将LFV最小的对象进行淘汰。理论分析和仿真结果表明:该策略能有效提高请求命中率,避免缓存污染,降低节点间网络开销,提升了整体服务质量。     

一种面向应用服务器的分布式缓存机制

针对应用服务器对数据库的大规模并发访问所产生的性能下降问题,设计了面向应用服务器的缓存对象管理组件。集成了分布式对象缓存系统Memcached客户端,并采用基于分级队列思想的缓存替换算法。根据队列中元数据内容将可缓存对象存储在不同级别的分布式缓存池中。模拟实验表明该机制能够有效减少数据库I/O负载,降低应用服务器的访问延迟,提高了系统的并发处理能力。     

一种基于频繁项挖掘的大量小文件动态合并算法

分析了当前社交网络中大量小文件数据特点,将访问日志与数据挖掘相结合,提出了一种基于频繁项挖掘的大量小文件动态合并算法.此算法实现小文件动态合并,解决了合并文件的一致性问题,从而预测用户下一步的访问,为预取小文件做引导,提高预取的命中率.针对预取和缓存的文件过多的特点,设计了一种新的含循环单链表的缓存置换算法优化缓存内容.通过实验证明,该算法大量小文件动态合并性能优于已有的算法.     

基于内容流行度的移动CCN缓存策略研究

近年来,为了适应互联网应用由发送者驱动的端到端通信模式向接收者驱动的海量内容获取模式的转变,并从网络体系架构层面提供对可扩展和高效内容获取的原生支持,研究界近年来提出以内容为中心的新型网络(content-centric networking,CCN)体系架构,它能够高效地支持未来互联网上的内容分发.随着移动用户数量的不断增加,未来移动用户也将访问CCN网络,针对内容中心网络中的用户移动性问题,提出了一种基于内容流行度的移动性缓存策略.该策略考虑用户移动性,利用半马尔科夫模型对用户移动性进行建模,同时采用多元线性回归模型对内客流行度进行预测,结合用户移动性与原有内容流行度提出一种移动性缓存策略.仿真实验表明,移动性的加入会对内容的流行度产生较大的影响,该策略能有效地提升缓存命中率.     

无线传感器网络的HBase数据存储模型性能分析

基于HBase数据存储结构的特点,设计了一个有效的实时存储模型,实时的数据流在集群数据库中存储速度更快,满足了用户对数据存储性能的多种需求.使用可拓学原语整合存储在HBase数据库中的异构数据集,存储管理目录研究双层分布式存储架构,提高了存储和访问的效率.研究了在存储空间不够或者集群文本系统的存储空间太大的情况下,HBase数据库集群如何动态地更新或优化数据库空间.仿真结果表明,简单的动态更新HBase数据库集群有助于优化数据库空间使用.     

基于OPC技术规范的远程监控

介绍一种通过采用OPC数据交换接口规范实现的远程监控系统.提出采用双OPC服务器架构实现远程监控,远程客户端不直接通过远程连接访问现场(源)OPC服务器,而是访问同置于远端的远程(目标)OPC服务器,避免了穿越网络执行数据链接的不确定过程,而且便于用户通过支持OPC接口的组态软件或其他可视化OPC客户端软件实现远程在线监控.     

Web智能代理的预取技术和缓存技术

针对同一个工人组中成员可能对Web有相似的兴趣点和访问习惯问题,研究了主要包括缓存和预取两个部分的智能代理技术,研究了代理缓存三种替换算法：LRU和LRU的两种变种,仿真试验表明,LRU算法的命中率极差,将LRU的两种变种相结合则是一种较好的方案,通过引入预测算法和门限算法,代理服务器可以预测最近将要访问到的页面,并存在客户际请求提出之前有选择地下载,因为单个客户访问某个页面的历史次数往往不够多,将预测算算放在代理服务器上比放在客户端的预测概率更准确,通过在代理服务器上实现缓存和预取技术,可减少用户访问Web的响应时间,还可减少实际访问Web服务器的总次数,并提出了一个为发展中国家中国家用户缩减Web访问代价的有效方法。     

云存储中数据安全访问的研究

随着云存储的日益发展,将数据外包存储在不可信的第三方越来越普遍。即使用户对数据进行了加密,攻击者仍然能够通过分析访问模式获得存储数据的信息。在外包存储应用中,无关RAM允许客户对不可信服务器隐藏数据的访问模式,攻击者无法获取数据的有用信息。提出一种新的无关RAM结构,对客户的每个请求仅需常量级代价和少量客户端存储空间即可实现数据的无关访问。