内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.     

基于超标量处理器的高效FFT映射方法

针对超标量处理器的结构特点,研究新的映射方法,实现高效FFT运算.对现代超标量结构处理器进行建模,分析FFT算法在其上执行情况,得出内存访问是FFT算法执行的关键点.并进一步对FFT的内访问过程进行建模分析,最终实现了一种基于cache优化的高效FFT映射方法,该方法将FFT进行拆分实现,充分发挥了cache的作用,进而提高了处理性能.最后在ADI公司的TS201数字信号处理器上,以该映射方法为指导实现了基2FFT算法,实验结果显示在处理点数超出cache容量时,本映射方法可以大幅度提高处理性能.      

全毫米波异构网络混合回程及缓存协助内容传递方案

针对部分流行多媒体文件重复下载产生的额外流量消耗引起的网络阻塞问题,提出了一种混合自回程及缓存(hybrid self-backhaul and cache,HSBC)协助的内容传递方案。在同信道和全毫米波部署的异构网络中,基于配置因子η,部分小基站(small base station,SBS)配备缓存并按照流行度等级存储多媒体内容,而无缓存配备的SBS通过多天线宏基站的自回程为用户提供请求内容,毫米波技术的引入有效缓解了网络频谱稀缺问题。利用实际天线阵列方向图模型,研究了系统的覆盖概率、平均面积吞吐量和平均延迟。结果表明,HSBC协助系统相较传统自回程(traditional self-backhaul,TSB)协助系统获得的性能增益很大程度上取决于系统参数。据此,提出了一种自适应TSB-HSBC-SBS协助内容传递模型。当缓存SBS的当前比率因子小于阈值时,选择TSB-SBS协助模型;否则使用HSBC-SBS协助模型。     

Web Cache机群缓存系统设计与实现

设计并实现一个具有较高吞吐率和命中率的Web cache机群缓存系统.在机群缓存系统里引入了单一缓存映像机制和负载平衡机制,以请求为粒度计算负载,从网络带宽、内存容量、磁盘访问率和CPU利用率等方面研究了缓存节点的处理能力,同时给出缓存节点的负载量,并构造了一个负载平衡算法.用Polygraph作为测试工具分别测试了新设计的机群缓存系统和用CARP协议实现的机群缓存系统.实验结果表明,新设计的机群缓存系统具有较好的系统性能.     

基于分段流行度分布建模的代理缓存空间优化方法

缓存空间大小和命中率是影响代理缓存服务器建设成本和服务质量的重要因素,但两者相互制约,在代理缓存服务器设计时需要折衷考虑。根据均匀分段后的流媒体片段流行度分布,建立代理服务器缓存空间与命中率之间的关系模型,提出了一种基于均匀分段流行度分布建模的代理缓存空间优化方法,能在定价值函数的情况下计算出的最优代理缓存空间大小。实验结果表明,当给定的价值函数中缓存空间大小和命中率的权重相等时,按所提方法优化设计代理缓存空间存储占比比经验设定缓存存储占比为100%、75%、50%、25%和0%时的价值平均提高24%。     

一种银行武器库管理系统的设计

分析了银行武器库管理系统的市场需求,在此基础上给出了一种基于系统集成技术和计算机管理技术的银行武器库管理系统的详细设计过程,最后通过实际应用案例验证了本设计的合理性和可靠性。     

基于灰预测的Web Cache集群热点对象处理策略

热点对象问题是Web cache集群负载均衡研究中的一个重要问题,热点对象的存在容易引起访问歪斜(access skew)和负载不均衡.在分析Web访问中热点对象特征的基础上,构建了基于灰预测的热点对象访问频率预测模型.基于该模型,提出一种新的热点对象处理策略:预测对象的访问频率,配合阈值判断对象是否为热点对象,将热点对象推送到集群中所有节点,实现热点对象的冗余存储,从而达到负载均衡.实验结果表明,与其他热点对象处理策略相比,基于灰预测的热点对象处理策略可以明显提升Web cache集群性能.     

支持大规模地震探测数据快速可视化的云端数据缓存技术

首先, 基于云计算应用模式, 提出一种能有效利用云存储架构的双层缓存技术. 通过在客户端和服务器端建立分布式缓存, 能有效避免用户频繁访问远端数据, 为用户构建轻量级的客户端, 解决了目前地学数据可视化软件大量占用用户本地存储容量的问题. 同时服务器端也避免了多次访问云存储文件系统, 减少了大量的数据检索与加载时间. 其次, 提出一种ARLS(association rule last successor)访问预测算法, 根据用户的历史访问记录, 利用关联规则挖掘用户的访问模式, 对其访问行为进行预测, 进而提前加载数据, 提高缓存命中率, 解决了用户在可视化过程中不断移动兴趣区域, 频繁更换渲染数据的问题, 能有效应对用户具有多种访问模式的情况, 提高了预测准确率. 实验结果表明, 该云存储架构显著减少了本地资源消耗, 访问预测算法的准确率在最差情形下可达47.59%, 平均准确率达91.3%, 分布式缓存的平均缓存命中率达95.61%, 可有效支持云端大规模地震数据的快速可视化.     

基于Bank地址的IABA冲突分析及优化

为了降低物联网应用中用于关键事务控制的硬实时任务的最坏情况响应时间（WCRT）,提出了一个基于任务地址分布的bank冲突优化框架.该框架从以下两个方面改善硬实时任务的WCRT:借助任务访问缓存地址因素约束bank冲突条件,并借此收敛任务的最差情况执行时间（WCET）;基于任务访问缓存的地址分布特征优化地址映射降低冲突延迟时间.实验结果表明,所提方法分别可提升平均18.15%的冲突延迟估值以及减少大约20%的冲突延迟时间.      

几种基于词典的中文分词算法评价

基于词典的中文自动分词是中文信息处理的基础.按照使用计算机缓存的优化原则,分析了几种典型的分词词典机制,指出了其中的一些问题.改进了整词二分法,极大地提高了速度.结合哈希索引和PATRICIA tree搜索算法,提出了一个综合最优化的中文分词系统.