一种基于MapReduce的粗糙集并行属性约简算法

云计算技术是海量数据挖掘的一种高效解决方案,将MapReduce并行计算模型与粗糙集属性约简算法相结合,提出一种基于MapReduce的浓缩布尔矩阵并行属性约简算法.该算法提高了粗糙集属性约简算法对大数据的处理能力和效率,并能适应云计算环境.实验结果表明,所提算法具有良好的效率、加速比和可扩展性.     

基于粗集的贝叶斯分类器算法

C^3I系统在解决威胁度估计等问题时，应根据环境恰当确定影响威胁度等指标的诸属性，提出了基于粗集的贝叶斯分类器算法，该算法在基于粗集的属性约简方法的基础上，综合考虑条件属性和决策属性间的依赖性以及条件属性间的依赖性对约简的影响，通过基于依赖性的属性约简，改善属性变量间独立性限制，发挥贝叶斯分类器的鲁棒性潜能，优化贝叶斯分类器性能，实验证明该方法解决威胁度估计等C^3I系统中的问题，效果良好。     

基于Dijkstra算法分布式JobTracker节点模型通信方式的优化

针对MapReduce框架下JobTracker单点失效而引发的系统运行崩溃问题,通过建立分布式JobTracker节点模型来改善JobTracker的可靠性,并基于Dijkstra算法的单源最短路径思想对新建立模型中主从节点间的通信方式进行优化与改进,使任务节点优先与其最近的不同机架和不同数据中心的3个控制节点进行通信.实验结果表明,分布式JobTracker节点模型能在一定程度上缓解由单JobTracker节点失效引起的作业失败问题,并且改进后的通信方式能够缓解单JobTracker节点存在的瓶颈,均衡JobTracker节点的负载.     

Hadoop平台下MapReduce模型的数据分配策略研究

针对Hadoop开源云计算平台下MapReduce并行编程模型中间数据分配不均衡的问题,提出基于抽样的改进型MapReduce模型,即SMR(Sample MapReduce)模型.SMR模型采用MapReduce作业方式对各分块数据集进行并行抽样,基于抽样结果,利用LAB(leen and balance)均衡算法对Map端输出的中间数据进行均衡分配,以改善Reduce端处理数据负载不均衡问题.实验结果表明:改进型MapReduce模型可以有效减少作业运行时间,Reduce端输入数据达到负载均衡.     

面向能耗优化的云渲染系统任务调度策略

针对云渲染系统中由于渲染节点与任务不匹配调度而带来的能耗浪费问题,提出一种通过任务调度方式来优化系统能耗的策略。为了形式化描述系统的整体能耗,综合考虑节点空闲能耗和任务运行能耗,建立渲染任务能耗模型;以降低系统总体能耗为优化目标,根据渲染任务之间无依赖性的特点,将任务调度序列拆分成子序列,利用模拟退火思想,通过优化子序列任务调度提高节点利用率、减少节点空闲能耗,以此降低系统全局任务的能耗;采用矩阵存储子序列任务的能耗,以空间换时间的方式降低策略的时间复杂度。实验结果表明:该策略在多渲染作业环境中能耗优化效果比先进先出算法提升了43.4%,比能耗感知的调度算法提升了6.7%,能够有效降低云渲染系统的总体能耗,同时具有良好的扩展性,使云渲染系统的能耗效率和整体性能得到提升。     

一种具有容错机制的MapReduce模型研究与实现

针对传统MapReduce模型的容错机制对错误的处理效率低下等问题,提出了一种基于多核虚拟机的具有容错机制的MapReduce模型。该模型使用检查点机制进行错误恢复,并只对中间结果和必要的状态信息进行保存;利用虚拟机在隔离内存中保存中间结果;根据用户的需要及系统的负载情况动态调整系统中工作节点的个数。通过在SUN的32核、主频为2.38GHz、内存为128GB服务器上的测试,结果表明:与传统MapReduce模型相比,改进MapReduce模型降低了通信上的开销,提高了MapReduce运行过程的可靠性和错误恢复的性能,虚拟机监控器可以完全控制和管理多核平台的内存,使操作系统无法直接访问隔离的内存,数据恢复不会受到操作系统内部各种错误的影响,保证了恢复数据的安全性。     

含属性加权模糊序决策信息系统的近似约简

为保证关键属性在属性约简时能够被保留,可对信息系统的属性进行加权,从而提高关键属性的影响力.基于此,在属性加权的模糊序决策信息系统中建立了上、下近似约简的模型,得到两种约简的判定定理,并且给出求解上、下近似约简的辨识矩阵以及约简方法 .最后,通过实例验证了该约简方法的有效性.     

一种结构化P2P存储系统的负载均衡方法

针对结构化P2P存储系统中的负载不均衡问题,提出了一种基于虚节点划分的负载均衡方法.建立适用于P2P存储系统的节点性能模型,对网络节点进行性能评价,将物理网络中性能弱的临近节点划分成DHT网络中的一个虚拟节点以平衡系统的负载.实验结果表明该方法可以有效降低结构化P2P存储系统中负载不均衡节点的数量.     

基于DVS技术的实时事务调度算法

为解决分布环境下电池驱动的实时数据库系统因能量有限造成系统性能差的问题,首先分析造成系统能耗的各种因素及它们之间的联系,并为此建立能耗模型;然后提出在实时事务满足截止期比率达到要求的前提下,采用动态电压调节同步调节CPU的电压和频率,及系统负载预测等方法来降低能耗;最后提出基于能耗优化的实时事务调度算法调度系统实时事务,并进行了仿真实验,结果表明系统性能有较大提高.     

基于机器学习的无线传感网络室内定位研究

无线传感网络在能耗量化传导过程中具有随机分布性,导致网络节点的室内定位精度不高,为了提高网络的室内定位准确性,提出基于机器学习的无线传感网络室内定位方法.构建无线传感网络室内定位的节点优化部署模型,采用能量负载均衡控制方法进行无线传感网络的路由探测协议设计,建立无线传感网络节点传输的链路均衡配置模型,采用机器学习算法进行无线传感网络室内定位过程中的自适应寻优,提取无线传感网络节点输出信号的能谱特征量,根据能谱的聚类属性进行无线传感网络室内定位优化.仿真结果表明,采用该方法进行无线传感网络室内定位的精度较高,能量开销较小,网络节点的组网部署能力得到提升.