Nutch中网页更新预测研究与优化

Nutch的网页更新预测方法采用的是邻比法,相关更新参数需要人为设定,不能自适应调整,无法应对海量网页更新的差异性.为解决这个问题,提出动态选择策略对Nutch的网页更新预测方法进行改进.该策略在网页更新历史数据不足时,通过基于MapReduce的DBSCAN聚类算法来减少爬虫系统抓取网页数量,将样本网页的更新周期作为所属类其他网页的更新周期;在网页更新历史数据较多时,通过对网页更新历史数据进行泊松过程建模,较准确地预测每个网页的更新周期.最后在Hadoop分布式平台下对改进该策略测试.实验结果表明,优化后的网页更新预测方法表现更优.     

变电站综合自动化系统的研究

近年来,在电网运行水平提高时,大量采用远方集中监视、控制等变电站综合自动化系统,既提高了劳动生产率,又减少了人为误操作的可能。采用变电站综合自动化技术是计算机和通信技术应用的方向,也是对整个电网的一、二次设备信息进行综合利用,发展和完善变电站综合自动化系统,是电力系统发展的新趋势,本文就变电站综合自动化系统进行一些探讨。     

“十二五”科技热词

《中华人民共和国国民经济和社会发展第十二个五年规划纲要》第十一章提出,在确保安全的基础上高效发展核电。加强并网配套工程建设,有效发展风电。积极发展太阳能、生物质能、地热能等其他新能源。促进分布式能源系统的推广应用。     

分布式DRM的远程网络教育模型

本文提出了一种分布式数字版权管理（Digital Rights Management，DRM）的现代远程网络教育模型，并对其技术上的可行性进行了分析。模型中制定了一套适应TP2P流媒体课件分发的分布式数字版权管理（DRM）方案，辅以多层密钥加密机制和独到的商业激励策略，能有效地解决远程网络教育中流媒体课件的实时加密问题，并在一定程度上缓解了目前远程网络教育的最大瓶颈——课件版权保护问题，为远程网络教育的进一步发展开辟了新的思路。     

技能应用型课程教学考核评价体系的研究

为提高技能应用型课程的教学质量,培养既具有丰富理论知识又具有较强应用能力的高素质应用型人才,结合具体教授课程对技能应用型课程教学考核评价体系进行深入研究与改进,建立以体现实际应用能力和创新能力为核心的课程考核评价标准,从而激发学生学习的兴趣性和主动性,促进课程的教学改革.     

大华微云存储系统:消除“数据烟囱”

正在2016年贵阳大数据会议上,李克强总理指出,在大数据发展中要消除"信息孤岛"和"数据烟囱"。传统的数据存储模式既无法实现视频、图片、文档的统一存储,又不能支持对存储的数据进行高效的二次开发。据统计,76%的全球数据是视频数据,而这其中绝大多数又是视频监控数据。随着视频监控服务的不断普及,超高清摄像机下的海量视频存储需求快速增长。近年来,广受市场认可的标准云存储产品能够满足大规模视频数     

不对称内存计算平台OLAP查询处理技术研究

给出了一种面向当前和未来不对称内存计算平台的OLAP查询处理技术.不对称内存计算平台是指配置有不同计算类型的处理器、不同存储访问设备的计算机,因此需要对OLAP查询处理模型按不同的计算特点进行优化存储配置和实现算法设计,从而使OLAP查询处理的不同阶段更好地适应相应的存储与计算设备的硬件特点,提高硬件设备的利用率,更好地发挥硬件的性能.提出了3阶段OLAP计算模型,将传统基于迭代处理模型的OLAP查询处理过程分解为计算密集型和数据密集型负载,分别由功能完备的通用处理器和并行计算能力强大的协处理器分而治之地完成,并最小化不同存储与计算设备之间的数据传输代价.实验结果表明基于负载划分的3阶段OLAP计算模型能够较好地适应CPU-Phi不对称计算平台,实现通过计算型硬件加速计算密集型负载,从而加速整个OLAP查询处理性能的目标.     

基于多Agent的分布式多目标任务调度机制研究

针对分布式计算中任务调度的复杂性、动态性和实时性等特点,构建了一个基于多Agent的分布式多目标任务调度模型．此模型中,设计了一种分布武调度机制,使每个节点都具有独立的调度决策能力,增强了系统的可扩展性．同时为了解决分布式调度所产生的节点间任务通信问题,引入任务与节点相关性等概念,有效地降低了节点间的通信代价．模型对多个评价指标进行了综合衡量,如任务调度开销、任务最早执行时间、负载均衡及节点问的通信量等,并根据任务和系统运行的状态特征,实现多目标任务调度,提高了系统的整体性能．