基于Hadoop的大数据处理平台研究

大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.     

基于特征加权模糊模板匹配的字符识别

字符识别算法能够直接影响字符识别的精度和速度.把特征加权模板匹配算法和基于模糊原理的判别准则结合起来,设计一个字符识别算法.该算法首先对标准模板匹配算法进行改进,然后在此基础上以模糊理论作为判断标准来进行字符识别.从理论分析和实验结果这两方面来看,所提字符识别算法能够充分区分开字符笔画和非笔画部分对字符识别的影响大小,可以有效提升识别率和鲁棒性,性能较优.     

基于响应面法的新型控压钻井节流阀优化设计

运用CFX和ANSYS Design Exploration,采用中心组合法和响应面法计算了新型控压钻井节流阀阀盖长度、阀盖外径、阀腔内径单一参数和双参数关于阀芯平均质量损失的克里金响应面,结果表明这些尺寸对阀芯的平均质量损失影响显著.为增强阀芯耐冲蚀性,提高节流阀使用寿命,采用多目标遗传算法对上述尺寸进行了优化.优化后阀芯的平均质量损失减弱30.2％,阀芯对称面轮廓线上各点随x坐标冲蚀率的变化表明大部分点冲蚀率有明显减弱,阀芯背部冲蚀率减弱最显著.     

基于粗糙集理论的模糊C-means高维数据聚类算法

模糊C-means算法是一种重要的聚类分析算法,但是在数据维数较高的情况下,该算法计算量急剧上升从而导致其效率较低.针对这一问题,提出了一种基于粗糙集理论的模糊C-means高维数据聚类算法,该算法在传统模糊C-means算法的基础上引入了粗糙集属性约简的理念,通过对数据集属性的约简,提取出对分类影响较大的属性集而摒弃与分类无关的属性,进而在聚类过程中只计算属性约简结果集中的属性,从而减少聚类过程的工作量、提高聚类效率.理论分析和实验结果表明,该算法在处理高维数据时较高效.