PDM:基于Hadoop的并行数据分析系统

提出了一款基于Hadoop的并行数据分析系统——PDM.该系统拥有大量以MapReduce为计算框架的并行数据分析算法,不仅包括传统的ETL、数据挖掘、数据统计和文本分析算法,还引入了基于图理论的SNA(社会网络分析)算法.详细阐述了并行多元线性回归算法和"多源最短路径"算法的原理和实现,其中,提出的"消息传递模型"能有效解决MapReduce难以处理邻接矩阵的问题;介绍了基于电信数据的典型应用,如采用并行k均值和决策树算法实现的"套餐推荐",利用并行PageRank算法实现的"营销关键点发现"等;最后通过性能测试,说明该系统适合高效地处理大规模数据.     

数据挖掘在客户关系管理系统中的应用研究

客户关系管理是企业管理中一项重要的内容,在CRM中使用数据挖掘技术,可以提高企业的管理水平。本文深入研究了客户管理系统与数据挖掘相关方法,并采用数据挖掘技术对客户贡献和客户价值等方面进行了详细的分析,总结了相关的步骤和方法。     

B7-1和新型隐球菌DHA1基因嵌合重组质粒的构建

目的构建包含新型隐球菌细胞免疫主要相关基因-迟发超敏反应抗原基因(delayed-type hypersentivity antigen 1，DHA1)与小鼠共刺激分子B7-1的嵌合重组质粒。方法设计合成两对寡核苷酸引物。用PCR法分别从pUCmB7-1TM和新型隐球菌重组质粒pcDNA3-DHA1中特异扩增出编码B7-1和DHA1的基因片段(921和984bp)。分别用HindⅢ、EeoRⅠ、XbaⅠ酶切后。逐个定向连接到质粒pcDNA3中，转化宿主菌DH-5α．分别用上述内切酶酶切及DNA测序鉴定重组质粒。结果酶切鉴定示所切下的片段大小均与预计相符，测序结果与献报道序列及预计结果一致。证实符合表达框架。结论本实验成功构建了新型隐球菌嵌合重组质粒pcDNA3-B7-1-DHA1。为进一步研究新型隐球菌DNA免疫奠定了基础。     

决策树算法的教育应用探讨

简单介绍了数据挖掘的概念和决策树算法技术，尤其是它所牵涉的信息论原理，并结合相关事例简要概述了决策树算法在教育层面上的应用．     

数据挖掘技术

1　数据挖掘产生的背景我们正处在信息化的社会 ,大量信息在给人们带来方便的同时也带来了一大堆问题 :第一是信息过量 ,难以消化 ;第二是信息真假难以辨识 ;第三是信息安全难以保证 ;第四是信息形式不一致 ,难以统一处理。人们开始提出一个新的口号 :“要学会抛弃信息”。人们开始考虑 :“如何才能不被信息淹没 ,而是从中及时发现有用的知识、提高信息利用率 ?”面对这一挑战 ,数据开采和知识发现 (ＤＭＫＤ)技术就应运而生 ,并显示出强大的生命力。另一方面 ,随着数据库技术的迅速发展以及数据库管理系统的广泛应用 ,人们积累的数据越来越…     

关联规则挖掘技术在冠心病诊断中的应用

针对传统的关联规则算法挖掘效率低且产生的频繁项集庞大的缺陷,提出一种改进的基于直接频繁闭超项集理论的关联规则挖掘算法。该算法针对候选频繁闭项集具有快速检测闭合性和缩减查找范围的优势,有效地提高了挖掘效率。在冠心病诊断中的应用结果表明,该算法可有效地挖掘冠心病诊疗规则。     

数据仓库、数据挖掘在财政系统中的应用

随着技术发展,财政系统信息化建设得到较好发展,各类业务管理系统积累了大量的数据,如何在海量数据中挖掘有用的信息资源,就显得十分迫切。简述了数据仓库、知识发现和数据挖掘的产生、发展及相关技术和应用,研究了聚类算法及聚类分析的度量标准。以聚类算法为例,讲述了针对实际应用中数据挖掘算法的应用改进。提出了应用推广阶段的改进型聚类分析算法,并对某市财政的数据集合进行了实验分析。针对财政决策系统的应用整合问题,选择以某市财政决策管理系统为例,介绍了进行数据挖掘之前要经历的步骤,最后得出了税源户聚类信息。     

数据挖掘与知识发现

数据挖掘和知识发现技术是人们长期对数据库技术进行研究和开发的结果.随着数据库应用领域的不断拓展,为满足应用对数据处理不断"苛刻"的要求,数据库系统必须引入新的数据处理技术.如何从大规模数据库中发掘深层次的知识和信息,而不仅仅是那些从传统数据库查询方法所获得的内容,这方面的研究正受到越来越多的关注.本文重点介绍了数据挖掘(Data Mining)和知识发现(Knowledge Discovery in Databases)中的一些内容:包括数据挖掘的定义、方法、任务等,最后还讨论了本领域未来的发展和面临的挑战.     

半月国内科技要闻

中国首次提出＂人类泛基因组＂概念 由深圳华大基因研究院领衔、华南理工大学主要参与的合作研究成果＂构建人类泛基因组序列图谱＂发布,该研究树立了新的人类基因组测序标准,为未来医学研究指明了方向,反映出中国基因组学在世界的领先地位（Nature Biotechnology,doi：10.1038/nbt.1596）。该研究使用深圳华大基因研究院自主研发的第二代测序技术大基因组组装工具,对炎黄一号基因组（即首个亚洲人个人基因组）进行深度测序和拼接,发现了人类基因组中除原先公认的单核甘酸多态性、     

k-means聚类算法的MapReduce并行化实现

针对k-means聚类算法特点,给出了MapReduce编程模型实现k-means聚类算法的方法,Map函数完成每个记录到聚类中心距离的计算并重新标记其属于的新聚类类别,Reduce函数根据Map函数得到的中间结果计算出新的聚类中心,供下一轮MapReduce Job使用.实验结果表明:k-means算法MapReduce并行化后部署在Hadoop集群上运行,具有较好的加速比和良好的扩展性.