面向用户偏好的动态网页数据交互式查询算法

为提高网页数据查询速度、精度及工作效率,提出一种面向用户偏好的动态网页数据交互式查询算法.首先,构建用户偏好模型,增加偏好组合的演化个体适应性,综合计算适配值;其次,为防止数据冗余和重复,基于兴趣相似性,分离相似度高的查询数据和重复数据,识别出网络数据的性质;最后,利用粒子群优化算法寻找最优的动态网页数据交互式查询方案.实验结果表明：在数据集基数影响下,该算法的查询结果集质量在0.95以上;在查询最大维数影响下,该算法的查询结果集质量在0.96以上,表明其查询使用时间短、结果集精度高、自适应能力强.     

基于FP树的特异关联规则挖掘算法研究

分析稀少数据的相关性是一种重要的、有价值的数据挖掘任务。运用面向关联规则的FP树构造方法，提出了一种特异关联规则挖掘算法RSFPA。该算法将包含特异模式的数据集压缩成一棵FP树，通过挖掘FP树来提取特异模式集，从而进一步提高了特异模式的挖掘效率。最后，利用恒星光谱作为数据集，实验验证了RSFPA算法的正确性和有效性。     

传感器网络中基于过滤的概率Skyline查询算法

针对感知数据固有的不确定性问题,研究了无线传感器网络中概率Skyline查询的处理与优化技术.首先分析了概率Skyline查询的性质,证明了概率Skyline查询的不可分解性,因而无法直接利用网内计算方法求解;进而提出了无线传感器网络中基于过滤的概率Skyline查询处理算法(filter basedprobabilisticSkylinequeryprocessingalgorithminWSN,FPSP).FPSP算法将感知数据划分为候选数据、相关数据和无关数据;只需要候选数据和相关数据即可求得概率Skyline查询结果,可以在传感器节点过滤无关数据以避免大量的数据网内传输.仿真实验结果表明,FPSP算法可以有效降低传感器节点的数据传输量,极大地延长了无线传感器网络的使用寿命.     

基于链表结构的频繁模式树构造

FP-Growth算法在关联规则挖掘中是最经典的算法,主要通过频繁模式树(FP树)避免生成候选频繁项目集.针对FP-Growth算法中耗费内存严重的问题,采用链表存储方式,给出了FP-Growth算法的实现方法,其中单个结点采用链表形式来产生,频繁模式树采用左孩子右兄弟的存储结构来组织.在此基础上利用索引表,实现了对频繁模式树中共同前缀结点的快速查找,提高了频繁模式树构造的效率,解决了FP树构造算法中数据存储的瓶颈问题.最后以天体光谱数据和城市土壤数据作为数据集分别对该算法进行测试,实验结果表明,该方法的构造效率要明显优于基于顺序结构的FP-Growth算法.     

分布式数据查询优化算法的研究

分布式数据查询是分布式数据库管理系统的核心,而查询优化算法又是查询处理中的关键技术.分布式数据库管理系统的研究始于20世纪70年代中期,在30多年的发展中,取得了丰硕的成果.但由于分布式数据的分散性,使分布式数据查询比集中式数据查询复杂得多.本文对基于关系代数优化的算法进行了探讨和研究,并应用于实例,取得了较好的优化效果.     

基于不确定数据的分布式Top-k查询算法

目前基于不确定数据的Top-k查询算法仅考虑了集中式的环境,为了解决分布式系统中节省系统带宽的问题,在此基础上,提出了在分布式环境中基于不确定数据的Top-k查询算法UDTopk.该算法定义了一个候选集(candidate set),仅使用候选集中的数据,而不用访问数据集中所有数据,就可以得到正确的Top-k查询答案.算法通过动态维护候选集、仅传输少量数据,达到减少网络中数据传输的目的.实验结果表明,该算法可以有效地节省网络带宽.     

半结构化数据OEM图应用

研究了如何利用查询和视图来解决半结构化数据查询重写问题．给出了一种OEM数据模型和一种半结构化数据查询重写算法．算法借用了半结构化数据查询重写桶算法的思想，解决了半结构化数据模型之下查询重写的一些新问题．理论分析表明，它降低了算法的代价．     

基于遗传算法的数据方体系统设计

决策支持系统实际应用的需求是用户提出的一组频繁查询。为了在系统资源有限的情况下快速有效的回答这些查询,该文提出了基于查询的数据方体系统设计问题。并使用结合了启发式算法的混合遗传算法来优化数据方体系统。在通用数据库上对各种算法进行了实验比较。实验结果表明了该文提出的混合遗传算法在多数情况下可以取得最优解。在不同的系统维护成本的限制下,混合遗传算法都比Harinarayan贪婪算法有效。维护成本越低,效果越明显。     

基于MapReduce和HBase的 海量网络数据处理

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。