一种基于Map Reduce的关联规则挖掘算法

提出了一种基于Map Reduce模型的Apriori改进算法,该算法利用Map Reduce模型分布式处理海量的输入数据,结合Apriori算法,得到局部频繁项集,通过聚合处理得到全局频繁项集.实验证明,该算法是有效的.     

大数据挖掘中的MapReduce并行聚类优化算法研究

为了有效解决云计算环境下海量数据的并行聚类问题,以典型的基于距离的Kmeans聚类算法为例,提出了一种MapReduce并行聚类优化算法.首先将差分进化算法与K-means算法相结合,从而利用差分进化算法的强大全局搜索能力克服典型K-means算法对初始中心较为敏感的缺点,利于增强全局最优解的稳定性.然后把优化后的算法在Hadoop的Map Reduce框架下做了并行化的设计.实验结果表明,与其他多种分布式设计相比,提出的并行聚类优化算法能够在保证聚类效果的前提下,大大减少了运算的时间,提高了大规模数据的聚类效率.     

基于退火果蝇优化算法的Web服务组合

随着互联网中Web服务数量急剧增加,如何快速地从大量候选服务中选择出满足用户Qo S需求的服务组合成为亟待解决的关键问题。Qo S感知的服务组合优化问题是典型的NP-hard问题,而智能优化算法已成为主流的求解方法。在对web服务组合建模基础上,提出一种基于退火操作的果蝇优化算法(AFOA)。该算法通过引入模拟退火操作,使个体在进化过程中以一定概率进行突变,从而引向全局最优解,较好地避免了FOA易早熟收敛陷入局部最优的问题。大量实验结果表明,该算法在不减弱时间性能的同时,全局寻优性能较果蝇算法(FOA)、模拟退火算法(SA)有很大的提升。     

不确定QoS信息下的web服务选择方法研究

针对web服务选择中存在Qo S属性信息不确定性的问题,在分析Qo S属性描述的基础上,提出一种不确定Qo S信息下的web服务选择方法,该方法分别从区间型和模糊型两方面考虑不确定Qo S信息,基于有序加权平均(OWA)算子实现区间型Qo S属性的确定化,使用联系数分析和量化web服务的模糊Qo S属性,并在此基础上设计不确定Qo S下的web服务选择模型.实验结果证实该选择算法的有效性和可行性.     

基于Skyline和局部选择的启发式服务组合方法

为了改善现有基于QoS的Web服务组合方法的效率,在已有服务组合算法的基础上提出了一种新颖的基于Skyline点和局部选择的启发式服务组合方法SLOMIP(Skyline local optimi-zation mixed integer programming).该方法首先从候选服务集合中选出Skyline服务,可以证明如果存在最优服务组合方案,则其一定是由Skyline服务集中的服务组成的.然后,为了进一步缩小解空间,再从Skyline服务集中选取最优的K个服务进行最终服务组合方案的优化求解.与传统启发式服务组合方法的不同之处在于,该方法一旦获得解,必然是最优解而不是次优解.实验结果表明:在固定任务总数和固定候选服务个数的情况下,该方法的效率都远高于传统方法;K值越大,该方法的准确率越高.该方法可较大幅度地提高服务组合的效率,提升用户体验.     

基于分布式平台Spark的空间文本查询分析

随着基于位置服务应用的不断推广,空间文本数据查询的应用价值(例如结合地理位置和用户标签的社交推荐)也在不断提高.但是,随着数据规模的迅速增长,传统的基于单机环境实现的技术难以为用户提供低延时和高吞吐量的服务.为此,本文基于Spark平台对分布式环境下的空间文本查询算法进行了探究.采用了面向海量空间文本数据的两层索引框架(包括全局索引和局部索引),该框架利用了分阶段过滤的策略来处理分布式下的布尔范围查询问题.同时,针对空间文本相似连接提出了Prefix-RI结构并提出了相应的分布式算法.基于Spark平台实现了所提出的分布式算法,并通过大量的实验对比验证了所提出方法的优越性.     

一种关联感知的组合服务重选取方法

已有的组合服务重选取方法大都假定任务之间互相独立,然而在实际场景中,由于基本服务间存在着Qo S关联关系,使得某些任务之间也存在着关联关系,从而导致这些已有的方法难以获取最佳的调整方案.针对该问题,通过扩展OWL-S,给出了一个支持服务间关联关系的Qo S模型.基于该模型,给出了一个支持任务间关联关系的重选取算法,该算法将具有关联关系的任务作为一个任务单元,以关联服务作为任务单元的备选服务进行重选取.实验结果表明,与按照任务间独立的方式进行重选取相比,该方法能有效提高重新选取出的组合服务质量.     

面向海量数据的并行KMeans算法

针对海量数据的特性及KMeans算法的并行特性,提出了一种基于MapReduce编程框架的并行聚类算法,给出了算法的主要设计方法和策略.Map函数计算出每个记录所属的簇并用簇标号来标记;为了减少网络流量,利用Combine函数合并了本地的簇中的样本和;Reduce函数合并簇中所有的记录,并重新计算聚类的中心,供下一轮MapReduce迭代使用.最后用不同大小的数据集对改进算法的效率及伸缩性进行了验证,结果表明基于Hadoop的并行KMeans算法适合于海量数据的分析和挖掘.     

数据加密技术在计算机网络数据安全中的应用

信息时代计算机网络海量数据安全传输成为难题,为此在Hadoop大数据环境下提出AES数据加密方案.AES算法通过轮密钥加、字节替换、行位移、列混淆等步骤进行数轮明文加密,在Map Reduce架构下明文数据被划分成多个数据分片,Map函数负责AES算法加密操作,Reduce函数合并加密后的数据信息,最后在HDFS文件系...     

云环境下基于衰减因子网格的Skyline查询

为了解决云环境下对于海量数据的Skyline查询,提出了在Map-Reduce框架下基于衰减因子网格Skyline查询(SQBDFG)算法,该算法通过衰减式的网格进行区域划分,利用网格间的统治关系进行快速过滤,达到减少传输开销的目的,并针对网格的衰减速度会影响实际查询性能进行进一步优化.首先提出网格的最大剪枝空间和最大剪枝效率两个概念,然后从理论上证明了采用衰减式网格在处理海量数据的Skyline查询时在这两方面具有明显的优势.最后通过Hadoop分布式集群上的大量实验,在Skyline查询时间和数据I/O开销两个方面进行对比,证明了提出的SQBDFG算法具有良好的有效性和实用性.     

QoS感知的Web服务选择

一个组合服务可以由多个具有不同QoS属性的服务合成,由此带来的一个问题是如何将QoS属性作为条件选择最合适的服务以满足组合服务的全局QoS需求.针对这个问题,提出了利用分层图技术对复杂的服务组合过程模型进行化简,将服务选择问题简化为有向图中的选路问题,这样在服务选择时就无需考虑不同的流程结构(例如,顺序、选择、并发和循环结构等),从而降低了服务选择算法的复杂性,提高了执行效率.在简化模型的基础上,给出了一个基于自适应遗传算法的QoS感知的组合服务选择算法.仿真实验表明该方法是可行和有效的.     

MapReduce模型下基于R树索引的Skyline查询算法

提出一种MapReduce并行计算模型下基于R树索引的Skyline查询算法, 解决了海量空间数据集下执行Skyline查询效率低的问题. 通过建立R树索引实现空间数据不同粒度的范围剪枝, 有效降低了分布式Skyline查询需扫描的数据规模, 提高了在MapReduce模型下Skyline查询的执行效率. 在不同数据分布下进行对比实验的结果表明, 该方法比已有算法在执行效率上更具优势.     

Efficient Composition of Semantic Web Services with End-to-End QoS Optimization

The efficiency of QoS-aware service composition is important since most service composition problems are known to be NP-hard. With the growing number of web services, service composition is like a decision problem on selecting services or/and execution plans to satisfy the users' end-to-end QoS requirements (e.g. response time, throughput). Composite services with the same functionality may have different execution plans, which may cause different end-to-end QoS. This paper presents a model combining semantic data-links and QoS, which leads to an efficient approach to automatic construction of a composite service with optimal end-to-end QoS. The approach is based on a greedy algorithm to select both services and execution plans for composite services. Empirical and theoretical analyses of the approach show that its time complexity is O(mn²) for a repository with n services and an ontology with m concepts. Moreover, the approach increases linearly in time when using an index to search services in the repository. Tests with a repository with 20 000 services and an ontology with 300 000 concepts show that the algorithm significantly outperforms current existing algorithms in terms of composition efficiency while achieving optimal end-to-end QoS.     

QoS感知的全局最优快速服务选择

针对已有的服务选择算法往往按业务流程中任务的执行顺序依次选择服务,使服务选择时间随着任务数和候选服务集规模的增大而变长,难以让用户接受,而且算法也并未考虑包含关键路径的组合结构QoS优化这一问题,设计了对等网络服务覆盖网,利用服务社区和任务代理,根据组合结构和关键路径将全局QoS约束分解为局部约束,支持并行化的服务选择.实验结果表明,该方法可以迅速有效地找到接近最优的服务组合方案.     

用户期望质量驱动的Web服务优化选取

提出了一种基于用户期望的服务质量评价方法。该评价方法仅考虑具有相似期望的用户,允许期望相似的评价影响服务的信誉度评价,以利于得到客观、准确的服务质量评估。在此基础上,提出一种基于用户期望的QoS驱动的服务选取算法。该算法实现了在满足用户偏好和期望的前提下Web服务的最优选取。电子购物的实例展示了该方法的可行性。     

基于QoS本体的语义Web服务选择算法

引入QoS本体,提出了一种基于QoS本体的语义Web服务选择算法.该算法通过构造Web服务的QoS本体模型以支持异构QoS参数的语义描述和度量,并将QoS语义匹配和数值匹配相结合,从而更准确地为用户选择满足其个性化需求的Web服务.仿真实验表明,基于QoS本体的语义Web服务选择算法能够充分利用QoS语义和数值信息,为用户选择更合适的服务,实现用户对Web服务的个性化需求.     

基于服务质量的Web服务优化选择算法及仿真

提出一种基于服务非功能属性的Web服务优化选择的多目标遗传算法.考虑到在服务选择时组合方案中的控制结构、具体服务之间的关联性和多个服务质量指标之间的折衷这三方面的约束,对服务选择建立分层模型给出优化选择的形式化定义.在此基础上,采用多目标遗传算法求解优化服务选择.首先设计了适合的染色体编码方式,以表示可行的服务选择方案...     

激励机制下负载均衡和QoS感知服务组合方法

提出一种基于激励机制的负载均衡和服务质量感知服务组合(LBQSC)方法.首先,构建一个全局约束分解模型,并采用文化遗传算法求解;其次,考虑服务质量(QoS)和负载构造激励合同,提出一种基于激励机制的服务选择算法,通过不断激励QoS的动态调整获取最优服务;最后,在QWS 2.0综合数据集上进行对比实验.实验结果表明:基于激励机制的负载均衡和QoS感知服务组合方法能在保证负载均衡的情况下有效地获取高质量的组合服务.     

基于双向动态规划质量有保障的组合服务选取

文章针对当前基于QoS的组合服务选取的不足,从通用服务质量、领域相关服务质量和业务的组合关联度3个方面考虑组合服务选取,充分保证了组合服务的质量,并将组合Web服务选取问题转化为最长路径选取问题,给出了一种双向动态规划的求解策略.     

一种支持QoS约束的Web服务质量模型

为了满足在组合Web服务中提供服务质量支持，提供有保证的QoS（Quality of Service）的需要，以及针对目前在组合服务中，很少提供对服务质量支持的问题，建立了一个Web服务质量的模型．该模型为所有服务建立了一系列的质量指标，并对它们进行量化，得到量化值．最后在此模型的基础之上，在组合服务中建立了一个服务质量驱动的服务选择机制，从而可以实现所有在组合服务中的服务都是最优的．已经基于Microsoft．NET实现了一个原型系统．