网页去重在基于Web企业竞争情报平台中的应用与研究

互联网上大量重复网页的存在,严重地影响信息的检索质量.因此提出了一种基于特征码散列的网页去重算法,利用特征码对特征语句集散列以缩小其比较的范围,提高了网页去重的准确性.实验表明该算法准确率高,性能良好,基于上述算法实现了基于Web的企业情报竞争平台中的网页去重.     

基于元搜索引擎的数字图书馆网络信息资源检索系统设计

针对传统检索系统在实际应用中对检索服务请求的响应时间较长的问题,设计了一种基于元搜索引擎的数字图书馆网络信息资源检索系统.系统以元搜索引擎作为核心硬件,通过元搜索引擎准确、快速地获取数字图书馆中的所有网络信息资源,提高了系统的运行速度;在系统软件方面,设计了系统Django数据库,对数字图书馆网络信息资源进行安全存储,利用Sphinx软件实现系统的数字图书馆网络信息资源检索功能,以此完成基于元搜索引擎的数字图书馆网络信息资源检索系统设计.试验证明,本文设计的检索系统响应时间远远快于传统检索系统.     

一种基于文本抽取的网页正文去重算法

搜索结果页面的去重处理是提高网页检索结果质量的有效途径,笔者结合二叉排序树设计了一种基于文本抽取的网页正文去重算法,本文给出了该算法的具体实现。实验测试结果表明该算法在判断准确率、时间复杂度方面均具有一定优势,可应用于网络信息检索结果优化处理中的页面正文内容去重。     

基于元搜索的网页去重算法

针对元搜索的重复网页问题,提出基于元搜索的网页去重算法,并通过实验对算法进行有效性验证。该算法首先对各成员搜索引擎返回来的结果网页的URL进行比较,然后对各结果网页的标题进行有关处理,提取出网页的主题信息,再对摘要进行分词,计算摘要的相似度,三者结合能很好的检测出重复网页,实现网页去重。该算法有效,并且比以往算法有明显的优势,更接近人工统计结果。     

基于网页正文主题和摘要的网页去重算法

针对元搜索返回的网页内容相同,别名差异很大的重复网页,提出基于网页正文主题和摘要的网页去重算法,并通过实验对算法进行有效性验证。该算法首先对各成员搜索引擎返回来的网页标题进行有关处理,提取出网页的主题信息,然后对摘要进行分词,再计算摘要的相似度,二者结合能更好地现出文章摘要的内容,实现网页去重。该算法有效,并且比基于传统特征码的算法有明显的优势,更接近人工统计结果。     

网络环境下图书馆计算机信息检索途径探讨

网络环境下开发和利用信息资源已成为当务之急。信息资源开发和利用的重要途径便是计算机检索 ,文章以图书馆计算机信息检索为立足点 ,对光盘信息检索、联机信息检索、网上情报信息检索进行概述 ,并对计算机检索方法、检索形式、检索工具及计算机信息检索的发展方向进行探讨     

基于Top-k查询算法的图书自整合信息快速检索方法

针对传统自整合信息检索方法在对图书自整合信息进行检索时, 存在检索结果不准确和效率低的问题, 提出一种基于Top-k查询算法的图书自整合信息快速检索方法. 首先利用Top-k查询算法对去噪后的自整合信息进行匹配, 然后建立自整合信息快速检索模型, 根据词意的重要性对图书自整合信息进行快速检索. 仿真实验结果表明, 该方法检索性能较好, 缩短了整体运行所需时间, 提升了检索效率, 且检索结果更准确.     

网络信息资源检索途径与方法探析

了解网络信息资源的特点,掌握网络检索工具及其检索方法是现代图书馆员应当具备的基本技能。本文从网络信息资源的定义及特点入手,介绍了网络信息资源检索工具及其类型,并对＂关键词检索＂、＂分类检索＂、＂链接检索＂三种检索途径及其检索方法与检索技巧进行了分析与探讨。     

网络信息资源检索途径与方法探析

了解网络信息资源的特点,掌握网络检索工具及其检索方法是现代图书馆员应当具备的基本技能。本文从网络信息资源的定义及特点入手,介绍了网络信息资源检索工具及其类型,并对＂关键词检索＂、＂分类检索＂、＂链接检索＂等三种检索途径及其检索方法与检索技巧进行了分析与探讨。     

基于特征点组合聚类的图像检索新方法

由于特征点能对图像局部特征进行合理描述,有效使用特征点实现基于内容的图像检索成为当前计算机视觉领域中的热点问题.针对该问题,提出一种基于特征点组合聚类的图像检索新方法.该方法包括特征点组合聚类算法,以及基于该算法的局部颜色直方图构建策略.与现有的基于特征点和局部颜色直方图的检索方法相比,该方法能有效解决当前方法对特征点位置信息及特征点中心过度依赖的问题.从公共图像库上的实验结果可以看出,该方法与现有方法相比具有较高的检索精度.     

监控与预测的云资源优化配置

针对云环境下虚拟机资源在多数时间中处于闲置状态导致云资源利用率低的问题,设计一种云资源监控系统,并在云监控基础上提出一种基于自回归积分滑动平均(ARIMA)模型的动态负载预测与资源配置的方法.该方法利用虚拟机负载与配置的关系,通过预测负载情况,提前启动或者挂起虚拟机,提高云资源的利用率.研究结合OpenStack云环境提供的虚拟机,实现其下的云资源监控,预测和弹性分配功能.结果表明:该系统能准确预测虚拟机的需求量,所制定的资源弹性分配策略能够提高云资源的利用率,进一步节约成本.     

服务型制造模式下资源服务共享模型设计与分析

针对先进制造模式服务型制造,构建了面向服务型制造模式的云服务资源共享模型。在分析服务型制造资源特征基础上,提出了云服务资源和云服务平台资源池概念,通过服务资源统一建模、服务资源匹配、服务资源优化,实现了制造资源服务化和过程服务化。采用本体方法对云服务资源进行分类描述,利用语义和向量距离分类算法实现制造资源智能搜索。最后,以PLM软件资源为例对以上模式及实现关键技术进行试验验证。理论分析和实验结果表明所提出的服务资源共享模型能满足新型的服务型制造模式的要求。     

基于最大收益平衡点动态变化的云资源调度算法

云计算中资源调度是云计算高效利用的核心问题,主要研究如何对云端的资源进行有效地管理和调度?以从服务商需求的角度构建云资源调度的方法为切入点,从服务商的角度出发,在不损害用户和生产商利益的前提下,介入收益?成本?边际收益?边际成本等因素,以节省资源并获得服务商的最大收益为优化目的,根据最大收益平衡点随着负载变化的动态变化,构建了一种基于动态平衡点动态变化的云资源调度算法?通过比较当前周期和上一周期的边际收益变化,动态更新最大收益平衡点的位置,根据此位置对应的参数完成云资源调度?通过CloudSim平台下的仿真实验表明,该方法比基于服务驱动的调度方法具有更快的响应?使用更少的虚拟机?能获得更大的收益?     

基于云计算平台的虚拟资源可扩展存储算法研究

当前虚拟资源存储算法针对规模较大的虚拟资源无法实现实时传输,且存储能耗高、负载均衡性较差。为此,提出一种新的基于云计算平台的虚拟资源可扩展存储算法,介绍了云计算平台,其由存储层、基础控制层、应用接口层和访问层构成,给出其系统架构。依据云计算平台,通过采集虚拟资源的高阶累积量信息特征,利用K-L特征压缩法实现虚拟资源的低负荷存储,针对该过程扩展性能低的弊端对其进行改进。通过自适应全域空间搜索找到最佳基函数,对云计算平台的存储空间进行重组,得到改进后的虚拟资源存储空间结构。实验结果表明,所提算法存储空间、时延和能耗均较低,负载均衡性强。     

基于粒子群算法的云计算资源配置研究

对于云计算而言,虚拟机资源的合理高效配置具有重要意义.该文对粒子群方法进行到云计算资源配置的映射,详细地设计了3个约束条件和目标函数.目标函数中包含了资源利用率和迁移次数2个优化目标,整个虚拟机资源的配置过程设置了8个步骤.实验结果表明:同2种参照方法相比,该文所提出的基于粒子群算法的云资源配置方法完成配置后,不仅资源利用率高、迁移次数低,其迭代过程和迭代时间也令人满意.     

云计算环境下浮点和整数同时多线程资源配置方法研究

云计算环境下数据规模较大,当前资源配置方法依据优先级、按照顺序对资源进行配置,具有资源利用率低、配置效率低、能耗高等弊端。为此,提出一种新的云计算环境下浮点和整数同时多线程资源配置方法,分析了计算操作和访存操作的并发性,给出云计算环境下和每片外访存load操作相应的发射执行指令数的定义,得出在相同时间段内IPM值越大,计算型与访存型操作同时执行的机会越大,资源配置性能越高的结论。依据该结论,通过IPM实现云计算环境下浮点和整数同时多线程资源配置,将较多的资源分配至IPM值较大的浮点或整数线程中,将较少的资源分配至IPM值较小的浮点或整数线程中,使得云计算环境下的共享资源得到最佳配置。利用实验测试所提方法的实际应用性能。实验结果表明,所提方法资源利用率高、能耗损失低、资源配置效率高,整体资源配置性能很高。     

基于生成对抗网络与深度学习的少数据云资源预测

精确的云资源预测对计算平台实现安全运行具有十分重要的意义,针对新公司的云计算资源缺乏足够数据样本而造成预测模型精度降低的问题,本文提出一种基于WasserStein生成对抗网络和双向门控循环单元网络的少样本云计算资源预测模型。通过生成对抗网络去学习原始少样本数据的分布规律,以高斯噪声作为输入生成与原始数据具有相同分布的新样本数据,实现数据增强的行为;由于传统门控单元网络无法完全利用数据的时间信息,本文采用双向门控循环单元网络对数据的前向、反向时间信息进行双向提取并预测。以Google公开数据集进行仿真,对无增强数据和增强数据后的不同机器算法模型的预测结果进行对比。实验结果表明,使用WasserStein生成对抗网络数据增强后的双向门控循环单元网络模型精度的达到98.3%,所提方法适用于少样本数据的云计算资源预测。     

基于教育云的高校数字教育资源建设研究

基于教育云的高校数字化教育资源的建设过程，主要是在基础设施建设时已经把不同的资源按物理路径分别放在教育云中，采用云计算模式的资源建设方式需要将分布式存储的数据库和一站式的检索界面结合起来，从而真正实现高校数字资源共享。     

基于同时向上叫价拍卖的云资源分配方法与竞价策略

针对云资源的特点,基于微观经济学方法和支持向量回归机算法,提出了一种云资源分配方法与竞价策略.首先,采用块状能力来描述买方需求、卖方资源.然后,建立云资源系统框架,根据各个买方资源交易历史记录基于支持向量回归机算法来预测各个买方的竞价信息.在此基础上,利用非完全信息纳什均衡理论,设计了同时向上叫价拍卖和用户竞价策略,确定了最终成交价格,并根据成交价格来分配云资源.仿真结果表明,所提出的云资源分配方法和策略是可行和有效的.     

云计算下均衡负载的差异性资源调度算法优化研究

随着云计算的逐渐发展,云计算下容易出现虚拟机负载不均衡和差异性资源调度时间长的问题,当前调度算法大多无法有效解决均衡负载问题,影响调度性能。为此,提出一种新的云计算下均衡负载的差异性资源调度算法,对云计算下资源调度问题进行描述,针对云计算下虚拟机差异性资源负载问题设定参数。设计蚁群优化算法,蚂蚁爬行的每一步代表指派的一个差异性资源任务,引入挥发因子对信息素更新规则进行改进,获取全局信息素。利用蚁群优化算法对云计算下负载的差异性资源进行均衡调度,给出详细实现过程。实验结果表明,所提算法有较好的收敛性,均衡负载效果好,且时间复杂度低。