搜索引擎技术分析——Google的PageRank技术剖析

1．PageRank的基本原理 PageRank的发明者对网络超链接结构和文献引文机制的相似性进行了研究，把引文分析思想借鉴到网络文档重要性的计算中来，利用网络自身的超链接结构给所有的网页确定一个重要性的等级数，当从网页A链接到网页B时，就认为网页A投了网页B一票，增加了网页B的重要性。最后根据网页的得票数评定其重要性，以此来帮助实现排序算法的优化，而这个重要性的量化指标就是PageRank值。简单地说，PageRank就是要从链接结构中获取网页的重要性，而网页的重要性决定着同时也依赖于其他网页的重要性。     

PageRank算法的改进

PageRank算法是目前被广泛应用的一种度量网页重要性的方法,它根据网页之间的链接结构来给每个网页打分。从数学的角度来解释,PageRank可以被看作是一个马尔可夫随机游走模型,依据网页下一步的链出信息计算网页的转移概率。受计算机象棋算法设计中一个很成功的策略:“多看几步”的启发,改进和推广了经典PageRank算法,提出了更为一般的N-stepPageRank算法,它在计算网页的转移概率时利用了网页N步的链接信息。经典PageRank算法是N-stepPageRank算法N=1时的特殊情形。TREC标准数据集上的试验表明,N-stepPageRank算法能够有效地提高网页搜索的精确度,MAP指标比经典的PageRank的提高超过15%。     

基于转移概率的 PageRank 算法研究

PageRank算法是目前一种基于网络链接的比较成功的网页排序算法.首先对PageRank算法做了简单介绍,然后从数学的角度分析,PageRank可以被看作是一个马尔可夫随机游走模型,基于此模型对经典PageRank算法中的转移概率做了改进,根据网页的原PageRank值在链入网页的所有链出网页PageRank值总和所占比例定义转移概率.实验表明,改进后的算法在计算出网页的PageRank值,更具合理性.     

利用图的拓扑特性进行网页重要性度量

为了提高万维网信息检索的性能,该文提出在基于机器学习的检索排序算法中,利用万维网链接图的拓扑特性来度量网页的重要性。链接图的拓扑特性是从各种不同的角度对链接图结构信息的描述,利用它来度量网页的重要性可以更加全面地利用链接图所包含的结构信息,并且能够更好地发挥学习机的学习能力。通过实验表明,在基于排序提升器的检索排序算法中,利用链接图的拓扑特性可以非常有效地度量网页的重要性,其性能要优于传统的PageRank算法。     

利用图的拓扑特性进行网页重要性度量

为了提高万维网信息检索的性能,该文提出在基于机器学习的检索排序算法中,利用万维网链接图的拓扑特性来度量网页的重要性。链接图的拓扑特性是从各种不同的角度对链接图结构信息的描述,利用它来度量网页的重要性可以更加全面地利用链接图所包含的结构信息,并且能够更好地发挥学习机的学习能力。通过实验表明,在基于排序提升器的检索排序算法中,利用链接图的拓扑特性可以非常有效地度量网页的重要性,其性能要优于传统的PageR ank算法。     

基于本体语义的定题爬虫

定题爬虫能迅速获取网络上特定主题的大量信息，对专业搜索引擎及数据挖掘应用都具有重大价值.针对目前通用的基于关键词主题过滤策略的不足，在概念聚集思想启发下，提出了基于本体语义的主题过滤策略.同时根据网页具有不同位置不同信息重要性的特点，提出了改进的加权特征项权值计算公式，实现基于语义的网页实时过滤.为进一步提高爬虫的工作效率提出链接相关度预测算法.对比实验表明此策略具有可行性.     

融入链接相关度策略的PageRank算法

为实现对网页更好地评分,提出了融入链接相关度策略的PageRank算法.以体现人工智能的当代经典PageRank算法为基础,分析其基本思想并指出其在对网页评分中存在的不足,通过引入相关度计算使链接标题的质量和其所指向网页的内容产生联系,实现在网页中各个链接之间的竞争.通过实验和分析,新的算法在不影响原算法的优点和效率的同时能更好地进行网页评分,在网页优先级算法上向人工智能和语义网又迈进了一步.     

基于主题相关性和链接权重的PageRank算法

在基于链接分析的排序算法PageRank分析基础上,提出了一种基于主题相关性和链接权重的Page-Rank改进算法.该方法首先随机选取任一链出页面,通过主题相关性评价算法获得改进的PageRank值,并重新排序.实验结果显示该算法提高了查询速度、查询准确率,并且算法具有良好的稳定性和可扩展性.     

基于语义相似聚合的主题爬虫算法研究

互联网的迅速发展,数据不断增加,使得个性化数据的获取难度越来越大.主题爬虫作为一种垂直检索方式,已经成为一个热门研究领域.传统的主题爬虫往往是通过网页链接之间的关系下载网页,然后再计算下载的网页与给定主题之间的相关关系.传统的主题爬虫一方面割裂了网页链接结构和网页内容主题之间的关系,使得两个部分分开计算; 另一方面下载过程的网页主题相关性不强,会下载大量的主题无关网页.本文提出一种新的基于PageRank 算法主题爬虫算法将网页主题相似度计算与传统的PageRank 算法相结合,将网页链接结构与网页主题相关性结合在一起.另外本文将语义相似性引入到主题爬虫里,实验结果表明本文提出的基于语义相似聚合的主题爬虫算法大大提高了主题爬虫的查全率.     

基于PageRank与HITS的改进算法的网页排名优化

针对传统网页排序算法PageRank和HITS中存在的主题漂移、检索效率低等不足,本文提出了一种改进算法PHIA(PageRank and HITS Improved Algorithm)。该算法继承了HITS算法获取根集和基本集的方法,并且使用根集中所有网页的PageRank值作为Hub和Authority初始迭代值,最后根据马尔可夫链求随机矩阵的特征向量的方式来获取网页排名的静态分布。基于随机关键词的检索结果可知,相比于传统的PageRank和HITS算法,改进PHIA算法具有更快的收敛速度,并且在一定程度上提高了网页排序的准确度。     

基于PB平台的动态数据交换技术

以Excel为例，介绍了在客户/服务器模式中，利用PB中实现动态数据交换（DDE）的方法。     

几何分离环链上的多项式不变量

通过纽结与环链Jones多项式的导数性质，重点讨论了代数分离环链，特别是几何分离环链上的多项式不变量，且对于几何分离环链，更加严格地给出了Ohtsuki不变量Фm的整除性质。     

基于链路预测算法分析虚假链接问题

链路预测与虚假链接是复杂网络的两大研究热点,目前为止,链路预测方法的研究已经非常成熟,而对于虚假链接的研究却仍旧没有得到太多的关注.根据链路预测与虚假链接的联系,用17种经典的链接预测算法,研究了这些算法在8个真实网络数据集中的识别虚假链接效果.实验结果表明,这些算法在识别虚假链接中的AUC值明显低于在链接预测中的AUC值;并且随着测试集比例的增加,在给定某个算法和数据集上,AUC值逐渐降低.     

社会网络中的链接稳定性预测问题研究

社会网络是一个由对象和链接所构成的复杂关系型数据集.给定一个社会网络的快照,能否预测在下一个较短的时间段内其中哪些链接将会继续存在而哪些链接将会消失,这是社会网络中链接挖掘的一项新的任务.这一任务可以形式化为链接稳定性预测(Link Stability Prediction).提出了通过打分的方法来度量链接的稳定性,并讨论了几种基于邻近度度量的链接稳定性预测方法.在一个大型的电话通信网络上进行了实验,并设计了一种用来评价链接稳定性预测准确性的机制.实验结果表明,链接的稳定性信息在一定程度上是可以通过基于邻近度度量的方法从社会网络的拓扑结构中提取出来的,其中有两三种较精炼的预测方法展现出了良好的性能.但是,这些静态的链接稳定性预测方法也有其局限性,更多动态的预测方法亟待研究.     

基于社区信息的链接分析与预测研究

社区结构是社交网络最重要的拓扑特性之一,有助于理解用户分布和用户行为,提高链接预测的精确度。通过分析社区结构,结合贝叶斯理论,提出了一种新的基于社区信息的链接预测方法,并应用于真实的社交网络数据中对未来链接进行分析与预测。实验演示了该方法的优点和有效性,取得了很好的预测效果。     

基于QualNet的数据链联合仿真应用研究

为更真实地仿真分析数据链系统性能,基于QualNet仿真框架引入联合仿真思想。提出了一种QualNet与Simulink进行联合仿真分析数据链系统的新方法。通过分析QualNet中底层模型,得出其自身模型难以满足数据链仿真精度要求的结论。在此基础上使用Simulink建立相对精确的数据链底层模型。仿真得到上层所需要的数据,实现与Simulink联合仿真数据链系统。仿真结果分析表明,该方法建立的系统模型能够较真实反映底层模型对上层协议的影响,所建立的系统模型具有较高的可信度和较强的灵活性。     

用约束构件快速搜索法求解高级杆组的位置问题

提出了一种简单、有效的解决高级杆组位置问题的方法——约束构件快速搜索法．它将复杂的高级杆组转化为一个约束构件、几个Ⅱ级杆组和包含虚拟变量的虚拟原动件，建立被转化的Ⅱ级杆组的位置参数与虚拟变量之间的函数关系，根据约束构件的装配条件形成优化目标，使用一维搜索方法获得原高级杆组的位置解、该方法具有很好的收敛速度，适用于任意复杂的高级杆组，对所提方法的原理和分析步骤进行了介绍，编制了通用的高级平面机构的可视化分析程序．通过对含RR—PR—RPⅢ级杆组的多功能家用缝纫机送料机构的分析实例，演示了该方法的具体应用．     

价值链成本管理下会计内容的分析

说明了价值链成本管理作为内部价值链管理的观点,并进行了详细分析,在此基础上,对企业价值链分析后产生的会计问题进行了定义性分析,提出了弱化和强化等概念,在这些概念的基础上分析了会计内容的变化及应该遵循的原则.     

图上动态合作对策中基于连接价值的最优准则

通过在具有状态支付的图上对策中引入值函数及其单调覆盖的概念,建立并研究离散动态合作对策中基于连接价值的分配规则,依据有向图的拓扑结构赋予参与合作的局中人更合理的份额。针对各类动态决策支持系统中连接地位的量化评估对于提高系统的可靠性、改进安全防卫措施具有重要的意义。     

旅游景区链接动机分析的实证研究

在前期工作发现景区链接数能够反映景区旅游吸引力的基础上, 探讨了北京A级景区的链接动机。首先, 根据景区属性建立链接动机的分类体系; 然后, 通过搜索引擎采集景区链接数据, 并随机抽取485个链接样本; 最后, 由3个研究者分别独立地进行分类。调查结果显示景区链接的创建动机主要是旅游, 总体上比例超过了70%。但是, 不同类型景区链接的旅游动机比例存在差异。景区的功能越多, 则景区链接的旅游动机比例越低, 如博物馆和工农业旅游示范企业。如果除去以上两类景区, 则旅游动机比例上升到了90%左右。研究结果说明景区链接数的意义是由旅游动机产生的链接决定的。这个结论为景区链接的吸引力解释提供了证据。