一种基于结构分析的改进HITS算法

Web挖掘技术的应用之一就是Web搜索引擎。对于搜索引擎中的Web结构挖掘,通过对经典的超链接分析算法的研究,对Web超链结构进行深入分析的基础上,针对HITS算法的缺陷,通过引入权值和调整因子对其进行改进。实验表明,改进后的算法表现更加出色。     

基于Hadoop云平台的新浪微博社交网络关键节点挖掘算法

为了高效地分析挖掘新浪微博社交网络信息传播过程中的关键节点,以Hadoop云计算系统作为存储和处理平台,在X-RIME大规模社会网络分析工具开源框架基础上,针对社交网络中使用HITS(hypertext induced topic selection)链接分析算法挖掘关键节点时,未能体现节点和连接的社会属性问题进行改进.新算法充分考虑了社交网络节点和边的社会属性,对HITS算法节点和边的社会属性权值进行优化计算,提出适合社交网络特点的加权HITS算法.通过Hadoop云平台分别运行加权HITS算法和传统HITS算法对新浪微博社交网络数据进行分析.实验结果表明,加权HITS算法比传统HITS算法具有更高的执行效率和结果区分度,加权HITS算法更适合于大规模社交网络信息传播过程中关键节点的分析挖掘.     

基于Timed-HITS与协同过滤的混合推荐算法

用户间的信任关系、用户对商品的偏好兴趣及商品的时效性都会影响对商品的推荐效果.将这些因素引入到基本的HITS算法中,对HITS算法进行了改进.将用户对商品的偏好兴趣矩阵进行了改进,利用隐馈数据通过逻辑回归算法估计用户对商品的偏好兴趣,对评分为零的情况赋予了不同的偏好兴趣度,这样更符合实际.将改进的HITS算法和协同过滤算法相结合得到一个混合推荐算法,同时将用户分为活跃用户和非活跃用户分别进行推荐.将提出的算法在Movielens数据集上进行了试验,结果表明该算法在一定程度上缓解了数据稀疏和冷启动的问题,推荐效果优于基于用户的协同过滤算法.     

基于站点资源的主题提取算法

传统的主题提取算法存在一些已知的问题.为了更好地满足SEWM-2004中文Web检索测评中的主题提取任务要求,分析经典的基于超链接分析的主题搜索(hyperlink-induced topic search,HITS)等算法,提出了一种以站点作为查询的资源单位,并结合内容分析的主题提取算法CWT100G上的超链接分析(hyperlink analysis withinCWT100(,HAC).HAC算法首先根据网页的URL将网页按站点分组;然后在每个站内结合网页内容和站内链接关系来计算网页的权值,从而找出站内的Hub网页;接着再分析站间的链接关系进一步计算各网页的最终权值,从而找出站间的Hub网页.两组对比的实验结果表明,HAC算法能找到切合主题的更大的Hub站点.     

基于超链接和相关度策略的克隆Web搜索方法

针对如何快速有效地搜索用户所需要的Web资源问题,在介绍HITS算法的基础上,分析其产生主题漂移的原因,并结合内容相关度策略,提出一种新的CSHITS搜索算法,该算法通过克隆、变异和交叉操作获取具有相关度高的Web页面.实验结果表明,CSHITS算法挖掘了超链接间的潜在语义关系,能有效地引导主题挖掘.     

WHPM-Apriori:网页超链接挖掘的Apriori改进算法

网页链接关系的设计影响到用户的访问效率,通过日志挖掘发现网页间的关联关系,使网站设计更趋合理,便于用户访问.为了提取页面间的关系,日志数据预处理后,利用Apriori算法发现频繁集,找到页面间的关联规则.网站结构主要由网页和网页间的超链接组成,针对网页超链接结构的特点:一条超链接只能建立在两个网页上.发现频繁集只需找出所有2-项集即可.提出网页超链接挖掘的Apriori改进算法(WPHM-Apriori).实验表明,该算法有效地降低Apriori的时间复杂度.     

基于用户历史及兴趣度的HC-HITS算法研究

HITS是Web结构挖掘代表算法之一.HITS算法仅考虑页面之间的链接关系,容易出现主题偏移现象.文中分析了用户历史行为与兴趣之间的关系,从四个方面近似计算用户兴趣度.提出了基于用户兴趣度的改进HITS算法(HC-HITS),对比实验结果表明HC-HITS算法减少了主题漂移现象,取得较好的效果.     

Web结构挖掘算法探讨

在分析Web结构挖掘现有算法的基础上，重点研究了HITS(Hyperlink—InducedTopic Search)算法。Hub页面的多主题性、无关页面和无关链接等对于HITS算法有较大影响。针对这些问题，提出了HITS算法的改进算法。     

基于分块的超链引导的主题搜索改进算法

通过引入“分块”这一新技术,提出了一个改进的HITS算法,即利用VIPS和分块重要性模型,分割集合中的每一个网页,并为其分配重要值,再结合内容分析法来修改HITS算法中authority网页的权值,从而提高搜索精度,使得搜索结果更接近查询者的意愿.     

基于MapReduce的HITS算法的实现

在对HITS算法和基于MapReduce编程模型的云计算框架Hadoop的研究基础上,利用Hadoop来重新设计并实现HITS算法.同时,在实验中分析了不同blocksize和集群规模对算法执行效率的影响.实验表明:当blocksize过大时,由于没有充分利用集群的并行特性,算法效率逐渐降低,而适当扩大集群规模,算法运行效率会逐渐提高.     

基于超链接分析搜索引擎页面排序算法的剖析

对搜索结果的排序是搜索引擎中至关重要的一项技术,算法的好坏直接关系到用户输的搜索引擎页面排序算法。对两种最基本的页面排序算法PageR ank和H ITS的算法思想和实现原理进行详细阐述。通过分析对比,总结出它们各自存在的优点和不足进而指出适合其应用的条件领域。最后指出搜素引擎应用超链接分析时应注意的一些影响因素。     

融合链接结构的主题爬虫算法

通过分析基于内容的链接选择Best-First算法,引入能够体现链接价值的HITS(hyperlink induced topic search)算法,提出了新的链接选择策略.将两种算法相结合,新的爬虫不仅仅考虑页面内容,同时将链接结构加入进来,使得在下载的过程中能够保证主题相关性和权威性,缓解爬虫在爬行阶段的“近视”现象.结果表明:新的爬行策略比单一的Best-First算法具有更好的性能表现.     

基于PageRank与HITS的改进算法的网页排名优化

针对传统网页排序算法PageRank和HITS中存在的主题漂移、检索效率低等不足,本文提出了一种改进算法PHIA(PageRank and HITS Improved Algorithm)。该算法继承了HITS算法获取根集和基本集的方法,并且使用根集中所有网页的PageRank值作为Hub和Authority初始迭代值,最后根据马尔可夫链求随机矩阵的特征向量的方式来获取网页排名的静态分布。基于随机关键词的检索结果可知,相比于传统的PageRank和HITS算法,改进PHIA算法具有更快的收敛速度,并且在一定程度上提高了网页排序的准确度。     

基于链接文本相关度的超链接算法

分析了超链接PageRank算法的不足．采用矢量空间模型计算检索关键词与超链接文本之间的相关度,提出了基于超链接文本相关度的超链接算法．实验结果表明,该算法可以提高PageRank算法的检索精确度．     

基于PageRank和HITS的Web结构挖掘算法研究

在对Web结构挖掘的典型算法探讨的基础上,提出了一种PageRank算法和HITS算法相结合的改进算法,并对该算法进行了简要分析。     

一种个性化的主题提取和层次发现算法

从语义相关性角度分析超链归纳主题搜索(HITS) 算法,发现其产生主题漂移的原因在于页面被投影到错误的语义基上,因此提出了一种个性化的主题提取和层次发现算法(PTDHE),通过个人查询日志扩展查询词,构造符合用户需要的个性化根集和基础集合,达到防止主题漂移的目的.PTDHE采用基于最小最大原则的图划分方法,层次地发现与用户查询相关的主题页面集合,利用HITS算法分别计算每个主题页面集合中页面的权威值,返回与查询相关的其他主题权威页面.在14个查询上的实验结果表明,与HITS算法相比,PTDHE算法不仅可以减少2%~66%的主题漂移率,而且可以发现与查询相关的多个主题.     

Identify Implicit Communities by Graph Clustering

0 IntroductionWeb communities are very i mportant signature of Weborganization. Community is a set of pages denselyconnected, which reflect that many pages have created bysome persons or groups with common interest . Communitiesare helpful for Web information retrival , social attribute ofWeb,customs analysis and site portal management . For in-stance,the Web directories in Yahoo!and Infoseek are com-munities . There two different communities . Oneis manifestlydefined communities such as n…