基于URL类型优先级的入口页面查询算法

入口页面(主页)查询结果只有一个，并且用户的查询词常常是简短的页面名称，由于它要求更高的精准度，一般认为是较为困难的. 依据语言模型分析，挖掘出对中文入口页面(entry page)检索有意义的查询域作为基准检索的内容域，同时考虑到非内容网页优先级(URL type等)特征的重要性，建立综合内容域和非内容网页特征的检索模型. 通过URL类型优先级(URL type prior)的概率统计，发现入口页面和其相关的子页面之间存在比较大的联系. 据此提出基于相关子页面的入口页面提取算法PERS(page extracted from relevant sub page). 对比实验数据表明，PERS算法对检索的性能有较大提高.     

基于优选链接的中文网页分类方法研究

网页之间的链接为Web数据挖掘提供了丰富信息,通过链接关系来加强中文网页分类的效果.由于网页的编写存在随意性和不规范性,并非所有的链接页面与源页面都有主题相关性.通过比较页面与其链接页面的相似性,优选出相似度较高的链接子集,利用得分向量对基于内容的分类结果进行修正.基于北大天网数据集的实验结果表明,优选链接页面的分类方法对于训练样本较少的类别在分类精度上有一定的提高.     

基于网页特征的会话识别方法

提出一种利用网页特征进行会话识别的方法.通过分析网页本身的特征,计算站点中所有网页的特征向量.根据这些特征向量,可以计算任意网页之间的相关程度.按照用户请求页面在日志中的时间顺序,可以得到日志中所有直接相邻的页面记录的关联程度曲线.通过设定一个阈值,在关联程度曲线中波动较大的位置形成会话边界.将关联程度大的页面分类到一个会话中,从而完成会话识别.     

网页设计布局方法的探讨

 在设计网页之前,要对网页进行合理布局,所谓“网页布局”,就是给将要出现在网页中的所有元素进行定位.网页布局是网页精彩与否的重要因素之一.网页布局关系着内容的编排和页面的排版,它直接影响着网页信息的浏览及体现出网页的美感.介绍了几种不同的网页布局方法,并用实例说明了DIV+CSS实现网页布局的方法.     

基于可视布局信息的网页噪音去除算法

主要探讨了网页中的噪音去除问题.针对单一页面中包含的丰富的可视信息,提出了一个更加精确的噪音去除算法首先获得页面中各元素标记的布局信息,然后利用布局信息对页面进行划分,最后在此基础上去除噪音.与采用"布局信息"的算法相比.本文提出的算法对页面布局信息的提取更加准确,并能处理动态HTML页面.实验结果表明,该算法优于同类算法,可有效地去除网页噪音.     

动态生成静态网页技术探索

本文介绍了利用动态网页技术生成静态HTML页面的方法.利用这种技术,网站内容管理人员在添加网页时直接利用后台管理发布程序就把页面存放成HTML静态文件,它有生成页面简单、快速的优点.这种技术对于访问量大的网站尤其适用,可以减轻服务器端运行程序和读取数据库的压力,提高了网站的数据存取效率,生成的静态页面也更利于搜索引擎收录.     

WHPM-Apriori:网页超链接挖掘的Apriori改进算法

网页链接关系的设计影响到用户的访问效率,通过日志挖掘发现网页间的关联关系,使网站设计更趋合理,便于用户访问.为了提取页面间的关系,日志数据预处理后,利用Apriori算法发现频繁集,找到页面间的关联规则.网站结构主要由网页和网页间的超链接组成,针对网页超链接结构的特点:一条超链接只能建立在两个网页上.发现频繁集只需找出所有2-项集即可.提出网页超链接挖掘的Apriori改进算法(WPHM-Apriori).实验表明,该算法有效地降低Apriori的时间复杂度.     

基于SVM的金融类钓鱼网页检测方法

针对金融服务领域面临的严峻信息安全挑战,以及现有钓鱼网页检测方法的不足,提出一种基于支持向量机(support vector machine,SVM)的金融类钓鱼网页检测方法.采用网页渲染去除常见的页面特征伪装,提取统一资源定位符(uniform resource locator,URL)信息特征、页面文本特征、页面表单特征以及页面logo图像特征,构建特征向量训练SVM分类器模型,实现对金融类钓鱼网页的识别.在特征提取过程中,利用适合中文的多模式匹配算法AC_SC(AC suitable for chinese)提高文本匹配效率,并采用加速鲁棒特征(speeded-up robust feature,SURF)算法实现logo图像的特征提取与匹配.多方法实验结果对比表明,该方法针对性更强,能达到99.1％的检测准确率、低于0.86％的误报率.     

一种对动态网页的排名算法及其应用

针对目前普通搜索引擎无法对动态网页的查询结果进行有效索引与排序的问题,提出了一种对动态网页的排名算法Con ten tR ank,并介绍其在商务网站中的应用.该算法通过对与动态页面相关的内容进行挖掘分析,计算页面排名得分,从而实现对此类动态网页的查询结果的排序,提高排名的准确性.     

基于数据挖掘技术的网页个性化推荐系统分析

介绍了＂网络迷航＂现象及WEB数据挖掘技术,讨论了网站用户浏览行为及获得用户浏览行为模式的方法,构建了模拟网页个性化推荐系统,使网站的页面设计更具个性化,节省搜索网页的时间.     

基于手持设备能力的页面拆分算法

随着移动计算的发展,通过手持设备存取Web将越来越普遍。手持设备的限制和多样性要求同一Web页面具有不同的表现形式,因此需要对Web页面进行选择、拆分等自适应操作以满足手持设备能力的限制。为了提高自适应页面的质量,提出一个两阶段页面拆分算法。该算法在保证自适应页面正确性的基础上,提出量化评估函数以保证每个小页面的语义连贯性和最优的资源利用率,从而增加页面的可用性。该算法已应用于多个样本页面,结果表明拆分结果具有较好的可用性。     

基于简化MD5的TFIDF算法

随着信息技术不断的发展,海量数据的处理效率成为不可逃避的问题。传统的网页分类算法在分类效果上已经相对成熟,所以在这样的背景下从传统网页分类算法中特征值权重算法的效率和代价出发,分析并提出了基于简化MD5的特征值权重算法。有效减少了特征值提取时的比对和最后一次排序的效率,从而提高了整个网页分类的效率。     

Frame页面过滤算法在Web日志挖掘预处理中的应用

W eb日志挖掘是将数据挖掘技术应用到W eb服务器的日志中,发现web用户的行为模式.在介绍了典型的数据预处理技术的基础之上,指出Fram e页面降低了挖掘结果的兴趣性,并提出相应的解决方法-Fram e页面过滤算法消除其影响.通过实验数据对该算法进行验证,说明Fram e页面过滤算法可以显著地提高W eb日志挖掘结果的兴趣性.     

基于关联图的改进关联规则在推荐系统中的应用

提出了推荐模型中的关联规则挖掘方法的改进,给出了自定义的页面权值的定义,并改进了基于关联图的关联规则挖掘算法,将页面权值应用于关联规则的挖掘中。此算法是利用Web日志中经过预处理后得到的数据进行规则挖掘,将处理后的数据应用正态分布函数来得到页面权值。用页面权值重新计算支持度,最后将得到的支持度应用于改进的规则挖掘算法中,形成一种基于权值的关联图的关联规则算法。     

子页感知的闪存页面置换算法

根据闪存的独特物理特性,提出了子页感知的闪存页面置换算法.该算法引入了子页技术和基于相似概率的部分更新机制,既可以提高闪存存储系统的性能,又可计算每个内存页的置换值,并选择了置换值最小的内存页为牺牲页.实验结果表明,新算法在页面命中率、读/写操作次数、运行时间方面均具有优势.     

基于网页分块的Shark-Search算法

Shark-Search算法是一个经典的主题爬取算法. 针对该算法在爬取噪音链接较多的Web页面时性能并不理想的问题, 提出了基于网页分块的Shark-Search算法, 该算法从页面、块、链接的多种粒度来更加有效的进行链接的选择与过滤. 实验证明, 改进的Shark-Search算法比传统的Shark-Search算法在查准率和信息量总和上有了质的提高.     

基于网页关键词的个性化Web推荐算法

个性化Web推荐系统是利用用户的浏览行为定制符合用户结构和内容的过程。在综合应用协作过滤和内容过滤方法的基础上,通过对网站网页关键词的评估,提出了一种新的个性化Web推荐算法,研究了基于网页关键词的个性化模型,网站页面中关键词的权重计算,基于协作过滤的新用户推荐,基于内容过滤的再次推荐方法,以及基于用户群的用户兴趣调整方法。实验证明,本算法能够以较高的效率对用户进行网页推荐。     

一种基于用户偏好和反馈的页面排序技术

传统的排名方法没有考虑用户的喜好、反馈和用户兴趣,很难满足用户的个性化需求.针对这个问题,提出一种新的网页排名方法,将网页的相似度、链接结构信息、用户偏好及用户反馈相结合进行页面排名.实验结果表明,改进的排序算法在一定程度上帮助用户提高检索网页的质量,最大限度地满足用户的需求.     

基于类虚拟化的影子页表加速方法

影子页表作为内存虚拟化地址转换问题的解决方案之一,其性能开销主要源于客户机页表和影子页表不一致造成的缺页异常。实验发现:在使用影子页表技术的虚拟机中,缺页异常引起的虚拟机陷入占所有虚拟机陷入的70%以上;这些缺页异常中,30%的缺页异常由客户机页表本身引起,从而造成不必要的虚拟机陷入。客户机的不必要陷入可以通过结合类虚拟化思想和硬件虚拟化条件优化技术并调整影子页表的缺页异常处理流程来解决。为验证上述方法的有效性,设计并实现了AccSP原型系统。实验结果表明,AccSP能够使得系统性能得以稳定提升。