基于Web日志的匿名网络用户聚类研究

该文探讨了从Web日志中提取匿名网络用户会话信息的方法以及会话向量的表述形式，并利用网页的层次性减少会话向量的维数，确定了用户会话之间的相似度的计算公式，最后采用leader层次聚类算法完成匿名网络用户会话聚类。实验结果表明，这种方法是高效可行的，可以较好地解决扩展性和动态聚类等问题。     

基于改进ROCK算法的个性化推荐系统研究

分析了ROCK算法的优点和缺点,ROCK算法优点是容易聚类Mushroom等分类属性数据集;缺点是这种算法的相似度函式sim是基于领域专家的直觉.改进的ROCK算法采用Jaccard系数计算相似度,根据相似度的值越大表示对象越相似进行聚类,得到聚类结果,从而实现用户的个性化推荐.     

一种基于URL路径的页面用户聚类方法

结合Web用户浏览行为的特点,提出了一种基于路径的Web页面相似度聚类算法,使用用户的浏览行为描述和用户对页面的访问次数建立Web站点的访问矩阵,并在此基础上对站点进行URL用户聚类。最后,使用标准数据集进行了试验,证明基于此种相似度计算方法的URL聚类算法对Web用户聚类是有效的。     

基于全置信度关联分析的web层次聚类方法

为了便于用户浏览网页信息，基于全置信度关联分析，提出了一种网页层次聚类的方法。该方法采用向量空间模型表示网页文档，将文档看成事务，文档的词汇视为事务中的项，根据关联挖掘算法发现文档之间的强关联规则产生基本类，然后利用图划分的算法完成网页文档的层次聚类。在关联规则产生过程中采用全置信度量发现强关联模式，规则的产生不受支持度阈值设置的影响，即使支持度闽值设置为零，也能发现强关联模式，有效地消除了弱相关的交叉支持模式。     

基于人工蚁群的Web会话聚类

将改进的蚁群聚类算法应用于Web使用挖掘中，可对Web事务进行聚类，以便了解Web用户的兴趣以及它们之间的联系，从而为用户提供个性化的服务。同时定义一个Web会话为一个带权值的多维向量，也定义了两个会话间的相似度度量。实验表明在广西大学网站抽取的会话数据集上执行蚁群聚类算法得到的聚类是稳定的。结果显示该算法执行得很好，能找到没有噪音的聚类。     

WEB数据挖掘中XML文档的聚类研究

为了满足基于Web的XML数据信息的挖掘的需求,提出一种基于结构相似度的XML文档的聚类算法,该方法是在根据XML文档的语义信息和结构信息计算出相似度基础之上对XML文档集合进行聚类,并进行了实验,证明该方法有效,与同类算法相比有其优势的地方。     

基于语义相似度的Web文档聚类算法

文章提出基于语义相似度的Web文档聚类算法--WDCSS算法,依据文档关键词之间的相似度生成最小树,通过概率统计来确定最小树中相似度阚值,并对最小树中进行切割,同时对较小的子类进行划分合并.实验表明,WECSS不仅能为具有各种不同聚类形状的数据集准确地分析出数据中存在的合理聚类和例外样本,而且避免了用户参数选择所造成聚类质最降低问题.     

一种基于主题的Web文本聚类算法

设计了一种基于主题的Web文本聚类方法(HTBC):首先根据文本的标题和正文提取文本的主题词向量,然后通过训练文本集生成词聚类,并将每个主题词向量归类到其应属的词类,再将同属于一个词类的主题词向量对应的文本归并到用对应词类的名字代表的类,从而达到聚类的目的.算法分四个步骤:预处理、建立主题向量、生成词聚类和主题聚类.同时,对HTBC与STC、AHC、KMC算法从聚类的准确率和召回率上做了比较,实验结果表明,HTBC算法的准确率较STC、AHC和KMC算法要好.     

加权Web访问模式聚类算法

针对 Web应用挖掘中聚类算法中的问题 ,提出加权 Web访问模式聚类算法 .该算法利用服务器日志库中保存的网页访问次数信息 ,提高了聚类的客观性和准确性 .     

K-均值算法中聚类个数优化问题研究

在传统的K-均值聚类算法中,聚类数K必须事先给定,然而,实际中K值很难被精确的确定,K值是否合理直接影响着K-均值算法的好坏。针对这个缺点,提出一种优化聚类数算法,根据聚类算法中类内相似度最大差异度最小和类间差异度最大相似度最小的基本原则,构建了距离评价函数F(S,K)作为最佳聚类数的检验函数,建立了相应的数学模型,并通过仿真实验进一步验证了新算法的有效性。     

基于元搜索的网页去重算法

针对元搜索的重复网页问题,提出基于元搜索的网页去重算法,并通过实验对算法进行有效性验证。该算法首先对各成员搜索引擎返回来的结果网页的URL进行比较,然后对各结果网页的标题进行有关处理,提取出网页的主题信息,再对摘要进行分词,计算摘要的相似度,三者结合能很好的检测出重复网页,实现网页去重。该算法有效,并且比以往算法有明显的优势,更接近人工统计结果。     

基于网页分割的语义信息检索研究

如何准确表达用户意图,判断网页与用户需求的相关性是信息检索技术研究的重要方向。本文提出了一种基于网页内容分割的语义信息检索算法。该算法根据网页半结构化的特点,按照HTML标记和网页的内容将网页进行区域分割。在建立HTML标记树的基础上,利用内容相似性和视觉相似性进行节点的整合。根据用户的查询,充分利用区域信息来对相关的检索结果进行排序。实验表明,本文提出的方法可以显著地提高搜索引擎的查询效果。     

基于Map/Reduce的网页消重并行算法

网页消重模块是搜索引擎系统的重要组成部分,其作用是对搜索引擎的爬虫系统下载的网页进行过滤,去除重复内容的网页,从而提高搜索引擎爬虫系统的性能和检索的质量。提出了一种网页消重的并行算法以及基于Map/Reduce的实现机制,并通过实际网站的实验验证了该消重算法的稳定性和处理大量网页时的并行性能。     

以视觉相似为基础的Phishing检测方法

目前检测网络欺诈均采用人工的方式。该文提出了一种基于EMD(earth move distance)算法的视觉相似度欺诈网页检测算法,算法将网页在像素级别的相似度比较结果作为依据,判断某网页是否为欺诈网页。在2个实际系统中应用和实践了该算法,通过对9280个网站进行检测,检测出欺诈的正确率为90.90%,结果显示该算法具有较高的欺诈检测精度以及较低的时间性能开销。     

一种欺骗网页检测判定算法

欺骗网页与正常网页有着极其相似的特征,诱导并欺骗用户输入个人机密信息,严重威胁着电子商务正常运行.基于此,提出了一个欺骗网页检测算法.算法首先对网页进行分割,然后提取各个块的特征及其相对位置关系,得到网页特征关系图,并以此计算出两个网页之间的相似度.如果发现可疑网页与某个受保护网页之间的相似度小于预设值,判定该可疑网页为针对受保护网页的欺骗网页.实验结果表明,本算法可以有效检测欺骗网页,具有一定的实用性.     

基于支持向量机的搜索引擎垃圾网页检测研究

搜索引擎垃圾网页作弊的检测问题一般被视为一个二元分类问题,基于机器学习的分类算法建立分类器,将网页分成正常网页和垃圾网页2类.现有的基于内容特征的垃圾网页检测模型忽略了网页之间的链接关系,故构建了软间隔支持向量机分类器,以网页的内容特征作为支持向量,根据网页之间的链接具有相似性的特点定义了惩罚函数,使用样本集学习,得出了线性支持向量机网页分类器,并对分类器的分类效果进行了测试.实验结果表明基于支持向量机的分类器的效果明显好于使用内容特征构建的决策树分类器.     

基于语义相似聚合的主题爬虫算法研究

互联网的迅速发展,数据不断增加,使得个性化数据的获取难度越来越大.主题爬虫作为一种垂直检索方式,已经成为一个热门研究领域.传统的主题爬虫往往是通过网页链接之间的关系下载网页,然后再计算下载的网页与给定主题之间的相关关系.传统的主题爬虫一方面割裂了网页链接结构和网页内容主题之间的关系,使得两个部分分开计算; 另一方面下载过程的网页主题相关性不强,会下载大量的主题无关网页.本文提出一种新的基于PageRank 算法主题爬虫算法将网页主题相似度计算与传统的PageRank 算法相结合,将网页链接结构与网页主题相关性结合在一起.另外本文将语义相似性引入到主题爬虫里,实验结果表明本文提出的基于语义相似聚合的主题爬虫算法大大提高了主题爬虫的查全率.     

基于贝叶斯分类的主题爬虫

随着网络的高速发展,其信息资源越来越庞大,面对巨量的信息库,搜索引擎起着重要的作用．主题爬虫技术作为搜索引擎的主要核心部分,计算搜索结果与搜索主题的关系,该关系被称为相关性．一般主题爬虫方法只计算网页内容与搜索主题的相关性,作者所提主题爬虫,通过链接内容和锚文本内容计算链接的重要性,然后利用贝叶斯分类器对链接进行分类,最后利用余弦相似函数计算网页的相关性,如果相关值大于阀值,则认为该网页与预定主题相关,否则不相关．实验结果证明：所提出主题爬虫方法可以获得很高的精确度．     

基于图像感知哈希技术的钓鱼网页检测

文中提出一种基于图像感知哈希技术的钓鱼检测方法,简称Phash———将网页以图像格式保存,提取图像的主要可视信息的像素点,由这些像素点组成感知哈希序列,再进行哈希序列的相似度匹配。该方法既克服了钓鱼网页存活时间短的问题,又能快速地与特征库进行匹配。实验表明,该方法是有效的,在保证一定误判率和召回率的情况下大大提高了匹配速度。     

高性能网页索引器JU_Indexer的实现

高性能网页索引器JU_Indexer用倒排索引表存储网页索引数据, 以多线程并行的方式对网页建立索引数据, 采用经过优化的检索算法实现用户的查询. 首先给出了JU_Indexer的系统框架, 然后描述了索引数据在JU_Indexer中的存储结构、 建立网页索引的算法、 以及实现用户查询的检索算法. 实验结果表明, JU_Indexer能在毫秒级的时间内完成用户的查询, 它采用的经过优化的词组检索算法缩短了词组的检索时间.