政府网站搜索系统的日志挖掘、行为分析及改进

 为提高政府网站的搜索质量并优化网站内容, 对某政府网站现有搜索系统进行二次开发, 增加了日志挖掘模块、行为分析模块、系统改进模块, 实现了对搜索系统日志挖掘和用户行为的分析处理。日志挖掘模块负责收集、过滤和识别用户的搜索操作记录;在行为分析模块, 根据操作记录从查询过程、聚类分析和查询热词3 个角度, 分析用户行为的特点和规律, 得到了待调整权重的网页和热点查询词等分析结果;在系统改进模块, 通过调整网页的权重使查询结果更加精准, 改善了搜索系统, 根据统计查询热词, 既提供了搜索热点等新功能, 又为用户提供了个性化网页并优化了政府网站的内容, 实现了与舆情系统的数据交互。通过这些优化和改进, 从多方面使搜索系统和政府网站能更好的为用户服务。     

面向探索式搜索过程的查询推荐

查询推荐是一种提高用户搜索效率的重要工具,但是传统的推荐方法对于探索式搜索的推荐效果不好.针对此问题提出了一种新的面向探索式搜索过程的查询推荐方法,即根据用户搜索的行为模式,通过试探性查询重构和确认性查询重构两个过程,对探索式搜索过程进行建模,并根据影响探索式搜索过程的三种因素提出了一种排序算法,将确认性子查询中的查询推荐给用户.通过与传统推荐方法的对比实验验证了本模型及其推荐方法的有效性.     

网上书店图书查询功能的优化

目前,大多数网上书店在图书搜索功能方面只区分图书的内容而不区分图书的性质即专业书与非专业书的区分。针对这一现象。本论文详细描述了网上书店系统在图书查询功能方面的改进与优化,在对桌一类图书进行查找时,可以根据用户的需求来区分专业书与非专业书的查找。论文从理论和实践两个方面分析了实现网上书店图书查询的相关技术和思想,详细介绍了图书查询功能的实现过程。     

Ｋ－Ｍｅａｎｓ 算法与数据挖掘在旅游电商平台设计中的应用

为了提升旅游电商服务水平 基于 Ｋ－ｍｅａｎｓ 聚类算法构建旅游电子商务平台 并采用随机梯度下降算法、自适应梯度优化算法和密度法对 Ｋ－ｍｅａｎｓ 聚类算法进行优化改进 结果表明:改进 Ｋ－ｍｅａｎｓ 聚类算法的系统响应速度相较于传统 Ｋ－ｍｅａｎｓ 聚类算法提升了 ３１.２％ 电商平台推荐流量转化率为 ２.９３％ 浏览行为中的推荐浏览率为 ２８.２１％ 购买行为中的推荐购买率为 １５.３７％ 优于 Ａｐｒｉｏｒｉ 算法和 Ｕｓｅｒ－ｂａｓｅｄ ＣＦ 算法 利用改进 Ｋ－ｍｅａｎｓ 聚类算法构建旅游电子商务平台 能为平台用户提供个性化的旅游产品推荐 有效提升旅游产品的购买成交量 对旅游电商平台竞争力提升具有一定的实用价值     

基于情景感知的移动电商用户-项目聚类协同过滤推荐算法

针对移动电商个性化推荐服务领域情景感知应用不足和推荐质量不高的问题,提出一种基于情景感知的移动电商用户-项目聚类推荐算法(UIC-CF).在分析情景感知和传统推荐系统基础上,首先基于用户-项目-情景数据模型,构建用户项目类型偏好矩阵,并对评分矩阵填充优化,然后基于情景相似度对用户和项目进行聚类,以用户的评分矩阵和聚类结果为输入,执行UIC-CF算法完成Top-N项目推荐.基于LDOS-CoMoDa数据集,对UIC-CF算法和其他两种算法的对比实验,结果显示本文给出的算法均方根误差最小,准确率值显著提高,表明UICCF算法不仅有效,且具有进一步优化利用的前景.     

分布式数据库查询优化系统设计

在分布式数据库系统中,由于数据的物理分布使得分布式查询处理增加了复杂性,不同的查询处理方法,其查询处理代价和复杂度是大不一样的,因而分布式数据库系统的查询优化比集中式数据库系统更为重要。文章介绍了查询优化和策略,并说明分布式数据库系统查询优化策略对查询性能的影响,分析了自己的查询优化系统。     

支持联合查询的高效可搜索对称加密方案

采用基于Diffie-Hellman类型操作的安全两方计算实现的OXT方案是目前支持联合查询的最优可搜索对称加密方案,但Diffie-Hellman类型操作计算开销大,将成为该方案的计算性能瓶颈.为了提高计算性能,提出一个支持联合查询的高效可搜索对称加密方案(EXT方案).该方案采用客户端单独计算关键字与文档之间的关系,并交给服务器检验该关系的方法来实现联合查询,从而避免了Diffie-Hellman类型操作.并从正确性、安全性以及性能方面对EXT方案进行分析.分析结果表明:与OXT方案相比较,EXT方案将系统初始化的计算量、查询时客户端的计算量、查询时服务器的计算量、存储开销分别降低了95.05%、97.67%、98.48%、55.05%.     

一种改进的元搜索排序合成算法

搜索结果的合成是元搜索引擎系统中一个重要的技术问题。为了提高元搜索引擎的查询精度,提出了一种改进的元搜索结果合成算法。通过分析搜索结果列表中包含的文本信息,综合考虑搜索结果与查询的匹配完全程度和相关程度给出了文本分析的规范化方法,并结合搜索结果的排序信息计算文档的相关分值,据此实现对局部相似度的调整。利用成员搜索引擎的性能评价,提出了改进的影子文档方法估算非相关文档的相关分值。然后,采用基于群决策的合成方法对搜索结果进行一致性排序。在实际Web环境中进行了测试,实验结果表明采用本算法,搜索结果的相关性比Round-robin、CombSum和CombMNZ三种合成算法有较大提高。     

基于Term-Query-URL异构信息网络的查询推荐

查询推荐是一种帮助搜索引擎更好的理解用户检索需求的方法.基于查询的上下文片段训练词汇和查询之间的语义关系,同时结合查询和URL的点击图以及查询中的序列行为构建Term-Query-URL异构信息网络,采用重启动随机游走(Random Walk with Restart,RWR)进行查询推荐.综合利用语义信息和日志信息,提高了稀疏查询的推荐效果.基于概率语言模型构造查询的词汇向量,可以为新的查询进行查询推荐.在大规模商业搜索引擎查询日志上的实验表明本文方法相比传统的查询推荐方法性能提升约为3%~10%.     

一种基于事先测试的分布式数据库优化联接查询技术

在分布式数据库系统中,查询优化是一极其重要的问题,其中联接查询的优化因其应用的广泛性而显得尤为关键.本文介绍了在分布式数据库系统中对联接查询的一般处理方法,详细论述了笔者提出的一种在分布式数据库中基于事先测试的优化联接查询技术,并进行了分析与总结.     

专业搜索引擎搜索结果融合算法研究

为了提高专业搜索引擎的查询精度,提出了一种基于PageRank算法的改进搜索结果融合算法.首先,通过对元搜索引擎技术的分析,将rtf算法和PageRank算法进行融合,提出了基于PageRank算法的改进算法.该算法可以实现基于同义词、近义词的查询,将这种改进的算法在煤地质学专业搜索引擎上进行使用,实验结果表明,采用该...     

Web图像搜索系统中用户交互及反馈系统模型

提出一种用于图像搜索系统的用户交互和反馈模型,采用多模式查询方式满足不同用户的查询需求,加之完全基于用户语义理解的反馈策略,有效提高了系统准确性.作为整个图像搜索系统中直接面向用户的模块,整个交互及反馈系统简单易用、灵活方便,更适用于一般用户的"傻瓜式"查询需求.基于内容的图像搜索系统VAST(Visual ＆ Semantic Image Search)及反馈性能测试充分证明了该交互及反馈系统在Web环境下图像搜索领域的优势.     

浅介常用搜索引擎

搜索引擎(Search Engines)是一个对互联网上的信息资源进行搜集整理,然后供你查询的系统,它包括信息搜集、信息整理和用户查询三部分。搜索引擎是一个提供信息"检索"服务的网站,它使用某些程序把因特网上的所有信息归类以帮助人们在茫茫网海中搜寻到所需要的信息。     

基于反向最远邻的商品推荐算法研究

有效的推荐算法可以最大限度地发掘商品的价值.通过研究用户的偏好,分析了从海量商品信息中为用户推荐感兴趣内容的方法.目前大多数推荐系统向用户推荐的是较为流行的商品,而忽略了那些当下不"热门",却有着巨大潜力的商品.以发掘小众中的大众商品为目的,提出了一种基于反向最远邻(Reverse Furthest Neighbor, RFN)查询的商品推荐算法:基于专家用户的信任协同过滤算法,替代传统用户相似匹配的协同过滤推荐算法;利用幂律对商品进行范围缩减,优化系统筛选的效率,实现了对有潜在价值商品的推荐,使小众商品属性的分布得到更深层次的挖掘.实验结果表明本文推荐算法输出结果质量较高,适用于解决部分"长尾问题".     

基于统计模型的传感器网络查询系统的研究与设计

针对无线传感器网络数据处理的高实时性要求和节能要求,设计并实现了一种基于统计模型的传感器网络查询系统,采用了层次式的系统处理结构,并使用基于统计模型的优化方法改进了查询处理过程.最后给出了该系统与普通的WSN查询处理系统的性能对比分析,实验数据表明基于统计模型的查询策略提高了查询处理的效率,节约了无线传感器网络的能量消耗.     

一种建立在对客户端浏览历史进行LDA建模基础上的个性化查询推荐算法

现代搜索引擎普遍采用简单的关键词形式来表达查询,这为用户带来便利的同时也增加了准确获取信息的难度.搜索引擎很难基于少量的几个关键词准确捕捉用户的信息需求.查询推荐作为缓解上述问题的关键技术,已经开始应用于目前主流的搜索引擎.然而,绝大多数现有的查询推荐技术基于群体智慧,以搜索引擎日志为数据源,从中挖掘用户群体在构造查询方面的习性及查询之间的语义关联性,未考虑不同用户个性化的信息喜好,而且在搜索引擎服务器端进行查询推荐计算也会影响搜索引擎的响应效率和查询吞吐率.为此,本文提出一种运行于客户端的个性化查询推荐策略,该策略以用户浏览历史为数据源,采用LDA模型,并从中学习用户的信息喜好,在此基础上利用原始查询被主题模型生成的概率确定用户的查询意图,以词条与查询意图之间的关联来度量词条作为扩展查询被推荐的强度,最后选择Top N强度最强的词条作为查询推荐的结果.以人工标注的测试数据对本文所提出的算法进行了实验验证,结果表明,该算法在推荐扩展查询的准确率方面明显优于单纯基于词条与原始查询语义相关的方法     

人工智能技术在搜索引擎中的应用

介绍了搜索引擎的分类、工作原理,并具体分析了搜索引擎的体系结构,包括信息的搜集系统、索引系统以及查询接口.基于现在人工智能技术的迅速发展,对于在搜索引擎中运用的人工智能技术进行了研究,且着重分析了搜索引擎重要模块Robot的智能化、智能代理技术以及查询接口的智能化,有力地描述了搜索引擎发展的智能化方向与方法,对智能型搜索引擎所面临的挑战以及未来发展进行了展望.     

基于窗口函数和分布式集群的可视化学术搜索系统数据查询优化

针对在密集分析型查询请求和海量数据的应用场景下传统关系型数据库MySQL性能不佳问题,提出了基于窗口函数(Window Function)的分析型查询优化方法,以分区(Partitioning)方法代替传统的分组(Group by)操作,并提出了基于分布式集群(SQL-on-Hadoop:SparkSQL)计算引擎的海量数据查询优化方法,采用内存列存储优化技术和Spark分布式集群计算以提高查询性能.同时,以典型的分析型SQL查询实例验证了其有效性.结果表明,所提出的查询优化方法能够显著提高查询性能.与传统的关系型数据库MySQL相比,基于SparkSQL的查询优化方法的查询速度大幅提高,从而验证了其用于可视化学术搜索系统AceMap数据查询的正确性.     

对等式查询在分布式数据库中的应用

由于数据的分布和冗余使得分布式查询处理更加复杂,因此如何进行查询优化是分布式数据库系统中的重要问题．现有的查询方法主要有集中式查询、全局用户查询、遗传算法、回溯法等,但这些方法的查询效率都较低．针对这个问题,本文根据分布式数据库的特点,首先采用诱导分割对数据进行合理的分布,然后在回溯法的基础上提出了对等式查询思想,并给出一种优化查询方案．该方案根据数据特点构造相关联接表,查询时首先从联接表中得到相关信息,从而缩小范围并迅速得到查询结果,有效地提高了分布式数据库系统的查询效率。     

电商基于大数据的关键技术研究

电商使用个性化推荐系统分析用户的兴趣偏好,帮助用户从庞大的商品目录中挑选真正适合自己需要的商品,为每个用户提供个性化服务。在很多电商个性化推荐技术中,作为当今运用最广泛、最成功的推荐策略,从而改善了SVM算法在电商数据挖掘方面的性能,并且验证了采用数据挖掘算法应用到电商研究是可行的,并且具有较高的准确性。