基于不同数据集的协作过滤算法评测

现有协作过滤算法评测中普遍采用单一数据集,而忽略算法可能受不同数据集特征影响的情况。针对这一问题,该文将传统的User-based(近邻数为20)、Item-based、Item average、Item user average和Slope One 5种算法应用于MovieLens和Book-Crossing两种数据分布特征不同的数据集,通过试验得到其评测精度。结果显示,在Movielens这种评分值相对比较稠密的数据集上,Slope One算法的预测精度最好;而在评分值相对比较稀疏的Book-Crossing数据集上,Item-based算法的预测精度最好,Slope One的预测精度最差。应根据用户和资源分布具体情况选择合适的算法。     

融合标签相似度的 k 近邻 Slope One 算法

Slope One 协同过滤算法被广泛应用于个性化推荐系统中。标签是一种描述项目特性的重要形式,针对Slope One 算法推荐精度不足的问题,将标签信息融合到 Slope One 算法当中。同时参考 k 近邻算法思想,选取阈值过滤后的 k 近邻项目参与平均评分偏差计算,提高计算效率的同时增加预测精度。使用评分相似度和标签相似度作为权重修正线性回归模型。通过线性加权融合预测结果,进一步提升推荐质量。将算法应用于 MovieLens 数据集,与传统加权 Slope One 算法相比,平均绝对偏差下降4．8％,召回率和准确率分别提高32．1％和26．3％。     

Slope One-BI算法的改进及其在大数据平台的并行化

针对大数据时代下Slope One算法推荐效率不高的问题,提出结合聚类和动态K近邻的双极Slope One推荐算法.首先,结合Canopy和K-medoids的聚类算法把相似的用户汇聚到一起.然后,在所属聚类中,根据用户之间相似度的具体情况动态地寻找最近邻,并用Slope One-BI算法推荐预测.最后,在Spark平台上实现并行化.在电影数据集上的实验结果表明:基于Spark平台的优化算法与其他协同过滤算法相比,推荐精度具有明显优势.     

基于邻近项目的Slope One协同过滤算法

协同过滤是个性化推荐系统中的常用技术,数据稀疏性是影响协同过滤算法预测准确度的主要因素。提出了改进的Slope One算法,在该算法中,首先根据用户历史评分计算项目间相似性,然后依据项目相似性选取当前活跃用户评价过的k个相似项目记为邻近项目集合,并计算目标项目与其邻近项目的评分偏差,最后以项目间相似性为权重,计算当前活跃用户对目标项目的评分预测值。该算法使用邻近项目进行计算,降低数据的稀疏性,同时减少了计算量。使用标准MovieLens数据集对该算法的预测结果进行验证,结果表明：相对于原算法,该算法提高了预测的准确性,与其他协同过滤算法相比,推荐准确度也有明显的提高。     

结合信任和项目的抗攻击协同过滤算法

为提高基于项目协同过滤推荐方法的抗评分攻击能力,提出结合用户信任等级和项目进行资源协同过滤算法。提出根据用户兴趣相关性、评分相似性和评分相关性构建用户关联图,然后提出用户信任等级计算模型,并将用户信任等级值作为用户的权重结合到经典协同过滤推荐算法Slope One的项目差异性的计算中,形成基于用户信任等级的协同过滤方法。实验数据表明新算法在不影响推荐的预测准确性的基础上,比传统的过滤推荐算法具有更好的抗攻击能力。     

复杂高维数据中异常点挖掘算法研究

为了分析当前高维数据中各类异常点检测算法的性能,采用8个典型数据集,对10种代表性算法在这些数据集上进行了详细的实验分析,给出了不同算法在算法精度、ROC曲线面积及运行时间上的分析比较.实验结果表明:受到数据集分布及属性相关性的影响,同一算法在不同数据集上的效果有很大差异性,基于近邻排序的算法在各个数据集中的结果相对稳定,但其结果受k值的影响较大;和其他算法相比,基于集成的算法效果较好,但用于集成的有效算法选择较为困难.     

PSL:针对大规模数据应用的并行Slope One算法

提出并行Slope One算法PSL,并展示了它的Map-Reduce计算模型实现。PSL有效地克服了(1)原Slope One算法空间复杂度过高,单机无法存储其中间文件的缺点;(2)计算代价高,通常只能使用在小规模数据上的不足。并且此算法:(1)能够进行增量计算,实现准实时的用户推荐,(2)可以运行在成本低廉的集群上,不仅具有学术意义,更具商业价值。采用了Net-flix Prize真实数据进行实验,结果表明,PSL可以应用在真实的大规模数据之上,并且具有良好的容错性和伸缩性。     

基于个性化情境和项目的协同推荐研究

为提高基于项目的协同过滤推荐SlopeOne算法的预测结果,在算法的项目相异性计算和评分预测过程中引入个性化情境因素.首先对基于项目的协同推荐方法进行综述,然后针对不同情境下的评分记录进行项目间相异性计算,根据此结果计算检验集中的项目在不同情境下的预测评分,并以预测结果为依据为每个用户得到个性化情境,进而为用户对新的资源项目进行评分预测.最后在标准的Movielens数据集上进行实验,其中,U2的训练集和测试集用来训练个性化情境,其他数据集用来检验算法的预测结果.通过对改进的推荐算法与经典的基于项目的协同过滤算法SlopeOne进行比较,实验数据表明改进后算法的推荐结果有较大提高.     

基于混合协同过滤的个性化推荐方法研究

针对传统协同过滤算法存在的数据稀疏性和推荐范围问题，提出一种混合协同过滤推荐方法.该方法将两种传统算法结合，并综合考虑了项目标签属性等信息.首先利用基于项目的协同过滤算法生成预测评分，并替换原始用户-项目评分矩阵中的零值.其次利用基于用户的协同过滤算法计算填充后矩阵的用户相似度，以及预测评分并产生最终推荐.最后基于MovieLens数据集实验证明，该方法能够有效提高推荐精度，扩大推荐范围.     

邻域线性最小二乘拟合的推荐支持度模型

针对协同过滤推荐系统在稀疏数据集条件下推荐准确度低的问题,提出了推荐支持度模型以及用于该模型计算的邻域线性最小二乘拟合的推荐支持度评分算法(linear least squares fitting,LLSF)。该模型描述用户对被推荐项目更感兴趣的可能性,通过用高支持度的评分估计取代传统的期望估计法来找出用户更喜欢的项目,从而提高推荐的准确度,并从理论上论述了该算法在稀疏数据集条件下相对其他算法具有更强的抗干扰能力。该模型还易于与其他推荐模型融合,具有很好的可拓展性。实验结果表明:LLSF算法显著提升了推荐的准确性,在MovieLens数据集上,F1分数可达到传统的kNN算法的3倍多,对于越是稀疏的数据集,准确率提升幅度越大,在Book-Crossing数据集上,当稀疏度由91%增加到99%时,F1分数的改进由22%提高到125%。同时该方法不会牺牲推荐覆盖率,可以保证长尾项目的挖掘效果。     

改进的基于相关相似性的协同过滤推荐算法

分析了传统CF算法和基于项目评分的CF算法中存在的问题,对其相似性计算和推荐集选取方法进行了改进,并提出了一种优化的CF算法。实验结果表明,该算法同传统CF算法相比能显著提高推荐精度,同基于项目评分的CF算法相比能够有效减少计算复杂度。     

基于语义相似性的资源协同过滤技术研究

为解决协同过滤推荐系统中所存在的可扩展性、稀疏性等问题带来的推荐性能下降,提出新的基于资源语义知识协同过滤算法,算法综合考虑了资源语义和用户评价的影响,改善基于资源协同过滤算法性能.实验表明,基于资源语义的协同过滤算法相对于传统协同过滤算法可提高推荐性能.     

A Bayesian Recommender Model for User Rating and Review Profiling

Intuitively, not only do ratings include abundant information for learning user preferences, but also reviews accompanied by ratings. However, most existing recommender systems take rating scores for granted and discard the wealth of information in accompanying reviews. In this paper, in order to exploit user profiles' information embedded in both ratings and reviews exhaustively, we propose a Bayesian model that links a traditional Collaborative Filtering(CF) technique with a topic model seamlessly. By employing a topic model with the review text and aligning user review topics with "user attitudes"(i.e., abstract rating patterns) over the same distribution, our method achieves greater accuracy than the traditional approach on the rating prediction task. Moreover, with review text information involved, latent user rating attitudes are interpretable and "cold-start" problem can be alleviated.This property qualifies our method for serving as a "recommender" task with very sparse datasets. Furthermore,unlike most related works, we treat each review as a document, not all reviews of each user or item together as one document, to fully exploit the reviews' information. Experimental results on 25 real-world datasets demonstrate the superiority of our model over state-of-the-art methods.     

A collaborative filtering recommendation algorithm based on item and cloud model

Recommender system is an important content in the research of E-commerce technology. Collaborative filtering recom-mendation algorithm has already been used successfully at recom-mender system. However,with the development of E-commerce,the difficulties of the extreme sparsity of user rating data have become more and more severe. Based on the traditional similarity measuring methods,we introduce the cloud model and combine it with the item-based collaborative filtering recommendation algorithms. The new collaborative filtering recommendation algorithm based on item and cloud model (IC-Based CF) computes the similarity de-gree between items by comparing the statistical characteristic of items. The experimental results show that this method can improve the performance of the present item-based collaborative filtering algorithm with extreme sparsity of data.     

面向频繁封闭渐进项集的挖掘算法

主流数据挖掘算法不能有效解决大规模数值数据集挖掘问题。提出了一种应用于大规模数值数据集的线性时间封闭项集挖掘改进(Improved Linear time Closed Itemsets Minner, ILCM)算法。ILCM算法使用能够提取属性共同变化量的渐进模式挖掘方法,借鉴LCM算法的前缀保留闭合扩展思想,通过深度优先搜索输出频繁封闭渐进项集结果。实验证明,相比传统挖掘算法,ILCM能够显著提高算法运行效率和降低内存空间占用,并且能够有效处理如DNA微阵列等实际大型数值数据集挖掘。     

Personalized Recommendation Algorithm Based on Preference Features

A hybrid collaborative filtering algorithm based on the user preferences and item features is proposed.A thorough investigation of Collaborative Filtering （CF） techniques preceded the development of this algorithm.The proposed algorithm improved the user-item similarity approach by extracting the item feature and applying various item features＇ weight to the item to confirm different item features.User preferences for different item features were obtained by employing user evaluations of the items.It is expected that providing better recommendations according to preferences and features would improve the accuracy and efficiency of recommendations and also make it easier to deal with the data sparsity.In addition,it is expected that the potential semantics of the user evaluation model would be revealed.This would explain the recommendation results and increase accuracy.A portion of the MovieLens database was used to conduct a comparative experiment among the proposed algorithms,i.e.,the collaborative filtering algorithm based on the item and the collaborative filtering algorithm based on the item feature.The Mean Absolute Error （MAE） was utilized to conduct performance testing.The experimental results show that employing the proposed personalized recommendation algorithm based on the preference-feature would significantly improve the accuracy of evaluation predictions compared to two previous approaches.     

基于知识表示学习的协同矩阵分解方法

针对协同过滤算法中用户反馈数据的稀疏性问题,提出一种基于知识库的协同矩阵分解方法.该方法从物品的知识图谱中学习其向量表示,并在此基础上联合地分解反馈矩阵和物品关联度矩阵,两种矩阵共享物品向量,利用物品的语义信息弥补反馈数据的缺失.实验结果表明,该方法显著地提升了矩阵分解模型的推荐效果,在一定程度上解决了协同过滤的冷启动问题.      

一种垂直结构的高效用项集挖掘算法

挖掘高效用项集已成为关联分析中的热点问题之一.多数高效用项集挖掘算法需要产生大量的候选项集,影响了算法性能.HUI-Miner是一个不需要产生候选项集就能发现事务数据库中所有高效用项集的算法.但其需要产生大量效用列表,不仅消耗了过多的存储空间,而且影响了算法的运行性能.针对此问题,提出一个新的数据结构,称为项集列表,用于存储事务和项的效用信息.提出3种剪枝策略,减少项集列表的数量,通过扫描一次事务数据库完成所有项集列表的构建.提出算法MHUI,直接从项集列表中挖掘所有的高效用项集而不产生任何候选项集.在3个不同的稀疏数据集上和最新的算法进行对比实验证明,MHUI算法的运行时间和内存消耗优于其他算法.     

基于 BP 神经网络的认知诊断计算机化自适应测验实现

根据现有的研究使用神经网络进行认知诊断的方法,改变神经网络的建模方式,实现基于神经网络的认知诊断计算机化自适应测验.使用Monte Carlo方法生成模拟数据,训练并测试神经网络,在此基础上将神经网络用于自适应测试中,知识状态估计采用极大似然估计,选题策略采用后验加权的KL信息量指标.模拟结果表明,基于BP神经网络的CD-CAT的判准率较为理想,并且因为神经网络的训练过程可以在小样本情况下实现,这种CD-CAT更适合在课堂评估中使用.     

基于ReliefF的入侵特征选择方法

基于ReliefF的入侵特征选择方法,结合入侵检测数据集类内紧密和类外差距大的特点,通过对入侵特征权重计算的优化,提出一种改进算法:Re-ReliefF算法,解决了网络安全领域数据维度导致处理效率较低的问题.实验结果表明,在安全测试数据集下,改进算法相对传统算法在性能上有一定提高.