基于协作过滤的Web日志数据预处理研究

协作过滤是当今应用较为成功的个性化服务技术，Web日志可以为个性化服务技术提供重要的数据源，只要对日志数据进行高效预处理，就能提高协作过滤算法有效性和个性化服务质量。结合实际日志数据的处理，给出了基于协作过滤的Web日志数据预处理过程结构图和一种可行的数据预处理方法，该方法不仅可以提供更加干净、规则的数据源，而且在用户兴趣度量方面，弥补了以往诸多兴趣度量方法的不足，为协作过滤算法提供了更加准确的数据支持。     

基于协作过滤的Web日志数据预处理研究

协作过滤是当今应用较为成功的个性化服务技术,Web日志可以为个性化服务技术提供重要的数据源,只要对日志数据进行高效预处理,就能提高协作过滤算法有效性和个性化服务质量。结合实际日志数据的处理,给出了基于协作过滤的Web日志数据预处理过程结构图和一种可行的数据预处理方法,该方法不仅可以提供更加干净、规则的数据源,而且在用户兴趣度量方面,弥补了以往诸多兴趣度量方法的不足,为协作过滤算法提供了更加准确的数据支持。     

基于不同数据集的协作过滤算法评测

针对协作过滤算法评测中普遍采用单一数据集,该文将传统的User-based(近邻数为20)、Item-based、Itemaverage、Item user average和Slope One 5种算法应用于MovieLens和Book-Crossing两种数据分布特征不同的数据集。结果显示,在Movielens这种评分值相对比较稠密的数据集上,Slope One算法的预测精度最好;而在评分值相对比较稀疏的Book-Crossing数据集上,Item-based算法的预测精度最好,Slope One的预测精度最差。选择算法应根据用户和资源分布具体情况确定。     

基于社交关系和条件补全的协同过滤推荐算法

针对传统协同过滤算法中存在数据稀疏、数据冗余和算法效率低等问题,提出一种基于社交关系和条件补全的协同过滤推荐算法.该算法将社交关系数据应用到矩阵补全过程中,减小原始矩阵的稀疏度,同时提高补全数据的精确度;在项目相似性计算时,条件性地选择参与计算的向量数据,减少数据的冗余度,并降低算法的时间复杂度.实验结果表明,改进算法的推荐准确率明显提高.     

基于聚类的优化协作过滤技术

基于内存的协作过滤算法主要利用用户对某站点项目的评分,计算2个用户之间的相似性,但该方法可扩展性差.基于模型的协作过滤算法通过训练数据预先计算出预测模型,弥补了上述方法的不足,但该模型没有考虑到个体的差异而限制了推荐的性能.在总结现有2种算法特点的基础上,提出一种新颖的协作过滤框架,它先从训练集中产生聚类,并以此为基础进行邻居预选择,再在预选择的邻居集合上使用基于内存的协作过滤算法.实验结果表明,该方法不仅提高了计算的效率,而且也提高了推荐的质量.     

基于影响集与修正权重的协作过滤推荐方法

协作过滤推荐算法是构造推荐系统最成功的推荐技术之一。提出了一种基于影响集与修正权重的协作过滤方法:该方法选择被用户共同评分的项目集计算项目间相似性,过滤其相似度超过预定阈值的项目集作为影响集,然后设置项目共同出现的频次参数进行权重调整;并结合影响集与权重调整作出评分预测。实验结果说明了该方法的可行性与有效性。     

基于矩阵聚类的协作过滤算法

通过分析现有的协作过滤技术,提出了基于矩阵聚类的协作过滤算法,把矩阵聚类算法和协作过滤相结合,自动划分原始用户———资源评分矩阵,依据划分后的子数据矩阵生成推荐结果.实验结果表明,提出的基于矩阵聚类的协作过滤算法优于传统协作过滤算法,减少了近邻搜索范围,提高了算法的推荐精度.     

用于稀疏数据集的协作过滤算法

稀疏性问题是协作过滤算法应用中的一个突出问题,当系统中用户对资源的评分数据集很稀疏的条件下,算法的精度和覆盖率会显著降低。针对这一问题,该文通过分析影响基于资源的协作过滤算法中的相似性计算的因素,提出采用"资源关系密度"作为描述协作过滤评分矩阵的一个特征指标,分析并总结了"资源关系密度"对典型的基于资源的协作过滤算法的影响,进而提出一种虚拟用户填充算法。实验结果表明,虚拟用户填充法能够有效改善典型的基于资源的协作过滤算法在稀疏数据集上的精度和覆盖率。     

基于自监督学习的交通数据补全算法

区域高速公路网收费站数量众多,每日产生海量收费数据,但由于设备、网络等因素,部分站点数据传输存在延迟现象,在此情况下已传输的数据往往不能满足实时流量预测的要求。为了实现实时交通数据补全和动态交通流量预测,文中首先提出了一种基于自监督学习的用于高速公路交通流量数据缺失补全的方法,该方法采用了基于注意力机制的时间序列模型（Seq2Seq-Att）;然后使用自监督学习方式对模型进行训练;最后,以广东省高速公路网的80个收费站为例,验证方法的可靠性。结果表明：文中的数据补全方法能够灵活捕捉交通数据中的缺失情况,并根据数据自身的内在关联性,给出合理的补全值;该方法总体优于其他方法,且在不同缺失率下都有较好表现,总体MAPE约为17.7%、WMAPE为12.8%;在高缺失率情况下,该方法相比于其他补全方法有明显的优势。交通量预测结果表明,使用该方法补全的数据进行交通流预测的预测精度接近使用完整数据的情况。     

基于两阶段聚类的协作过滤推荐算法

协作过滤推荐是目前主流的个性化推荐方式,但数据稀疏问题影响了推荐系统的性能.提出了基于两阶段聚类的协作推荐算法,降低了数据的稀疏性,提高了最近邻的准确度,而且推荐精度较以往传统的算法有明显提高,时间复杂度也有明显降低.     

基于web数据挖掘的协同过滤推荐算法

随着电子商务的发展状大,缺乏个性化服务成为制约电子商务发展的关键问题。基于web数据挖掘的电子商务推荐系统可以满足电子商务未来发展趋势的需要。本文以一组数据为实例阐述了基于web数据挖掘的协同过滤推荐算法是如何进行数据表示、近邻查询以及推荐产生这三个阶段的有效实施的。     

基于顾客交易数据的协同过滤推荐方法

分析了B2C电子商务网站中应用最广的协同过滤推荐方法在数据源方面存在的局限性,提出了一种基于顾客交易数据的协同过滤推荐方法.该方法的基本原理是:基于顾客的购买历史记录,获得顾客对于各种商品的最近购买时间R(Recency),购买频率F(Frequency)和购买金额M(Monetary)等指标,利用这三个指标确定顾客对已购商品的偏好程度;进一步建立体现顾客商品偏好度的IRFM矩阵,并以该矩阵为数据源为顾客提供个性化的商品推荐.该方法能为老顾客提供质量更高的推荐,进一步扩展了协同过滤方法的应用范围.     

基于概念格的稀疏数据协同过滤校正自然噪声方法

针对推荐系统中存在的自然噪声问题, 提出一种基于概念格的稀疏数据协同过滤校正自然噪声的方法. 首先将用户和项目划分为强、 平均和弱三类检测自然噪声, 然后采用基于概念格的稀疏数据协同过滤校正这些自然噪声, 最后从获得的无自然噪声数据集中预测未评级的项目. 在含自然噪声的数据集上进行实验的结果表明, 该方法具有较高的推荐精度, 且在数据稀疏的情形下仍具有良好的性能.     

基于概念格的稀疏数据协同过滤校正自然噪声方法

针对推荐系统中存在的自然噪声问题, 提出一种基于概念格的稀疏数据协同过滤校正自然噪声的方法. 首先将用户和项目划分为强、 平均和弱三类检测自然噪声, 然后采用基于概念格的稀疏数据协同过滤校正这些自然噪声, 最后从获得的无自然噪声数据集中预测未评级的项目. 在含自然噪声的数据集上进行实验的结果表明, 该方法具有较高的推荐精度, 且在数据稀疏的情形下仍具有良好的性能.     

基于协同滤波的尖峰噪声抑制方法

针对旋转磁共振探测方法易受尖峰噪声干扰的问题, 提出一种协同滤波消除核磁共振探测数据中尖峰噪声的方法. 先通过3σ法则判断一个脉冲矩下测量数据是否存在尖峰噪声, 将测量数据分为有尖峰噪声和无尖峰噪声两组; 再分别对其进行离散余弦和Hadamard变换, 得到两组变换域系数, 用无尖峰噪声数据的变换系数计算Wiener滤波系数, 利用该系数对含尖峰噪声的数据进行滤波; 最后, 对滤波后含尖峰噪声数据的系数进行Hadamard和离散余弦逆变换, 实现尖峰噪声的消除. 仿真实验结果表明, 该方法对地面核磁共振数据中尖峰噪声的消除准确度较高, 提高了信号特征参数的提取精度.     

基于协同滤波的尖峰噪声抑制方法

针对旋转磁共振探测方法易受尖峰噪声干扰的问题, 提出一种协同滤波消除核磁共振探测数据中尖峰噪声的方法. 先通过3σ法则判断一个脉冲矩下测量数据是否存在尖峰噪声, 将测量数据分为有尖峰噪声和无尖峰噪声两组; 再分别对其进行离散余弦和Hadamard变换, 得到两组变换域系数, 用无尖峰噪声数据的变换系数计算Wiener滤波系数, 利用该系数对含尖峰噪声的数据进行滤波; 最后, 对滤波后含尖峰噪声数据的系数进行Hadamard和离散余弦逆变换, 实现尖峰噪声的消除. 仿真实验结果表明, 该方法对地面核磁共振数据中尖峰噪声的消除准确度较高, 提高了信号特征参数的提取精度.     

基于协同过滤的在线教学视频推荐方法

在目前的在线教学系统中,用户对教学视频的选择具有一定的盲目性,根据这一特点,提出了一种基于协同过滤的在线教学视频推荐方法,可以将用户可能感兴趣的教学视频＂推＂给用户;首先将用户的观看视频纪录整理并保存至数据库中,依据各用户历史播放纪录以及用户的基本信息的兴趣差异来查询邻居用户,然后利用这些邻居用户的视频观看记录基于协同过滤的方法进行教学视频的推荐;改进了传统协同过滤推荐方法中普遍存在的稀疏性（Sparse）和冷启始（Cold Start）等问题,因此能使推荐更为精确;另外,通过用户是否观看所推荐的视频,可以对系统做出隐性评价以修正系统的参数,以提高推荐的准确性。     

基于抽样近邻的协同过滤算法

针对实时推荐过程中实际数据的稀疏性, 满足条件的项目或用户较少, 导致推荐精度较低的问题, 提出一种采用抽样近邻的协同过滤算法. 该算法充分利用评分用户矩阵提供的信息, 增加了参与到预测评分计算过程中的用户或项目, 从而解决了传统协同过滤算法在实际应用中的不足. 实验结果表明, 在增加在线计算时间较少的情况下所给算法可有效提高推荐精度.     

基于项目属性分类的协同过滤算法研究

用户对项目的评分数据是传统协同过滤算法进行项目或用户推荐的唯一依据,项目或用户本身的属性特征并未进行过多考虑。为此,在计算项目之间的相似度时融合了项目标签属性,提高了项目推荐的准确率。具体方法是首先通过创建项目属性分类表,得到项目属性之间的差异度,然后将项目属性差异度融入pearson 相关系数公式中,计算项目之间的相似度。通过实验验证,改进后的方法比传统的基于项目的协同过滤算法的推荐结果平均偏差小,命中率高,推荐结果更加准确。