基于不确定性估计的推荐系统多任务学习去偏方法

推荐系统在互联网应用中扮演重要的角色，它的核心任务是将最相关的物品推荐给用户，然而，由于推荐系统通常在大规模、稀疏和高维的数据集上运行，因此存在严重的偏差问题.近年来，多任务学习成为解决推荐系统偏差的有效方法，它可以同时学习多个相关任务，充分利用数据集的内在结构和相关性，研究人员最近还提出全空间反事实的转化率预测，利用逆倾向得分和双重鲁棒方法对推荐算法的效果进行估计.然而，通过理论分析发现，倾向性分数估计不准确和插值误差往往会导致预估偏差，这在实践中经常发生，影响了推荐的准确性和可靠性.由此，引入不确定性估计，结合多任务学习，通过计算每个用户反馈数据的概率分布来衡量数据的可靠程度，减轻模型在数据稀疏或数据噪声较大时的过拟合问题，有效地提高系统的泛化能力并减少偏差.实验结果表明，加入不确定性估计的多任务学习可以更好地适应不确定性的环境，在推荐系统中有广阔的应用前景.