Off-Policy Evaluation for Semantic ID Recommenders: Does the Model's Own Code Hierarchy Help?
论文研究 Semantic ID 推荐器如何在上线前做离策略评估,将物品级权重聚合到SID前缀簇以缓解日志支持不足。在KuaiRand的1000条日志设置下,SLOPE选择粒度的RMSE为0.133,低于物品级SNIPS的0.251;5000条日志下为0.109对0.155。收益主要来自聚合,而非树结构本身。
INSIGHT社区生成式召回若已有SID树,可以利用解码器直接计算前缀概率,以较低成本筛选值得A/B的解码方案。实践应先审计曝光概率和有效样本量,再从日志选择聚合深度;不能使用知道真实收益的oracle深度冒充可部署结果,也不能把离线估计误差下降解释成CTR提升。