Can LLMs Outshine Conventional Recommenders? A Comparative Evaluation
提出 RecBench 基准,系统性地对比 LLM-based 推荐器与传统推荐模型。探索了多种 item 表示形式(唯一 ID、文本、语义嵌入、语义 ID),在 CTR 预估和序列推荐两个核心任务上进行全面评测。
INSIGHTLLM 推荐器在 CTR 场景中 AUC 提升最多 5%,在序列推荐中 NDCG@10 提升高达 170%,但效果高度依赖 item 表示形式的选择——语义 ID 表示在生成式推荐中表现最佳。
业务关联直接回答了搜索推荐从业者最关心的问题:LLM 能否替代传统模型?实验结论帮助团队评估是否以及如何引入 LLM 做 CTR 预估或序列推荐。
证据在多个公开数据集上进行系统评测,LLM 在 CTR 任务上 AUC 提升 ~5%,在 SeqRec 上 NDCG@10 提升高达 170%。对比了 4 种不同 item 表示方式。