02 3.15
LLM-Enhanced Reinforcement Learning for Long-Term User Satisfaction in Interactive Recommendation
LERL 提出了一种分层交互推荐框架,解决推荐系统因过度拟合短期偏好导致的内容同质化和信息茧房问题。框架包含两层决策:高层 LLM 语义规划器负责选择语义多样的内容类别,低层 RL 策略在指定类别内进行个性化物品推荐。这种双层设计有效缩小了动作空间,减少了重复内容的过度曝光,在真实数据集上展示了长期用户满意度的提升。
INSIGHTLERL 的设计思路值得借鉴:将 LLM 的语义理解能力用于高层策略规划(选类别),而非直接生成推荐结果,再由 RL 在缩小的动作空间内做精细化推荐。这种分层架构既利用了 LLM 的语义多样性感知能力,又避免了 LLM 直接推荐的延迟和成本问题。对于搜索/推荐系统中的多样性优化和长期留存提升场景有参考意义。
Chongjun Xia, Yanchun Peng, Xianzhi Wang
arXiv·2026-01-27·Relevance 3 · Novelty 3 · Practical 3 · Evidence 3 · Timely 3