Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization
提出 PURPLE 框架,将 LLM 个性化中的用户画像构建建模为上下文多臂老虎机问题。核心发现是语义相关性并非检索用户历史记录时的可靠效用代理——相似的记录未必有助于生成质量。PURPLE 使用 Plackett-Luce 排序模型捕捉记录间依赖关系,通过参考回复似然度作为反馈直接对齐检索与生成质量。在 9 个个性化任务上,PURPLE 在效果和效率上均优于启发式及检索增强基线方法。
INSIGHT用户画像选择不应只看语义相关性,而要直接优化下游生成效果。PURPLE 的 Plackett-Luce 排序模型能捕捉历史记录的组合效应(某些记录组合在一起更有用),这对社区搜索中的个性化排序启示明确:用户历史行为的选择应考虑序依赖性,用 bandit 在线学习机制比固定规则更灵活、更能适应用户兴趣漂移。