Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization
提出 PURPLE 框架，将 LLM 个性化中的用户画像构建建模为上下文多臂老虎机问题。核心发现是语义相关性并非检索用户历史记录时的可靠效用代理——相似的记录未必有助于生成质量。PURPLE 使用 Plackett-Luce 排序模型捕捉记录间依赖关系，通过参考回复似然度作为反馈直接对齐检索与生成质量。在 9 个个性化任务上，PURPLE 在效果和效率上均优于启发式及检索增强基线方法。
INSIGHT用户画像选择不应只看语义相关性，而要直接优化下游生成效果。PURPLE 的 Plackett-Luce 排序模型能捕捉历史记录的组合效应（某些记录组合在一起更有用），这对社区搜索中的个性化排序启示明确：用户历史行为的选择应考虑序依赖性，用 bandit 在线学习机制比固定规则更灵活、更能适应用户兴趣漂移。
深度解读：PURPLE — Optimizing User Profiles via Contextual Bandits for LLM Personalization
1. 问题与动机
检索增强是 LLM 个性化的主流轻量方案：从用户历史记录中检索相关内容，作为 LLM 的上下文输入。但现有方法一律使用语义相似度选择历史记录，本文指出这一策略存在根本缺陷——语义相关性并非效用的可靠代理。作者用电影推荐的例子说明：提到周五晚上的记录与当前查询语义相似度高，但与用户深层偏好（放松）矛盾；而提到解压的记录语义相似度低，效用却更高。
更关键的发现是记录的效用具有非单调组合性：多条单独有用的记录组合在一起可能因冗余或冲突而降低生成质量。这意味着用户画像构建是一个组合优化问题，而非简单的 top-K 检索。
2. 方法详解
问题建模：将画像构建建模为上下文多臂老虎机问题。上下文 C = (H, x) 包含用户历史记录集合 H 和当前查询 x。动作空间是 N 条记录中 K 条的有序排列（|A| = N!/(N-K)!）。奖励 R 衡量生成质量。
策略网络（Plackett-Luce 排序模型）：将有序画像的概率分解为逐步选择过程：πθ(P|C) = ∏_{k=1}^{K} [fθ(p_k;C) / (S - Σ_{j<k} fθ(p_j;C))]。这比独立评分更强大，因为每一步选择都依赖于已选记录。
记录编码器：
- 使用预训练 Contriever 生成 token 级嵌入
- Token 级 cross-attention：查询 token 与记录 token 交互
- Pooling 生成固定大小记录嵌入
- Transformer 编码器（无位置编码，避免顺序偏置）建模记录间依赖
奖励函数：使用冻结 LLM 对参考回复的对数似然度：R = Σ_j log p_φ(y_j|P,x,y_{<j})。这比任务特定指标（如 ROUGE）提供更密集的学习信号。附录 B 证明该目标最大化边际化 RAG 公式的 ELBO。
训练细节：策略梯度 + 似然比梯度估计（Williams 1992）。每步采样 M=32 个画像，z-score 归一化减少方差。
3. 核心技术贡献
- 挑战相关即有用假设：首次系统论证语义相似度作为个性化检索信号的不充分性，并提出基于生成效用的替代方案。这改变了 RAG 个性化的设计范式。
- Plackett-Luce 排序策略：将画像构建视为顺序决策过程，每步选择都考虑已选记录的影响。这比 top-K 独立评分更准确地捕捉记录间的协同与冲突关系。
- 对数似然奖励：用 LLM 自身的生成分布作为奖励信号，避免了任务特定指标的粗糙性。这一设计使框架无需为每个下游任务定义专用奖励函数。
- 跨 LLM 泛化：策略网络与 LLM 解耦，训练好的策略可迁移到不同 LLM（在 Phi-4-Mini、Llama-3-8B、Llama-3-70B 上均有效）。
4. 实验结果分析
主实验跨 9 个任务、3 个 LLM：
| 任务 | PURPLE (Phi-4-Mini) | ICR 基线 | 提升 |
|---|---|---|---|
| Citation (Acc/F1) | 66.0/65.6 | 65.2/65.0 | +0.8/+0.6 |
| Movie (Acc/F1) | 38.6/34.2 | 34.1/29.8 | +4.5/+4.4 |
| Rating (MAE↓/RMSE↓) | 0.419/0.808 | 0.424/0.830 | -0.005/-0.022 |
| Tweet (R1/RL/MET) | 39.0/34.0/35.9 | 38.6/33.6/35.5 | +0.4/+0.4/+0.4 |
在 Movie Tagging 任务上提升最大（+4.5 Acc），表明记录间依赖建模对多标签分类场景尤为重要。
消融实验关键发现：
- 去掉记录间依赖建模（w/o RDM）造成最大性能下降（Citation Acc 从 66.2 降至 61.3），证实了记录组合效应的重要性
- 去掉 cross-attention（w/o CA）次之，说明查询-记录的细粒度交互也关键
- 使用任务特定指标奖励（w/ MR）效果不如对数似然奖励
人工评估：250 条 Tweet 任务的 A/B 测试，PURPLE 偏好率 57.2% vs ICR 42.8%，绝对差距 +14.4%。
画像大小分析：K=5 最优，K>5 性能下降，验证了更多未必更好的非单调效用假设。
5. 局限与未来方向
作者明确指出的局限：
- 依赖高质量参考回复：训练需要个性化的参考回复作为监督信号。实际场景中用户通常只提供隐式反馈（点击、停留时间），如何利用隐式信号训练策略是开放问题。
- 任务特定训练：当前 PURPLE 为每个任务单独训练，跨任务/跨域泛化能力未验证，限制了实际部署的灵活性。
未提及的局限：
- Contriever 作为初始检索器的召回质量上限可能限制了整体效果
- 32 次采样的策略梯度在大规模动作空间（N 很大时）可能方差仍然较大
- 奖励计算需要对每个采样画像做完整 LLM forward pass，训练开销可能较大
6. 工业实践意义
核心应用方向：任何使用用户历史行为增强 LLM 个性化的场景——个性化搜索、个性化推荐解释、个性化内容生成。
对社区搜索的具体启示：
- 搜索个性化排序：当前主流做法是检索用户历史搜索/点击记录中与当前 query 最相似的行为，PURPLE 揭示这一策略的局限性。建议引入 bandit 机制在线学习哪些历史行为组合对当前排序最有帮助。
- 用户画像构建：不应将用户画像视为固定的特征集，而应视为随上下文动态构建的有序记录组合。K=5 的最优设置也有工程参考意义——用户画像不需要太长。
- 在线学习适配：Plackett-Luce 模型天然适合在线学习场景，可以用真实的 CTR/转化作为奖励信号，逐步优化画像选择策略。
部署考量：
- 推理时策略网络计算 top-K 评分，开销远小于 LLM 推理，不会成为延迟瓶颈
- 但训练阶段需要 LLM forward pass 计算奖励（M=32 次/步），建议使用小模型蒸馏奖励
- Contriever + cross-attention 编码器可替换为更高效的架构（如双塔模型）以适应在线场景
- 代码来自 McGill/Mila 团队，学术质量高，但工业级 serving 需要工程适配