Beyond Static Best-of-N: Bayesian List-wise Alignment for LLM-based Recommendation

1. 问题与动机

LLM4Rec 把推荐转成自回归生成任务，但训练目标停留在 token 级 cross-entropy 或 pair-wise preference（DPO/IPO），导致两类指标无法直接优化：（1）list-level 不可微指标，如 NDCG（涉及 ranking position）、Fairness（如组间 MGU）、Diversity（ILD）；（2）多目标的混合权衡。

推理时 Best-of-N (BoN) 通过对每个 query 采样 N 个候选列表、按 list-wise reward 选最优，可绕过这一问题。但 BoN 的 N 倍延迟在线上不可接受（实测 N=4 时 178.24s vs 单次 44.56s，4× 时延）。BoN Alignment 试图把 BoN 的搜索能力 distill 进策略本身（即 offline 训练让模型直接采样到高分候选），但作者识别出两个根本性失败模式：

(1) Indiscriminate Supervision（无差别监督）：静态参考分布的 CDF 在超过最大参考奖励 R_max 后饱和到 1.0，所有「比 R_max 还好」的候选获得相同 quantile 分数，丢失了 ranking guidance。当策略变强、采样开始普遍超过 R_max，监督信号坍缩。

(2) Gradient Decay（梯度消失）：随着策略改进，weighting 项 log F_ref(R(y)) → 0，有效监督信号迅速衰减，训练提前收敛在次优。

作者把这归结为「静态参考分布与动态策略不匹配」，提出动态贝叶斯参考分布。

2. 方法详解

核心 CDF 估计器：

F̂_BLADE(r) = (N_ref^<r + τ · N_batch^<r) / (M + τ · G)

其中：

• N_ref^<r：静态参考样本中奖励 < r 的个数
• N_batch^<r：当前 batch（rollout）中奖励 < r 的个数
• M = 128（参考集大小）
• G = 16（每 query rollout 组大小）
• τ：动态系数，控制「先验稳定性 vs 在线适应」权衡

形式上等价于在 Beta-Binomial 共轭框架下做参数更新：
α_new(r) = α_0(r) + τ · N_batch^<r
β_new(r) = β_0(r) + τ · (G − N_batch^<r)

把这一动态 CDF 代入 BoN-as-distillation 的代理奖励：

r_i = (N − 1) · log F̂_BLADE(R(y_i))

这一奖励放进 GRPO 目标（group-relative advantage），保证当策略变强时，参考分布也跟着 batch 移动，避免 saturation。

训练管线：

• Backbone：Llama-3.2-1B-Instruct
• 硬件：4×A100
• SFT：3 epoch，lr=1e-4
• BLADE 阶段：3 epoch，lr=5e-6，linear decay；group size G=16，reference set M=128
• 采样：temperature=0.8，repetition penalty=1.05

关键设计：BLADE-N 的 N 表示用 BoN 推理时也用 N 个候选，但因 BLADE 已 distill BoN 能力进策略，单次推理与 base 同价位（44.56s）。

3. 核心技术贡献

(1) 动态贝叶斯参考分布：从根本上解决 BoN Alignment 的 saturation 与 gradient decay。机制：参考分布不是固定的，而是 Beta-Binomial 后验，随 rollout 不断 fuse 当前 batch 证据。τ 调节 prior vs likelihood 权重，τ=0.3 是稳健甜区。

(2) 与 GRPO 无缝集成：proxy reward r_i = (N−1)·log F̂(R(y_i)) 直接替换静态 quantile，无需修改 GRPO loss 形式。等于「给 PPO/GRPO 装一个动态 reference distribution adapter」，工程改动小。

(3) 多目标 Pareto 占优：在 R_NDCG − λ·MGU（公平性）和 R_NDCG + λ·ILD（多样性）两类复合 reward 上，BLADE 在所有 λ 值上 Pareto 占优 SFT baseline。证明该框架是 metric-agnostic 的，可挂载任意 list-wise reward。

(4) Inference-time 零开销：1× 单次推理，性能反超 4× BoN，是 BoN distillation 的「真 distillation」证据。

4. 实验结果分析

主结果（NDCG@5）：

BLADE 较 BoN Alignment 在 Amazon CDs 上 +23.1%，Steam 上 +2.3%，Goodreads 上 +5.1%。Amazon CDs 增益最大，可能与该数据集 reward 分布尾部更长、static reference 更早 saturation 有关。

计算成本：

• Base 单次：44.56s
• BoN N=4：178.24s（4× latency，性能反而不如 BLADE）
• BLADE：44.56s（与 base 一致，零推理开销）

这是 BoN distillation 路线的一个里程碑——首次证明 distill 后的策略能严格超过原 BoN。

τ 消融：

• τ=0：等价静态 BoN Alignment，gradient decay 明显，训练提前停滞
• τ=0.3：最优，Recall 持续上升
• τ>1：batch 噪声放大，方差大，diminishing returns

多目标实验：

• Fairness：在 λ ∈ [0, 1] 全范围内 Pareto 占优 SFT，λ≈0.5 出现非单调 sensitivity（可能是 fairness reward 与 NDCG reward 在该点互相对抗最强）
• Diversity：λ=0.1 即可显著提升 ILD，且 NDCG 不降反升，说明 BLADE 学到的多样性是「高效用多样性」而非随机扰动

5. 局限与未来方向

作者明确：

• BLADE 是 metric-agnostic，但实验仅 NDCG/Fairness/Diversity 三类，对 calibration、cold-start 等其他 list 指标未测；
• Bayesian posterior 每 batch 更新带来的额外计算未量化（声称通过 shared sampling 抵消，但没有详细数字）；
• 仅在 Llama-3.2-1B 上验证，更大模型/不同 backbone 行为未知。

笔者补充：M=128, G=16 的超参未做 sensitivity，且 reference set 是否随训练阶段更新（warm-start）未说明。

6. 工业实践意义

对搜索/推荐 ranking team 的直接借鉴：

1. BoN distillation 路线可行：以前 BoN 是「推理时增加成本换效果」的 trick，BLADE 证明可以 distill 进策略，单次推理获得 BoN 效果。社区搜索/电商精排在面对 NDCG/Diversity 联合优化时，可优先尝试 BoN 训练而非 inference-time BoN。

1. τ=0.3 是工程默认值：作为新方法首次部署，可直接采用；后续按业务调优。

1. 多目标 reward 设计：复合 reward R = R_NDCG + λ_1·ILD − λ_2·MGU 可直接把 list-wise diversity / fairness / accuracy 三目标统一进 RL 训练，比 multi-task / pareto search 方案工程实现简单得多。

部署考量：

• 训练成本：4×A100 + 3 epoch 在 4096 训练样本上完成，资源需求中等；
• 上线开销：与 SFT 模型同价（单次推理 ≈ 44s 是 1B 模型在 list 生成场景，社区搜索 reranker 可能用更小模型 → 毫秒级）；
• 需要 reward model：MGU、ILD、NDCG 都要可计算，但都是规则化指标，无需训练额外 reward model。

避坑：τ 不能设过大（>1 batch 噪声大）；reference set M 太小会导致 prior 不稳；group size G 必须 ≥ 8 才能稳定估计 batch CDF。