Beyond Static Best-of-N: Bayesian List-wise Alignment for LLM-based Recommendation
现有 LLM4Rec 多用 token 级目标,难以直接优化 NDCG、Fairness 等列表级不可微指标;推理时 Best-of-N 虽能优化但成本极高。BLADE 用贝叶斯框架动态融合历史先验与当前 rollout 证据:F̂(r)=(N_ref^<r + τ·N_batch^<r)/(M+τ·G),最优 τ≈0.3。在 Amazon-CDs/Steam/Goodreads 上 NDCG@5 较 BoN 对齐基线提升 5.1–23.1%,单次推理 44.56s vs N=4 BoN 的 178.24s,且在 Fairness/Diversity 上达到 Pareto 占优。
INSIGHT把 BoN 静态参考分布换成贝叶斯自演化目标,解决了「静态参考无法区分超出经验范围的候选」与「策略变好后梯度消失」两大对齐顽疾。社区搜索/推荐的 list-wise 公平性、多样性、相关性混合目标无法用 token-level loss 直接优化的场景,可借鉴该 CDF 估计器:不需要在线 BoN,offline 训练一次即可。τ 控制先验稳定性 vs 在线适应,是后续多目标推荐对齐工作的关键超参。