1. 问题与动机
利用 LLM 生成合成偏好数据来 warm-start contextual bandits（CBLI）近来备受关注。Alamdari et al. (2024) 的先驱工作显示 LLM warm-start 可降低 14-20% 的早期 regret。然而，这些结果建立在一个隐含假设之上：LLM 生成的偏好与真实用户偏好大致对齐。本文系统性地研究当这一假设被打破时会发生什么——当合成先验包含噪声或系统性偏差时，warm-start 的效果如何退化？先前关于 LLM 作为「硅基样本」的研究报告了混合的保真度结果，且对 prompt 设计高度敏感。真实世界的 LLM 输出呈现异方差、上下文相关的误差结构，远非简单的随机噪声。这使得部署前理解失败模式成为关键需求。
2. 方法详解
CBLI 流程包含三阶段：(1) LLM 预训练——通过 prompt 生成 N 个合成 context-reward 对，拟合 ridge 回归得到 warm-start 参数 {A₀, b₀}；(2) 微调——用 warm-start 参数初始化 LinUCB，在真实数据上运行 T 轮；(3) 对比基线——从冷启动（A₀=I, b₀=0）运行同等 T 轮 LinUCB。
噪声注入模型：作者设计了两种控制性损坏：(1) 随机替换（corruption rate p）——随机选择 p 比例的 LLM 标签，替换为随机 arm，模拟无信息的 LLM 错误；(2) 偏好翻转（corruption rate p）——随机选择 p 比例的合成记录，反转选择的 arm（K=2 时 A↔B），模拟系统性偏差。两种噪声在 p=0.0 到 p=0.7 范围内扫描。
理论框架：在线性 contextual bandit 设定下（E[rt∣xt,a]=heta∗opxt,a），推导出 Prior-Centered Confidence Bound（定理 1）：\|\hat{ heta}_t - heta^*\|_{V_t} \leq eta_t(\delta) + B_0，其中 = \| heta_0 - heta^\|_{A_0}$ 是先验误差标量，吸收了所有预训练效果。warm-start 有益的充分条件是 ^{warm} < B_0^{cold} = \| heta^\|_2$。
偏差-方差分解：将翻转噪声下的参数估计展开为 $ heta_0 = (1-2p)M heta^* + pA_0^{-1}X^ op 1 + A_0^{-1}X^ op arepsilon$，在高覆盖近似下得到偏差项 pprox 4p^2\lambda_i，表明翻转引起的偏差随 ^2$ 增长且在高覆盖方向放大。
3. 核心技术贡献
贡献 1：Prior-Centered Confidence Bound。将 warm-start 估计误差分解为先验误差 $ 和标准方差项 eta_t，证明预训练对 regret 的影响主要通过单一标量 $ 传导。这使得 warm-start 效益的评估从「试试看」变为可量化的诊断：只需估计 B^0 即可判断是否部署 warm-start。
贡献 2：翻转噪声与系统性偏差的解析刻画。证明在 well-covered 方向上，翻转噪声的偏差以 ^2$ 增长且被合成数据覆盖度放大——这解释了 30-40% 损坏率是 breakpoint 的原因。当存在系统性偏差 Δ=hetasyn∗−hetareal∗ 时，即使 p=0 也会产生大 $，导致 negative transfer。
贡献 3：两类噪声的不对称性。实证发现随机替换噪声即使在 p=70% 时也几乎无害（$ 不在有害方向增长），而偏好翻转在 p>30% 时可靠地降低性能。这一不对称性有深刻的实践含义：LLM 的「不确定但不系统性错误」的输出可以容忍，但「自信但方向性错误」的输出极其危险。
贡献 4：跨模型/跨域的鲁棒性基准。在 3 个数据集（COVID-19 疫苗偏好、移民态度、休闲旅行）和 4 个 LLM（GPT-4o、GPT-3.5、Llama 3.1、Qwen 3）上建立了系统性基准，发现 B^0 与实际 regret 减少之间存在强相关，验证了理论框架的预测能力。
4. 实验结果分析
核心实验结果（COVID-19 疫苗数据集，GPT-4o，N=10k 合成数据）：偏好翻转噪声下，warm-start 在 p=0 时提供 11.52% 的 regret 减少，p=30% 时仍有 7.49% 收益，p=40% 时降至 2.98%，p=50% 时变为 -7.78%（warm-start 反而有害），p=70% 时恶化至 -32.37%。
与之形成鲜明对比，随机替换噪声在所有测试级别上几乎不产生负面影响——即使 p=70%，warm-start 仍略优于冷启动。这一不对称性在所有 3 个数据集和 4 个 LLM 上一致成立。
跨模型对比显示，GPT-4o 在 COVID-19 数据集上表现最佳（B^0=44.4），而 Qwen 在旅行数据集上出现 p=0 时的 negative transfer（-1.44%），对应最高的 B^0=62.3。B^0 的排序在每个数据集内与 regret 减少的排序一致，验证了先验误差作为核心诊断指标的有效性。
一个值得注意的发现：GPT-3.5 的早期快照（约 9 个月前）比当前版本展现出更好的对齐效果和更清晰的噪声阈值，揭示了 LLM 对齐的时间非平稳性——模型更新可能悄然改变合成先验的质量。
5. 局限与未来方向
作者明确列出的局限：(1) 评估使用固定 prompt，但 LLM 输出对 prompt 措辞、上下文和选项顺序高度敏感；(2) 注入噪声为 IID 模型，而真实 LLM 误差呈现异方差和上下文相关结构；(3) 高覆盖近似假设合成数据设计矩阵覆盖充分，在稀疏场景下偏差-方差权衡可能偏离二次 scaling；(4) LLM 的安全护栏和模型修订引入非平稳性，不同时间点的模型快照可能产生不同结果；(5) LLM 编码的人口统计和意识形态偏见可被 bandit 直接操作化到真实用户上，存在反馈循环放大歧视的风险。
6. 工业实践意义
对推荐系统冷启动的直接指导：(1) 部署 LLM warm-start 前必须估计 B^0，以此作为 go/no-go 的定量决策依据——B^0<45 可以部署，$> 55$ 应回退到冷启动；(2) 随机误差可容忍但系统性偏差致命——在数据质量检查中应侧重检测方向性错误而非随机噪声；(3) 30% 损坏率阈值可作为工程实践中数据质量 gate 的量化参考。
对社区搜索的启发：在 UGC 搜索中引入 LLM 生成的用户偏好（如 query-document 相关性标注）进行模型 warm-start 时，必须首先验证 LLM 的标注与目标用户群的实际点击行为是否对齐。社区平台用户的搜索行为往往与通用 LLM 的「理性」偏好存在系统性偏差（如更偏好情感表达而非信息完整性），此时盲目使用 LLM warm-start 可能适得其反。建议实现 B^0 监控，定期验证 LLM 先验质量，并在模型更新后重新评估。
Meituan