Generate to Explore, Select to Exploit: Aligning LLM-based Headline Generation with Personalized Recommendation

来源：论文全文，重点核对第3节奖励与在线选择、第4节表2—4。作者来自百度，应用为商业信息流平台；文中没有将具体产品名称作为可核实实验条件。

1. 问题与动机

同一内容对不同用户有不同吸引点，一个静态标题难以覆盖多种潜在兴趣。论文关心展示层个性化：已知内容以后，如何呈现最适合当前用户的标题，而不是直接让模型生成推荐物品。作者指出，把带噪声的用户画像交给生成器、要求它一次输出唯一最优标题，容易收敛到平均化表达；仅增加采样温度又可能牺牲事实一致性。

论文用线上对照说明“文本更像高点击标题”不等于实际点击增加。SFT-only相对原始标题的 CTR下降1.50%，加上在线选择后变为增加1.37%。因此，候选是否覆盖不同兴趣与选择器是否识别当前偏好，是两个需要分别建模的问题。GESE用生成器探索候选空间，再用真实交互选择标题；其核心工业目标是实时个性化点击与停留，而生成方法是支持这个目标的手段。

作者把这一现象描述为用户画像不确定性导致的模式坍缩，但文中没有完整证明所有单输出方案必然坍缩。实际可确认的证据是本文配置下的SFT对照与奖励消融，理解结论时应保持这个范围。

2. 方法详解

离线生成阶段使用 Qwen3-14B，先用高点击交互数据做监督微调，再通过 GSPO 优化生成候选集合。CTR奖励模型接收标题语义及展示偏差特征，例如字符长度、标点密度，输出效用分数。它使用800万对高置信交互日志训练：点击表现较好的标题为正、较差的为负，优化 Bradley–Terry 成对损失，即正负奖励差经 sigmoid 后的负对数。该分数是偏好代理，并不天然等于经过校准的真实点击概率。

生成器对同一提示采样一组输出，用组内奖励减均值再除标准差得到优势，同时使用比率裁剪与KL约束。论文公式在标准差分母加入了 epsilon。正文声称相同候选导致标准差为零、因而迫使模型多样化，这个表述不能严格照搬：有epsilon时，完全相同奖励的优势通常为零；真正持续推动差异的关键还包括显式集合多样性奖励。后面的去多样性消融也支持这一更谨慎的解释。

单个标题奖励综合预测CTR、长度项、忠实性和相对原始标题的新颖度。忠实性判别器对与内容一致的标题给正奖励，不一致则惩罚；新颖度使用归一化编辑距离。候选集合冗余通过所有标题字符集合交集大小除并集大小衡量，再把非冗余部分作为集合奖励。总奖励为各标题效用均值加集合多样性项。字符集合重叠只是便宜的代理，不能将它直接解释成严格的语义距离。

在线冷启动先保留原始标题及新标题，并用置信感知 Thompson Sampling 收集曝光。每个标题点击概率使用 Beta 后验，alpha等于1加点击数，beta等于1加曝光减点击数；抽样后选择当前概率最高的候选。探索设置最低曝光、最大探索预算、相对原始标题胜出或落后的置信阈值，达到条件后淘汰落后候选或固定胜者。正文描述的是该贝叶斯机制，但线上对照表使用UCB标签，两者的对应关系并未清楚解释，复现时不能认定是同一个算法实现。

有足够反馈后，系统使用上下文DNN排序器。输入包括用户和设备标识、画像属性、最近20个细粒度兴趣标签、常见兴趣类别，以及原始与生成标题的语义向量。类别特征走embedding，连续特征与语义向量拼接，再加入显式特征交叉，经网络与sigmoid输出点击概率，从候选集合选最高者。正文列出了某些人口属性特征，但迁移时没有必要照单使用，应根据现有产品的数据与相关性重新选择。

离线评估采用 MSR-50k，共5万条图文、短视频和微视频资源，覆盖40多个垂类；线上平台约一亿日活。论文没有给出足够完整的训练硬件、batch size、学习率、训练步数及候选数配置，因此本报告不补写这些参数。可复现的是模块接口和主要损失思路，完整复刻仍需要作者实现或额外实验。

3. 核心技术贡献

第一，优化对象从唯一标题变成候选集合。模型可以覆盖同一内容的多个有效信息重点，避免把当前用户画像的不确定性全部压到一次生成上。集合奖励与逐标题奖励组合，区分“每条是否好”和“集合是否重复”，这比只做逐条CTR优化更接近在线选择的需求。

第二，生成器与选择器承担不同任务。生成在离线提供内容角度，选择器利用近实时反馈建模用户与候选的交互。线上从GSPO加UCB的CTR增幅2.28%提升到完整GESE的2.57%，对应增加0.29个百分点的相对增幅，不能误写为绝对点击率增加0.29个百分点。增益表明仅改生成器还没有发挥全部价值。

第三，论文把质量约束的必要性用失败结果展示出来。去掉质量约束，代理CTR分数反而由11.38升到12.79，但NLI从80.17降至47.32。这是奖励目标偏离内容真实性的直接证据，说明优化一个学习到的点击代理可能产生看似有效的坏标题。完整方案主动接受较低代理分数以保持内容忠实。

4. 实验结果分析

线上结果均相对原始标题基线，表中的百分比是相对变化，不是绝对概率变化。

这个阶梯式实验比只给完整模型的最终收益更有解释力：加入选择器扭转了SFT单独生成的负收益，更换生成器再提升覆盖质量，实时深度选择进一步提高匹配。CTR与停留同向是积极信号，但不足以严格证明不存在标题党，也不能证明长期满意度或留存改善，仍需要内容质量与长期指标。

离线对照进一步揭示多样性、忠实性和词面相似度之间的差别。

GESE相对SFT的Self-BLEU下降约44.9%，而去掉集合多样性后升至19.73，比完整模型接近翻倍。与此同时，去多样性后的CTR代理只小幅下降，因此不能仅靠单一点击奖励来判断候选集合有没有覆盖长尾兴趣。直接RL的Distinct明显更低，支持先学任务表达格式、再做偏好优化的训练顺序。

GESE的ROUGE-L为30.92，低于SFT的44.09，但NLI更高。作者将其解释为减少机械复述，同时保持语义一致；这提醒工程评估不要把标题和原文的词面重合率当作唯一质量标准。不过NLI同样是模型指标，跨类型内容和隐含事实仍需人工抽查。本文比较了更大模型，但训练数据、模型规模与目标并非完全对齐，不能概括成小模型普遍优于大模型。

5. 局限与未来方向

作者在方法与消融中明确指出用户画像有噪声、探索预算需要控制、取消忠实性奖励会发生奖励投机，并显示去掉SFT会降低语言与任务质量。这些是论文直接陈述并由实验支持的限制。论文没有独立的系统性limitations章节，不能把下述审阅意见写成作者原话。

本报告认为主要缺口在复现和因果评估：私有交互日志及MSR-50k的完整获取条件未充分说明，线上实验持续时间、流量配比、置信区间、真实延迟和总成本也没有完整披露。正文的Thompson Sampling与实验表中的UCB名称不一致，需要确认；GSPO多样性的理论措辞也比实际证据更强。此外，在线标签受到展示策略影响，奖励模型和排序器可能继承曝光偏差。是否在长期用户兴趣、作者权益和误导投诉上仍有效，现有实验没有回答。

6. 工业实践意义

社区UGC搜索可优先在结果卡片摘要或展示文案上做受控试验，保留原始帖子内容和标题的可追溯关系。候选生成应该围绕原文中已有信息提供不同重点，而不是编造用户希望看到的事实。在线根据查询、最近阅读兴趣与候选语义选择，既利用搜索即时意图，又避免只依赖长期画像；这是迁移建议，论文没有验证查询条件下的搜索系统。

上线可以分三步比较：原始展示；固定生成候选加简单探索；生成候选加上下文选择。这样能分别确认生成质量、冷启动反馈与个性化匹配的贡献。对探索设置曝光预算并保留原始文案回退，及时监测误导点击、快速返回、有效停留及投诉。若只优化CTR，可能重复论文中“代理分数上升、内容一致性崩溃”的失败模式。

基础设施上，离线生成和在线轻量DNN有利于把大模型成本从请求关键路径移出，但论文没有给出可直接引用的毫秒数或显存预算。需要实际测量候选生成吞吐、缓存命中、内容更新触发频率、选择器尾延迟和探索损失；生成后的旧标题也要随原文编辑失效。最后把nDCG与相关性作为搜索主指标，CTR和停留用于衡量展示增益，避免把标题选择收益误认为检索或物品排序能力提升。