Interactor: Agentic RL oriented Iterative Creation for Ad Description Generation in Sponsored Search — 深度解读

1. 问题与动机

赞助搜索的广告创意分标题与描述两部分，以往 ad text 生成工作几乎只优化标题（短、博点击），长文本描述长期被忽视。描述文本跨度更长，本可融入世界知识对齐用户搜索意图，并从落地页提炼细粒度卖点，是更有信息量的展示位。难点在于：这是开放式生成任务，没有 ground-truth 描述可监督学习；现有方法（CTOP 走偏好优化、DIVER 走 RLHF）只用标量奖励引导 LLM，对长文本的多重质量约束（事实一致、信息充分）给不出细粒度纠错，导致 rollout 质量低、探索效率差、生成结果有各种细微错误（错字、不实表述）。论文要解决的核心是：在无标注、且质量维度多的前提下，稳定生成既有知识含量、又严格忠实于落地页的长广告描述，同时兼顾用户点击。

2. 方法详解

Interactor 把描述生成建模为多轮迭代过程，LLM 策略 π_θ(y|x_user,x_ad) 作为 agent 与一个定制环境交互。每轮输出被结构化为两段：<think></think> 思考 + 一个 action。Action 有三类：<retrieve> 请求自建搜索引擎（索引海量百科网页，取 top-1 网页文档）注入世界知识；<create> 基于历史所有轮上下文生成描述；<reward> 请求奖励模型做细粒度评估。环境由三类奖励构成：两个 rubric 式生成式奖励模型（GenRM）分别评 knowledge capacity(KC) 与 landing page consistency(LP)——把业务 rubric 用 few-shot in-context learning 喂给黑盒前沿 LLM，输出"所有 rubric 满足才为 1"的二元信号 + 解释改进方向的细粒度 reasoning；再加一个用线上点击日志训练、每天增量更新（载入前一天 checkpoint）的 CTR 预估模型，给出预测 CTR∈(0,1)。第 t 轮奖励 r_t = Σ_{∈{KC,LP,CTR}} w·r*。一个 episode 是多轮 rollout τ=([x_task;x_user;x_ad], a1,o1,r1,…,aT,oT,rT)，最终描述取最后一轮 a_T 的 response 部分；观测 o_t 是 GenRM 的 reasoning 或检索到的知识，拼进下一轮上下文 c_{t+1} 指导精修。优化用 GSPO（group sequence policy optimization，critic-free，序列级 importance ratio 对齐奖励粒度）：每条 rollout 的 advantage A_norm 用最后一轮奖励 r_T 经组内 G 条 rollout + 训练步全局归一化得到；做策略梯度时只保留 action token，mask 掉环境观测与任务输入 token。基座为 Qwen3-30B-A3B，后训练框架 Slime，推理框架 SGLang。

3. 核心技术贡献

(1) 提出工业问题定义的转向：从"CTR 驱动的标题生成"转到"信息量驱动的描述生成"，并显式建模"用世界知识满足搜索意图"，指出这才是描述与标题的本质区别。(2) 把单轮标量奖励 RL 升级为多轮 agentic RL：GenRM 不仅判分，还产出"哪句缺知识、哪句与落地页不符"的可执行反馈，策略据此逐轮纠错。机制上，这把稀疏、开放的生成质量拆成可逐轮逼近的信号，缓解低质 rollout 带来的探索低效。(3) 混合奖励设计：把可验证 rubric（KC/LP 二元）与数据驱动的 CTR 预估结合，同时覆盖忠实、信息量、吸引力三类目标，并用 GSPO 在序列级稳定优化多目标。(4) 把外部检索动作接进生成回路：作者实测显式调用自建搜索引擎补知识，比只依赖基座参数化知识效果更好。

4. 实验结果分析

数据来自某中文头部搜索引擎的广告曝光日志，1M 用户-广告对训练、5k/10k 验证/测试，按曝光时间严格切分（测试时间晚于训练）。每条输入生成 10 个候选取 Average@10，评测五维：Basic(基本错误)、Info(信息量)、Faith(落地页忠实)、Attract(预测 CTR)、Diversity。主结果(Table 1)：标题类基线 CTOP 的 Info 仅 0.274、DIVER 0.359；其生产模型 SINGLE-TURN RL 已到 Info 0.693 / Faith 0.726 / Attract 12.3% / Div 0.715；Interactor 进一步到 Info 0.715 / Faith 0.872 / Attract 12.4% / Div 0.732，其中忠实度相对单轮 RL 提升约 0.146 是最大亮点。消融(Table 2)最关键：去掉 reasoning 只留二元信号，Faith 从 0.872 崩到 0.636，证明细粒度推理反馈才是多轮框架的决定性因素，而非单纯增加轮数；倒数第二轮 penultimate 为 Info 0.694 / Faith 0.798，说明末轮持续受益于迭代、而非在压制前轮；把 GenRM 从 Qwen3-30B 换成 Qwen3-8B，Faith 仅降到 0.861，对 GenRM 规模不敏感，但更强 GenRM 仍能再提升。案例分析(Table 3)显示，模型据 GenRM 反馈"'免运费'卖点在广告信息中无对应"，把 free shipping 改写成 door-to-door delivery，并注入"关注键盘手感、品牌口碑"等查询相关知识。线上 A/B 覆盖 14 万+广告主，广告收入 +0.74%、人工评测整体优质率 +7pp，2026 年 5 月起已服务主流量。

5. 局限与未来方向

作者自陈的约束：当前没有开源的 ad description 基准（现有开源基准只针对标题），实验只能在自有专有数据上完成，外部可比性弱；框架依赖一个需每日增量更新的 CTR 预估模型与定制 GenRM/rubric，迁移到新业务需重建整套环境。论文未单设"局限"小节，几处可补的隐性局限：多轮 rollout + 每轮调用 GenRM/检索，使训练与在线推理成本显著高于单轮（线上如何控延迟未详述）；KC/LP 的二元判定由黑盒前沿 LLM 经 few-shot 给出，rubric 设计与黑盒模型自身偏差会直接传导到策略；CTR 奖励取自系统自身日志，存在反馈回路与选择偏差风险。未来方向可在降本（候选数/轮数/GenRM 规模的自适应）、可验证奖励的覆盖维度扩展上推进。

6. 工业实践意义

对搜索/推荐从业者最可借鉴的是"GenRM 反馈优于标量奖励"这条经验：开放式文本生成（query 改写、UGC 答案/摘要、商品/帖子卖点生成）若只用一个标量 reward，很难同时压住事实一致与信息量；改成"让奖励模型指出具体哪里错、再多轮修"，能显著提升忠实度（本文 +0.146）。落地路径相对友好：基座是开源 Qwen3-30B-A3B，训练/推理用 Slime+SGLang 这类公开栈，GenRM 用 rubric+few-shot 构建、不需要额外标注。要权衡的是成本：多轮 + 每轮检索/评估，训练与在线推理开销远高于单轮，高 QPS 场景需对候选数、迭代轮数、GenRM 规模（可用 8B 顶 30B）做取舍。把外部搜索引擎接入生成回路以补知识、把 CTR 模型做成可日更的在线奖励——这两点对自建 LLM 搜索/推荐内容生成尤其值得直接照搬。