InitGen：整组生成与部分曝光反馈下的偏好对齐

正文来源：https://arxiv.org/html/2609.11953 。以下依据方法、实验及附录撰写；投稿页日期为 2026-07-30，RSS 在 2026-09-14 公告，二者不混同。

1. 问题与动机

InitGen 研究助手启动时的候选问题生成：用户刚打开小布助手，还没有输入查询，也没有当前会话意图，系统需要主动给出可点击的自然语言入口。它与输入框补全不同，因为没有查询前缀；与通常的推荐召回也不同，因为输出不是固定物品库中的项目，而是开放文本。输入只有历史点击问题、城市级位置和上游生成的兴趣画像，系统必须用这些不完整信息覆盖几种可能的当前需求。

难点在于生成与反馈的粒度不一致。每次生成五个问题，下游最多展示三个。未曝光问题没有反馈；曝光未点击也可能来自位置或候选间竞争，不能简单构造逐问题的可靠正负样本。作者因此把“至少一个候选被点击”归到整组输出，而不是假设每个问题都得到可解释的偏好标签。完全没有曝光的生成请求被排除在对齐训练之外。

另一个限制是 180 毫秒的整组生成预算。作者在附录中报告，独立并发生成多个问题容易重复，下游去重后又可能不够填满展示位，补充生成会重复处理提示并增加成本。这些观察解释了为何论文把联合生成、整组训练和轻量模型一起设计。

2. 方法详解

骨干为 Qwen2.5-1.5B。历史交互、位置与兴趣画像统一转成文本提示；输出是用换行符分隔的五个候选问题。自回归过程中，后一个问题能够看到先前已生成的问题，从而协调内容。下游把这个序列作为候选集合处理。SFT 采用相同输出格式，之后的 KTO 也把整个序列当作一个 completion，保持初始化、生成和偏好优化的单位一致。

具体的数据处理可以复现为：先按生成请求聚合日志，收集该请求下实际曝光的问题集合 E；若 E 为空则丢弃该请求；若 E 中任意问题被点击，整组标签 y=1，否则 y=0。正组不意味着组内所有问题都是正样本，负组也不是对所有未曝光问题的逐项否定。KTO 能直接使用 desirable/undesirable 二元结果，不要求构造可靠的偏好配对，这是作者采用它的原因。

第一类权重用于平衡用户群体。按历史活动频次分桶，计算全体用户 CTR_avg 和该桶 CTR_group，定义 w_u=sigmoid(CTR_avg−CTR_group)+0.5。正文明确这里 CTR 使用百分数单位。群体 CTR 与整体相等时权重为 1；低于平均的群体权重较大，高于平均则较小，并且权重有界。复现时若误用 0 到 1 的比例替代百分点数值，会显著改变 sigmoid 的尺度，这是需要单独检查的实现细节。

第二类权重来自下游排序。先对本请求实际曝光的问题取归一化排序分数均值 s_bar，再计算 w_r=s_bar+c。若分数落在 (0,1)，c 可取 0.5，使范围与用户权重近似、中心接近 1。重要的是每个请求只生成一条训练记录，不因曝光更多问题而重复进入训练；取均值也避免曝光数量直接改变样本贡献。高分只提高该次正或负结果的训练权重，不直接改变标签，也不是要求模型最大化排序分数。

最终权重为 sqrt(w_u*w_r)，以几何平均限制单一因子的影响。WKTO 的目标是对每个整组 KTO 损失乘上该权重后求和，SFT 模型保持为偏好对齐参考模型。作者先完成 SFT，然后每天用最近滚动窗口内的交互对当前模型做 WKTO；窗口外的旧记录退出本次更新，从而避免数据无限累积及过时兴趣反复影响模型。正文没有给出具体滚动窗口天数，不能自行补成三天或七天。

训练配置为 SFT 学习率 2×10^-5，KTO/WKTO 学习率 1×10^-6，KL 参数 beta=0.1；生成温度 0.7、top-p=0.8、top-k=20。附录报告偏好训练对学习率敏感，较大学习率容易生成失稳。点击稀疏使负组远多于正组，作者保留全部正组、下采样负组，构成 1:1 数据比例。因此每次更新的有效规模受正反馈数量限制。本文未明确披露训练样本总数、batch size、优化器名称、训练卡型号和训练步数；这些是复现所需但缺失的配置，而非可以从 1.5B 参数量推断出来的信息。

3. 核心技术贡献

第一项贡献是把开放候选的输出与监督统一到集合层。它不是简单地把多个问题拼在一起，而是承认下游选择之后无法可靠回溯所有候选的单独效用。联合生成减少重复，整组 KTO 则避免在相互依赖的问题间强行制造偏好对。附录中逐问题 DPO 曾产生中英混杂、不连贯或一直生成到长度上限的现象；作者将其解释为粒度失配与小模型容量可能共同影响，尚不能把原因视为严格因果结论。

第二项贡献是将参与度差异和排序支持度作为不同权重。前者压低高响应用户对训练分布的支配，后者区分下游较强支持和较弱支持的曝光反馈。分阶段 A/B 中，加入用户权重带来 5.7% CTR 相对增益，随后加入排序权重带来 19.6%。这表明已有排序模型的信号可以用于调节生成器学习强度，但论文没有把它证明为无偏的逆倾向估计。

第三项贡献是将持续反馈更新纳入上线方案。滚动窗口允许模型适应用户行为和下游策略变化，不必重复全历史 SFT。分阶段比较中，该更新机制又带来 20.1% CTR 相对增益。以上贡献主要是生产约束下的训练与反馈设计，骨干仍为已有语言模型，不能将它描述为全新 Transformer 架构。

4. 实验结果分析

主实验在 OPPO 小布助手上进行，控制组为 SFT 加标准 KTO，两个模型均使用 Qwen2.5-1.5B、整组对齐和相同下游过滤排序。用户随机分配到等量流量组，完整系统与生产基线在同一个实验窗口比较；界面和下游流水线保持不变。实验至少持续一周，排除假期与异常流量时段。

CTR 约增加 0.66 个百分点；69.1% 是相对增益，不能写成增加 69.1 个百分点。表内 CTR 已四舍五入，用展示值回算相对增幅与原始计数计算会略有差别，因此保留作者报告数值。同样流量下曝光也增长，表示更多生成问题通过既有下游规则到达界面。点击近乎翻倍同时受曝光量和单次曝光响应率影响，不能把全部点击增益归为排序质量提升。

分阶段消融依次加入位置及画像、用户活动权重、排序分数权重、每日滚动更新，分别得到 +11.6%、+5.7%、+19.6%、+20.1% CTR。这里每个版本只与直接前驱比较，而且是先后不同窗口的成对 A/B。它们可以说明每一步在当时配置下有效，但不能简单相加，也不能相乘后宣称得到主实验的总提升。论文没有同一窗口下完整的全因子实验矩阵，因此不同模块间交互尚未完全隔离。

用户权重的分组实验更能说明作用机制：低历史 CTR 用户从 0.78% 升至 0.85%，作者报告 +9.0%；高历史 CTR 用户从 2.01% 到 2.03%，约 +1.0%；总体从 1.06% 到 1.12%，相对 +5.7%。收益集中于弱反馈群体，符合重加权的设计目标。但“低 CTR 用户”和“低活跃用户”不是严格同义：活动桶是构造权重的方式，表中高低 CTR 群体是分析切片，应区分两者。

附录还有一个实用的负结果：Qwen3-1.7B 即便关闭思考模式，在作者服务配置下仍频繁超过 180 毫秒，因此最终选用较旧、更小的 1.5B 模型。这说明代际更新并不保证具体在线任务的延迟收益。该结论局限于文中服务配置，不能推广成两种模型的一般速度排名。

5. 局限与未来方向

正文没有独立标题为 Limitations 的章节，以下区分作者明确陈述的限制与本次分析的判断。作者明确指出反馈部分可见且间接，未曝光项目没有信号，点击也不等同于逐项相关性；排序分数只是反馈置信度的实用代理。完全无曝光的请求无法进入对齐，因而训练仍受到现有下游筛选的约束。附录还表明小骨干偏好训练可能退化，真实不平衡样本会引发异常长输出和语言混杂，平衡采样是在该配置中有效的经验做法。

作者同时说明分阶段实验受生产部署与用户体验条件限制，只能进行相邻版本的先后比较。本文分析进一步认为，需要补充同窗口模块交互验证、长期留存及候选多样性结果，才能判断短期点击是否转化为持续使用价值。全文没有训练规模、硬件和延迟分位数等完整细节；180 毫秒应理解为作者报告的生产生成预算，不能自动等同于跨平台可复现的 P99。滚动反馈长期是否放大头部题材，也需要独立监控；这属于实践延伸，而不是论文已经证实的失败模式。

6. 工业实践意义

对于以帖子、问答和评论为对象的社区搜索，最贴近的试验入口是搜索首页“猜你想搜”和助手启动提示，而非直接替换当前查询的相关性排序。可以先保持现有召回、过滤、排序和展示位不变，让小模型一次生成多个不同意图的问题，再用请求级日志关联完整生成列表、实际曝光列表、位置、归一化排序分数和点击。这种日志结构是整组对齐的前提，只有曝光单项日志而没有生成请求关联键时，无法可靠重建训练单元。

实施上可先复现等粒度 SFT/KTO 基线，再分开加入两类权重，最后尝试固定长度滚动窗口。除 CTR 外，应观察重复率、实际曝光率、请求级点击率、生成错误率与尾延迟；对最终进入帖子检索的查询，还要用人工标注或可信离线集验证 nDCG，避免只优化容易点击但无法获得好结果的问题。正文没有社区 UGC nDCG 实验，OPPO 的 69.1% 相对 CTR 增益不能作为该社区业务的收益预测。

在资源选择上，先比较同一服务配置下模型大小、完整五问题生成时间和批处理吞吐。1.5B 的方案证明小骨干有上线价值，但论文没有硬件信息，不能据此给出 GPU 数量或成本估算。附录报告数据在内部服务器处理、位置仅城市级、画像为高层兴趣描述，并允许用户关闭个性化；这些实现细节有助于限定输入粒度。最终值得借鉴的是让生成单位、反馈单位和更新周期彼此一致，再用可控 A/B 证明收益。