1. 问题与动机
工业推荐的最终列表不是由一个相关性分数决定的。淘宝首页同时承载商品、内容、短视频、直播和商业卡片，不同内容共享曝光位置，却有 CTR、CVR、IPV、GMV、内容供给、密度、体验和位置等相互牵制的目标。传统多任务模型可以改善基础预测，但策略层仍靠手工权重和规则；直接让生成式模型按顺序生成 item 又很难满足硬约束、候选供给和回退要求。
MetaStrategy 把问题重新定义为“根据请求上下文生成一组可执行的排序策略”，而不是“让 LLM 直接写一串商品 ID”。论文关心的是如何让语言模型进入成熟重排链，同时不影响线上同步时延和原有安全边界。目标包括：策略可以被解析和编译；策略失败时能回到生产默认；新策略能和 incumbent 在一次原子化评估中竞争；训练信号要能处理多目标列表效用而不是只优化某一个点指标。
2. 方法详解
每个请求的上下文包括三类用户视角：上游意图模型提供的实时多意图表示，长期历史统计，以及按时间排序的点击、加购、购买等最近行为；同时还加入候选供给摘要和请求状态。候选集通常为数百个，最终列表只有几十个。系统把策略写成一个 typed JSON bundle，包含五类受限动作：CTR/IPV/CVR/GMV 权重调整，内容类型偏好，品类偏好，曝光/购买/密度等体验约束，以及页面级 top-CTR 策略。每个字段都只有有限枚举值，例如四个目标权重为 {-2,-1,0,1,2}，而不是开放式数值或任意代码。
LLM 先输出完整策略，deterministic validator 做 JSON 解析、schema 检查、字段白名单和范围检查，compiler 再把动作翻译为线上 ranking/re-ranking processor 的参数。编译结果挂在隔离的 Generator 上，不修改 incumbent Generator、Evaluator 或 fallback。列表级 Generator-Evaluator 架构让同一个请求的候选集、细排分数、在线特征和评估器保持一致，Evaluator 读取整张列表并综合点击、交易、下滑、列表点击和 eCPM 等信号。最终以 evaluator 的列表效用在多个 Generator 中选择。
训练不在用户同步请求上做 LLM 推理，而是在 production-path replay 上进行。作者采集淘宝“猜你喜欢”连续 8 天的日志，共 65,536 个请求；前 6 天 49,152 条训练，1 天 8,192 条验证，1 天 8,192 条测试。回放固定候选、细排分数和约束，重新执行当前生产路径。策略奖励由 selection、relative-rank 和 baseline-lift 三类信号组成，既希望策略被 Evaluator 选中，也希望相比 BaseG 有增量价值。
为避免策略坍缩，作者加入 self-competitive curriculum：训练轮次中把高频编译策略冻结为显式竞争 Generator，迫使新策略超过已经学会的固定模式。进一步使用 evaluator-routed reward-augmented OPD，把两个 4B 教师的互补策略按请求路由给 0.8B Student。Student 自己采样轨迹，只有通过解析、编译和 evaluator 的教师才会提供 log-ratio 蒸馏，且混合优势函数仍保留 RL reward；没有可用教师时退化为 RL-only。
部署上，策略近线生成，只有上下文变化超过阈值或没有有效条目时才刷新。同步路径只查最新合法策略，做确定性解析和本地参数读取，不等待 LLM。每个请求生成的列表仍与 incumbent 在一个原子 GE call 中比较；策略不合法、过期或解析失败时直接使用默认策略。
3. 核心技术贡献
第一，论文把 generative ranking 的输出空间从 item 序列改成受 schema 约束的策略空间。这样 LLM 可以控制多目标权重、内容混排和体验约束，却不会越过候选过滤、位置规则和业务白名单。第二，production-path replay 让生成器在和线上一致的候选、预测和评估环境中学习，避免离线训练目标与真正重排执行之间出现接口断裂。
第三，self-competitive curriculum 直接针对 mode collapse：4B RL 的最高频策略组合占 76.8%，加入课程后降到 41.2%，且有效率几乎不变。第四，routed OPD 将更重的教师行为压缩到 0.8B Student；相对直接 RL，Student 的 selection 从 8.56% 提到 16.24%，GE 增量从 0.38% 提到 0.73%，同时合法率从 97.12% 到 98.03%。
4. 实验结果分析
离线 replay 的关键表格如下，所有方法共享同一 incumbent pool：
| 方法 | 有效率 | Selected | ΔGE | Beat Base |
|---|---|---|---|---|
| RL 0.8B | 97.12% | 8.56% | +0.38% | 46.88% |
| RL 4B | 98.85% | 7.93% | +0.45% | 45.86% |
| Curriculum RL 4B | 98.89% | 11.27% | +0.57% | 45.65% |
| Routed OPD 0.8B | 98.03% | 16.24% | +0.73% | 62.60% |
这说明参数规模本身不是解决策略坍缩的充分条件：4B RL 的 selection 反而低于 0.8B RL。课程训练降低策略集中度并增加有效竞争，路由 OPD 则在小模型上带来更高的边际贡献。最终 Student 的单独 Evaluator lift 为 2.53%，虽不是最高，但对 incumbent pool 的 incremental GE lift 最高，说明它更像一个互补生成器，而不是只重复现有最强列表。
七日线上 A/B 在 2026 年 7 月进行，控制和处理各占大型生产服务 1% 流量，用户用稳定 hash 分桶，预先做 A/A 检查。处理侧加入最终的 0.8B Student，其他排序组件和资格规则不变。结果是 exposure PV +1.49%、click PV +2.11%、IPV +3.12%、transaction amount +2.83%、ad cost +0.87%，transaction count -0.24%。论文指出前四项中的关键收益达到显著，transaction count 与 ad cost 的变化不显著；因此不能把 GMV 增长简单解释为所有交易指标都同步改善。
作者还报告 Student 赢得 27.93% 的处理侧原子 GE call。策略空间的离散性很重要：四个权重各有 5 个值，单一模块就有 625 种组合，若再叠加内容、品类和体验动作，直接枚举不现实。课程和路由蒸馏提供了在有限 replay 预算下扩大策略覆盖的方式。
5. 局限与未来方向
论文 Appendix C 明确指出，MetaStrategy 优化的是 learned Evaluator，而不是线上真实价值；Evaluator 误设、线上模型版本变更和跨 replay 版本的不可比性都可能造成偏差。固定候选集和固定细排分数的 replay 无法评估上游召回改变带来的收益，也不会模拟点击、交易和后续用户状态转移，因此 replay 只覆盖日志支持范围，必须用随机化线上实验验证。
另一个限制是 typed action schema。它提高审计、回退和安全性，但也把策略限制在现有 ranker 暴露的动作范围内，可能遗漏新机制。商业曝光与内容构成变化还需要字段级边界、流量爬坡、分群分析和持续用户体验监控。未来工作包括适应 Evaluator 更新、扩大 typed action space，以及引入固定候选 replay 之外的长期用户反馈。
6. 工业实践意义
对社区推荐，最值得复制的是“策略层与预测层分离”。CTR/CVR/停留时长/负反馈模型继续由成熟网络预测，LLM 只输出有限的权重、内容类型偏好、长尾曝光和位置策略；每个动作都必须可编译、可审计、可回退。这样可以把 LLM 的上下文理解用于处理会话状态，却不用把 item ID 生成和硬约束验证塞进同步路径。
落地流程可以先采集固定候选和线上特征，构造 production replay，再以列表级 nDCG/CTR 代理、负反馈、内容多样性和商业价值训练策略。近线侧使用差异触发和版本化表，线上只查最近合法策略；策略失败保留上一条有效策略，完全没有可用策略时回生产默认。上线实验应按用户意图、内容类型、冷启动状态和候选供给分层，特别关注策略是否把 CTR 提升建立在交易率下降或广告干扰增加之上。MetaStrategy 的结果也提醒我们：小模型加好的动作空间和评估器，可能比同步调用更大的 LLM 更适合稳定的 P99。