深度解读：Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment

1. 问题与动机

推荐系统的 Scaling Law 研究已证明：随模型规模、数据量和计算资源增加，推荐质量稳步提升。然而，将超大规模基础模型真正部署到生产环境面临三大核心挑战：(1) 推荐系统需要从在线流式数据中持续学习，数据分布不断漂移，传统微调方法存在灾难性遗忘问题；(2) 不同推荐场景（如 Feed、Reels、Stories）具有不同的下游任务和输入分布，需要针对性适配；(3) 在线服务有严格的延迟和计算约束，直接部署超大模型不可行。现有的两种方案——监督微调（SFT）和知识蒸馏——各自存在缺陷：SFT 在分布漂移的流式数据上训练易导致遗忘，知识蒸馏在大数据规模下学生模型性能反而会被教师模型损害。Meta 团队正是在这一背景下提出了 Foundation-Expert 范式，试图同时解决规模化和部署效率问题。

2. 方法详解

整体架构：系统由一个中央基础模型（Foundation Model, FM）和多个轻量级专家模型（Expert Models）组成。FM 基于 HSTU（Hierarchical Sequential Transduction Units）架构构建，在跨平台、多模态的用户终身交互数据上训练，模型规模为 0.5B-1B dense 参数加上万亿级 embedding table。训练使用 160-512 张 NVIDIA H100 GPU。

核心创新——Target-Aware Embeddings：FM 不是生成静态的用户表征，而是为每个候选 item 动态生成 target-aware embedding，捕获"给定用户交互历史和 item 信息下，用户对特定 item 的上下文兴趣"。与静态 user embedding 相比，target-aware embedding 在 Like 任务上 NE 改善从 -0.64% 提升到 -2.13%，Share 任务从 -1.15% 到 -3.02%，视频完播从 -0.78% 到 -2.96%。

专家模型设计：每个场景配备一个专家模型，包含三个组件：FM Embedding Module（接收 FM 的 target-aware embedding）、FM Fusion Module（融合 FM 知识与场景特征）、以及一个轻量 HSTU。专家模型仅需基础模型 20-40% 的计算量，通过多任务学习在场景特定目标上优化。

训练方法：FM 采用多任务多标签（MTML）损失训练，主要任务包括 like、share、视频完播等，辅助任务为场景特定目标。FM 和专家模型的训练是解耦的——FM 生成的 embedding 被物化存储，专家模型作为特征消费。

HyperCast 基建系统：包括解耦训练管线（FM 和专家独立训练）、低延迟数据管线（平均数据到训练器延迟 30 分钟、模型更新延迟分钟级）、多层推理架构（在线 FM 服务层、离线 FM 日志层、专家服务层）、以及多版本管理（多个 FM 版本并行，专家可选择特定版本）。

3. 核心技术贡献

(1) Target-Aware Embedding 取代静态 User Embedding：这是最关键的设计选择。动态 embedding 能捕获用户-item 交互的上下文信息，而非一成不变的用户兴趣概要。实验表明其效果是静态 embedding 的 2-4 倍。这源于推荐任务的本质——用户对不同 item 的兴趣是条件性的，静态表征无法编码这种条件依赖。

(2) 解耦训练与部署范式：通过将 FM 的知识物化为 embedding，实现了知识迁移与模型训练的完全解耦。这解决了传统联合训练的迭代效率问题，使得专家模型可以快速独立迭代。Transfer Ratio 在 0.64-1.0 之间，超越了知识蒸馏方法的迁移效率。

(3) 零样本泛化到新任务：FM 对未参与训练的场景任务也展现出统计显著的增益（NE 改善 -0.40% 到 -0.60%），表明基础模型确实学到了跨任务的通用知识，而非简单的任务拟合。

(4) 工业级基建系统 HyperCast：解决了 FM 在线上环境中的实际部署问题，包括版本管理、低延迟更新、多层推理等工程挑战。

4. 实验结果分析

离线评估核心指标为 Normalized Entropy (NE)。Target-Aware Embedding 在所有任务上大幅超越 User Embedding 基线：Like 任务 NE 改善 -2.13%（vs -0.64%），Share 任务 -3.02%（vs -1.15%），视频完播 -2.96%（vs -0.78%）。

迁移效率：0.5B 到 1B 规模的 FM 其 Transfer Ratio 在 Surface A 上 Like 任务为 0.74，Share 任务达到 1.0（完美迁移），视频时长为 0.92。Surface B 上 Like 任务 0.72，其他任务 0.64。这说明不同任务/场景的迁移难度不同，share 和视频时长更容易迁移。

零样本泛化：在 Surface D 上排除一个主要任务后测试，四个未见任务仍获得 -0.40% 到 -0.60% 的 NE 改善，且全部统计显著。

在线 A/B 测试：所有部署的推荐场景上在参与度和消费指标上均获得统计显著提升，同时观察到用户参与向更新鲜内容的转移。端到端服务延迟和 CPU 性能保持中性，说明部署方案在效率上是可行的。

5. 局限与未来方向

论文未设置明确的局限性章节，但隐含了几个方向：(1) FM Fusion Module 采用了相对简单的融合策略，作者承认更高级的融合策略可能带来进一步提升但认为超出本文范围；(2) 论文侧重工程实证，缺乏对推荐 Scaling Law 的理论刻画——FM 规模从 0.5B 到 1B 的增益是否可预测？更大规模（10B+）是否会出现收益递减？(3) 训练成本仍然高昂（160-512 H100），对中小公司不友好。(4) 30 分钟的数据延迟对实时推荐场景可能仍不够快。

6. 工业实践意义

直接可借鉴的设计：Foundation-Expert 的分离架构对任何多场景推荐平台都有参考价值。核心启示是：投资一个强大的跨场景基础模型，然后用轻量专家做场景适配，优于为每个场景独立训练大模型。这在人效、计算效率和迭代速度上都有优势。

Target-Aware Embedding 的启示：对于搜索场景，可以类比为 query-aware document embedding——为每个 document 生成考虑当前 query 上下文的动态表征，而非静态的 document embedding。这在语义搜索中可能带来显著提升。

部署考虑：专家模型仅需 FM 的 20-40% 计算量，使得在线服务成本可控。物化 embedding 的设计使 FM 可以异步更新，不影响在线服务稳定性。但需要注意 FM serving 和 embedding 日志的存储/带宽成本。

适用性判断：该范式最适合拥有多个推荐场景（如 Feed + 搜索 + 通知）且有足够计算资源训练大模型的团队。对于单一场景的小团队，直接训练场景模型可能更实际。