Mosaic: A Fleet of User Embedding Specialists for Recommendation at Meta

1. 问题与动机

工业推荐中的用户表示同时依赖稀疏用户 ID、类别属性、跨时间窗计数、行为序列和既有向量，不同信号对不同用户群的覆盖极不均衡，冷启动用户尤其容易因历史过短而失真。常见方案要么在每个下游排序器里重复学习用户塔，要么训练一个统一大模型/共享骨干输出一个或多个向量。前者让每个 ranker 承担额外计算和内存，后者则要求一个架构同时兼顾记忆、稠密特征交叉、长期序列与特定业务监督，容量和归纳偏置容易互相牵制。

Mosaic 的选择是建立“专家舰队”：不同模型专注不同信号家族，训练后只部署紧凑用户塔，输出可以被召回、排序和完整性任务复用。该设计带来两个新的系统问题。第一，专家越多，输入与监督越重叠，新增向量的边际信息迅速递减；第二，传统评估必须先部署、全量打点、积累下游训练数据再重训 ranker，迭代需数天。论文同时解决专家差异化、无日志评估以及大规模在线/离线混合服务，目标不是单个模型 SOTA，而是让用户表示库可持续扩张。

2. 方法详解

系统分为训练、向量推理和下游消费三阶段。每个专家训练图由“仅训练架构”和“用户塔”组成：前者接收非用户特征并承担多任务互动监督，梯度回传到用户塔；用户塔压缩稀疏 ID、稠密计数和预训练向量。推理时只保留用户塔，可在线计算保证新鲜度，也可批量离线计算后写入向量索引。下游 SNN、Transformer 或稠密交互 ranker 都把输出当作普通特征，不必扩张自身训练图。

四类专家采用不同归纳偏置。记忆型专家用数百 GB 状态的大哈希表捕捉逐用户偏好：Table-Batched Embedding 融合查表，按访问频率把行分层放在 GPU HBM、CPU DRAM 和 SSD，并可逐表量化到 INT4；训练用 TorchRec 行切分，服务将热表留在 HBM、冷表跨 CPU 机器切分。稠密型专家接收 1/7/28 日、点赞/评论/分享及跨 surface 计数，用 MHTA、SEDot 或 Wukong 学习非线性交叉。序列专家基于 HSTU，把跨 surface 行为合并成时间流：前置上下文 token，每个动作拆成内容 token 与“动作类型、观看时长、时间位置”元数据 token，L1 自注意力处理长度 C+2N 的交错序列，L2 交叉注意力对目标物品打分。它用随机截断模拟 serving 长度分布，并在预处理阶段强制修复时间戳乱序；MoE 路由把 token 分配给 top-k/E 个专家。CoTrain 专家则复制目标下游 ranker，让该 ranker 与 Mosaic 训练架构共同回传到共享用户塔，获得 surface 对齐表示。

为减少专家冗余，Multi-Task Relation Mining 先计算任务标签的 Spearman 相关矩阵，按阈值找到大小为 2 或 3 的高相关任务组。二值任务取笛卡尔积形成最多 2^m 类的联合标签；连续观看时长先分桶，再参与组合。这样“点赞且评论”和“仅点赞”会成为不同监督。余弦冗余损失则最小化新向量与 K 个既有向量的平均余弦相似度：主任务损失加 λ 倍冗余项，λ 从 0 逐步 warm up，先保证主任务收敛，再推动新表示进入正交子空间。

CoEval 把冻结用户塔直接嵌入下游 ranker 的训练副本，在线计算向量，使用“带向量 NE 减基线 NE”衡量贡献，无需部署和日志积累；User Tower Zero-Out 则在上游模型中把用户塔输出置零，估计其边际价值。服务层提供 CPU 在线、GPU 在线和 GPU 离线三条路径。GPU 路径使用 AOTInductor 编译、batch/thread 调优、稀疏与稠密子图拆分，以及 TTL 为 2 小时的 look-aside memcache。论文没有披露统一的优化器、batch size、训练步数或 GPU 型号，因为不同专家和 surface 使用不同训练图；这些关键信息无法从正文补全。

3. 核心技术贡献

1. 异构专家舰队而非单一通才。 记忆、稠密交互、序列动态和下游对齐分别由不同架构承担，新增能力可以独立上线和回滚，故障不会扩散到所有用户表示。

1. 显式优化边际信息。 MRM 把跨任务联合分布变成监督，CRL 则直接惩罚与已部署向量的方向重合；一个在标签空间制造新知识，一个在表示空间减少重复，共同缓解专家越加越无效的问题。

1. 无日志的下游对齐评估。 CoEval 从训练好的用户塔 checkpoint 直接得到下游 NE 增量，把端到端评估周期缩短到原来一半以下；论文总结整体迭代速度提升 3–5 倍，避免用可能与下游收益背离的上游 NE 做决策。

1. 按专家选择新鲜度与成本。 三条推理路径输出同一格式，系统可以让短期序列专家在线算、慢变化专家离线批算。AOTI、模型拆分和 2 小时缓存共同降低 GPU 服务资源，体现模型设计与基础设施联合优化。

4. 实验结果分析

论文在 Meta 多个匿名 surface 的下游 ranker 上评估，离线主指标是 Normalized Entropy（越低越好）和 Feature Importance，线上使用用户互动与各 surface 的 topline 指标。作者未公开数据规模、任务真实名称和绝对线上指标，但报告了相对变化。

在 6 个 surface 的多个任务上，Eval NE 改善范围约为 -0.02% 到 -0.33%。37 个向量的分解显示，稠密型以 20 个向量贡献 -0.22%，CoTrain 仅 3 个向量却贡献 -0.15%，说明特定下游监督的单位向量效率很高。Mosaic 向量在 2 万多个输入特征中稳定进入 FI 前 2%，部分记忆型向量接近前 0.01%。线上三个披露 surface 的 topline lift 分别为 +0.10%、+0.15% 和 +0.28%，均具有统计显著性。

序列缩放展示清晰的质量—吞吐取舍：历史从 512 扩到 2048，NE 改善 0.45%，QPS 却下降 33%；MoE 专家维度从 128 增至 512，收益从 -0.07% 扩到 -0.14%，QPS 代价从 8% 增至 21%。GPU serving 优化方面，AOTI 加模型拆分把资源使用降低 56%，再加 memcache 后累计降低 79%，首条内容的服务延迟改善 0.14%。这些结果说明“更大模型”不是免费收益，Mosaic 的关键在于按专家的衰减速度和边际 NE 选择计算路径。

论文没有给出 MRM、CRL、CoEval 与 Zero-Out 的独立数值消融表，这是证据上的缺口；现有表主要验证各专家族和序列缩放，而不是严格量化两种去冗余机制分别贡献多少。

5. 局限与未来方向

论文没有独立的 limitations 章节。作者在正文明确暴露了几项边界：新增专家会出现递减收益；上游 NE 与下游价值可能背离；在线序列长度受延迟限制；不同专家在新鲜度、GPU 资源与延迟间必须取舍；CoTrain 虽更贴合目标 surface，却降低跨业务通用性。2048 序列造成 33% QPS 损失，也说明长历史并非所有消费者都负担得起。

作者未披露数据量、特征定义、优化器、批量大小、训练时长、硬件型号、绝对 NE/线上指标或各项 A/B 流量，外部可复现性有限。Surface 和任务匿名化也使 +0.10%–0.28% topline lift 难以映射到 CTR、时长或留存。未来工作应公开 MRM/CRL 的独立消融、冷启动分群结果、缓存命中率和向量过期曲线，并比较舰队与等计算量单一通才模型，否则无法完全判断收益来自架构异构还是总模型容量增加。

6. 工业实践意义

Mosaic 最适合多业务共享用户特征、但各 surface 延迟和新鲜度要求不同的平台。第一步不是一次性复制四类专家，而是盘点已有信号：ID 记忆、时间窗计数、长行为序列和目标业务梯度各自是否存在明显缺口。每个新专家都应以“加入现有向量集合后的边际下游 NE”准入，不能看单独训练时的漂亮分数。

对社区 UGC 推荐，可把短期浏览/点赞序列交给在线序列专家，把 7/28 日主题与互动计数交给稠密专家，把稳定作者/圈层偏好交给记忆专家；搜索或推荐的特定 CTR ranker 再通过 CoTrain 获得目标对齐向量。行为 token 与元数据 token 分离尤其值得借鉴：同一帖子被快速划过、完整阅读、评论或收藏，应被建模为不同的“如何消费”，而不只是重复内容 ID。

MRM 可直接落到点击、停留、点赞、评论、关注等多目标任务。先按 Spearman 相关性筛选 2–3 个任务组合，避免 2^m 类爆炸；对停留时长按分位数分桶。CRL 要在主任务稳定后逐步加权，并同时监控新向量 FI 和下游 NE，防止为了正交而丢失有用共享信息。

部署上，应为每个向量记录更新周期、计算位置、TTL、QPS 成本和消费者列表。慢变化向量走离线批算，短期兴趣走在线 GPU/CPU；缓存适用于两小时内漂移有限的用户表示。扩长序列前要用 NE/QPS 曲线做容量决策，不能把 -0.45% NE 与 -33% QPS 分开汇报。最后，用 CoEval 类冻结用户塔评估替代“先全量打点再看结果”，能显著缩短实验周期并减少无效特征进入生产日志。