Towards Generalizable and Efficient Large-Scale Generative Recommenders (Netflix)
Netflix 首次公开其生成式推荐模型从 5000 万参数扩展至 10 亿参数的完整技术路线。针对推荐领域词表规模远超 NLP(百万级 vs. LLM 的 10 万级)的独特挑战,采用 sampled softmax + projected heads 将训练成本降低 1-2 个数量级。提出多 token 预测(MTP)替代 next-token 预测以适配高延迟缓存服务场景,并通过多模态语义塔实现冷启动泛化。80 块 A100 训练 240 小时,处理 2 万亿 token。
INSIGHTNetflix 的 scaling law 发现与 Chinchilla 定律存在显著差异:推荐领域性能随模型规模增长呈现更快的饱和趋势,需要为不同任务建立独立的 power law 模型。MTP 替代 NTP 的设计思路——预测与系统延迟窗口匹配的多标签集——是工业化生成式推荐的关键工程创新。对 UGC 搜索场景的启示:在有限算力下应优先扩展数据规模和特征丰富度,而非盲目增大模型。