Towards Generalizable and Efficient Large-Scale Generative Recommenders
论文把生成式推荐骨干从 200 万参数扩展到 10 亿参数,并用带偏移项的 Scaling Law 判断不同下游任务是否接近收益上限。作者结合多 Token 预测、采样 Softmax、投影解码头及语义冷启动塔,在 100 万用户的一周生产影子实验中让 10 亿模型在全部任务上取得更高 MRR。
INSIGHT推荐模型扩容不能只看统一损失曲线,应分别估计每个任务的剩余容量,再把训练成本、在线缓存陈旧和新内容冷启动纳入同一决策。对社区搜索可按内容类型拟合独立 Scaling Law,优先扩容仍有 headroom 的任务,并用语义塔承接新帖冷启动。