Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation
推荐模型 dense scaling 的代表方案 RankMixer(统一 token 表示 + token mixing 与 per-token FFN 交替)存在 embedding collapse:表示有效秩偏低、表达力受限、扩展出的表示空间被浪费。论文经实证与理论分析指出刚性 token mixing 与 P-FFN 共同诱发跨层有效秩的「阻尼振荡」轨迹,提出 RankElastor:用 parameterized full mixing 等组件产生谱稳健(spectrum-robust)表示,并给出可证明的 collapse 缓解。
INSIGHT把推荐大模型的扩展瓶颈归因到表示有效秩坍缩,并用有效秩动力学这一可量化视角诊断 token mixing 架构,是对 RankMixer 一类「推荐 Scaling Law」工作的直接改进。对做排序模型放大的团队有用:扩参数前先看表示有效秩是否坍缩,否则增容会被低秩瓶颈吃掉;提供了一个判断 dense scaling 是否真正生效的诊断指标。