MLPs are Efficient Distilled Generative Recommenders
生成式推荐逐位解码、每位都要跑一遍 Transformer 解码器,beam 一宽就慢。作者先数了 SID 每一位的合法分支数:第一位有 256 个选择,后面几位很快只剩一两个,说明难点只在开头。于是 Sid-Mlp 只对用户历史做一次注意力读出,之后每一位用一个独立的小 MLP、输入“上下文 + 已生成前缀”来预测,并从冻结的 TIGER 教师蒸馏。在三个 Amazon 数据集上,效果和教师持平或略高,吞吐快 8.74 倍,显存峰值降 95.7%。局限是教师和物品规模都小;换成 7B 大模型当教师时已不再无损,大目录下要先测自己的分支数。