Semantic Trimming and Auxiliary Multi-step Prediction for Generative Recommendation
生成式推荐把每件商品拆成几个 Semantic ID 码之后,用户历史一下子长了好几倍,训练又慢又占显存,而多出来的码里很多是重复的类目和品牌。STAMP 让模型先跑一两层,再按每个码自身的激活强度和被其他码关注的程度打分,只把高分的码交给后面的层;训练时再加一个多预测一个码的辅助目标,补回剪掉的信息。在 Amazon 三个数据集上,训练快了 1.36 倍以上,峰值显存省了一半多,效果和原模型持平。它省的是训练成本,不是提效果:在工业数据上,只加辅助预测反而最准,加上剪枝后这点提升就被抵消了。