Empowering Compact LLMs with Fusion of Layer-wise Exits for Recommendation
FLEXRec针对紧凑LLM在序列推荐中的表达能力不足,保留判别式全库打分的效率,在每个Transformer层放置exit,再由AC-Router按用户序列动态融合不同深度的分布。它在Qwen 3 1.7B与Llama 3.2 3B上评测Toys、Beauty、Yelp三个数据集;Qwen下NDCG@10为0.0521/0.0451/0.0207,推理约7.1–7.5毫秒。
INSIGHT这是一条适合推荐精排的“动态计算深度”路径:短、规则的行为序列少用exit,复杂用户再融合更多层。target-k hinge、负载均衡和Z-loss共同避免路由塌缩;相比E4SRec,额外延迟小于1毫秒。实践中可把路由预算绑定用户分层或请求时延,把小模型的中间层表示变成可控的质量–成本旋钮。