Pre-trained LLMs Meet Sequential Recommenders: Efficient User-Centric Knowledge Distillation
论文提出「LLM 离线生成用户画像 → 蒸馏到序列推荐模型」的高效融合框架,核心理念是把 LLM 的语义理解能力固化到传统 SR 模型权重里,线上服务无需调用 LLM。具体做法:用预训练 LLM 为每个用户生成自然语言画像(兴趣、消费偏好、行为模式),再通过知识蒸馏让 SR 模型在 forward 阶段隐式重建该画像。无需修改主干架构、不需要 LLM 微调、不需要 LLM 在线推理,serving 成本与原始 SR 模型一致。
INSIGHT对延迟敏感的搜索/推荐场景,「LLM 离线增强 + 传统模型在线 serving」是当前最务实的落地范式。该工作把 LLM 的产出从「item 增强」拓展到「用户画像增强」,给搜索系统留下两条可借鉴路径:(1) 用 LLM 离线生成 query 改写/意图标签作为蒸馏信号;(2) 把 LLM 对用户长期兴趣的总结蒸馏到 user encoder。社区 UGC 搜索的用户长期兴趣本就难以用 ID 特征建模,LLM 文本画像 + 蒸馏路线非常契合。