LongRetriever: Towards Ultra-Long Sequence based Candidate Retrieval for Recommendation
现有超长用户行为序列建模工作几乎都集中在精排阶段,召回阶段的超长序列利用尚属空白。LongRetriever 提出在召回阶段引入超长序列的实用框架:通过 in-context training 与 multi-context retrieval,实现用户序列与候选 item 之间的候选特定 (candidate-specific) 交互,并在 search-based 范式下保证训练-服务一致性 (training-serving consistency);将互斥的 item 类目定义为可解释的用户兴趣,在共享模型参数下对每个兴趣做独立候选训练,把用户表示为多个兴趣域上的稠密向量而不额外增加训练开销。大规模电商平台线上 A/B 取得统计显著提升,已在该平台全量部署,影响数十亿用户。
INSIGHT把超长序列从精排前移到召回,是对“TWIN/SIM 等只在排序阶段用长序列”惯例的实质性补充——召回阶段决定候选集上限,长序列在此处的收益往往被低估。候选特定交互 + 训练-服务一致性是该框架能全量落地的关键:search-based 取子序列若训练/服务不一致会引入严重偏差。把互斥类目当作可解释兴趣、共享参数下分兴趣独立训练,给社区多兴趣召回(帖子/问答/话题分域召回)提供了一个不膨胀训练成本的多向量用户表示范式。