MeituanRetrieve-then-Adapt: Retrieval-Augmented Test-Time Adaptation for Sequential Recommendation
针对序列推荐模型在推理阶段难以适应用户实时偏好变化的问题，本文提出 Retrieve-then-Adapt (RTA) 框架，通过检索增强的测试时自适应策略实现动态适配。与传统 test-time training 和 test-time augmentation 方法不同，RTA 避免了高计算开销和随机增强的局限性，通过检索相似用户行为模式来引导模型在推理时的自适应调整。实验表明该方法在多个序列推荐基准上优于现有方案。
INSIGHT将检索增强 (RAG) 思想引入序列推荐的测试时自适应，是一种轻量且有效的在线适应策略。对于 UGC 社区搜索场景，用户兴趣漂移是核心挑战之一，该方法提供了一种不需要重新训练即可跟踪用户兴趣变化的技术路径，可考虑在排序模型的在线推理阶段引入类似机制。
1. 问题与动机
ReAd 关注序列推荐上线后的训练—服务分布差异。传统序列推荐器在历史交互上训练完成，部署后参数被冻结；训练数据又经常由热门物品和高频行为主导，线上测试序列却可能包含长尾物品、少见组合和刚出现的兴趣转移。论文用一个具体例子说明这种失配：训练中频繁出现“网球拍、足球、篮球→运动鞋”，测试序列却可能变成“运动鞋、网球拍、足球、智能手机”，原模型对智能手机这一稀有转移缺少足够的参数化协同信号。已有 test-time training 会在请求时更新参数，计算和稳定性成本高；test-time augmentation 依赖随机裁剪、mask 等操作，可能造出与真实偏好无关的样本；RaSeRec 一类训练期检索方法需要重新设计两阶段训练，不能直接适配已经上线的冻结模型。ReAd 的动机是找到一个 model-agnostic、低开销的测试时增强层：保持原 SR 模型完全不更新，把历史协同模式显式存进可检索记忆，再根据当前序列动态补充信息，尤其帮助稀疏行为和长尾项目。
2. 方法详解
ReAd 分为一次性离线准备和纯前向在线推理。基础 SR 模型 M 按正常的 next-item 任务训练。作者为全部物品学习 d 维 embedding 矩阵 ME，把每个用户序列拆成“前缀—下一个物品”训练对；序列编码器得到 hj，与物品 embedding 做内积形成全目录 logits，并用 softmax 负对数似然训练。模型训练完后，对训练集中的每个前缀重新计算表示 h，并把 <h, e_next> 存入 collaborative memory D。这个记忆条目不是文本知识，而是“某类历史行为表示通常之后接什么物品”的显式协同模式；因此它能补充参数模型中被热门项目覆盖的局部信号。
在线时，测试序列经过冻结的 M 得到 hut，并在 D 中用余弦相似度检索 top-K 条目。为了避免简单平均把噪声一起累加，检索学习模块以当前表示为 query、检索到的物品 embedding 为 key/value，使用一层 cross-attention 计算增强向量 e_aug。注意力分布 p_aug 先按语义/协同相似度分配权重，但作者认为相似不等于对当前目标真正有用，于是对每个检索物品 ek 与真实目标 et 计算独立预测损失 ℓ(ek,et)，把 -ℓ 经过 softmax 得到 utility-aware 参考分布 p_ref，再用 KL(p_aug||p_ref) 对齐。检索学习的总目标是 L=L_rec+λL_align，其中 L_rec 要求融合后的表示能正确预测目标，L_align 让注意力更多关注具有预测效用的候选，而不是只关注表面相似的热门物品。
ReAd 还用熵估计初始预测 p_init 和增强预测 p_aug 的不确定性，在 top-ρ 候选上计算截断熵，形成动态系数 α，最终概率为 p=αp_init+(1-α)p_aug。直觉是：原模型很确定时少改动，原模型不确定时更多依赖检索信号。训练只发生在离线阶段，在线只做一次主模型前向、近邻检索、轻量 cross-attention 和分布融合，不进行梯度更新。作者在实现中使用 FAISS 等近似近邻库，基础 embedding 维度为 64、batch size 为 256、Adam 学习率 0.001，在 RTX 4090D 上重复 10 次取平均；K 从 1、3、5、10、15、20 搜索，λ 从 0、0.5、1、1.5、2 搜索，top-ρ 从 10%、5%、1%、0.5%、0.1% 搜索。
3. 核心技术贡献
第一，ReAd 将 test-time adaptation 改成检索增强而非参数更新，保留冻结主模型的稳定性，并且可以插入不同的序列推荐 backbone。第二，collaborative memory 把训练序列的表示—下一物品关系显式索引，直接暴露模型参数里不容易保留的局部协同模式，尤其针对长尾项目与稀有组合。第三，cross-attention 与 KL utility alignment 共同解决“相似但无用”的检索噪声：attention 学习当前 query 对每个候选的条件权重，KL 参考分布再用候选自身的目标预测能力校准它。第四，熵驱动融合把检索信号变成自适应残差，避免所有请求固定采用同样强度的增强。论文还显示，方法可接入 SASRec、DuoRec、BERT4Rec 和 GRU4Rec，说明它不是绑定某一种注意力结构的专用模块。
4. 实验结果分析
作者使用五个公开数据集：Amazon Office、Beauty、Sports、Home 和 ML-1M。四个 Amazon 子集分别有 4,906、22,364、35,599、66,520 个用户，ML-1M 有 6,040 个用户；交互数分别为 53,258、198,502、296,337、551,682 和 1,000,209。过滤用户和物品少于五次交互后，Amazon 数据仍高度稀疏，稀疏率为 99.55% 至 99.97%，ML-1M 为 95.53%。作者用全目录排序、HR@5/10/20 和 NDCG@5/10/20，避免负采样把结果变得过于乐观。主结果中，DuoRec+ReAd 在五个数据集上均为最佳或接近最佳；以 Beauty 为例，SASRec 的 NDCG@10 为 0.0308，SASRec+ReAd 为 0.0367，DuoRec+ReAd 为 0.0481；在 ML-1M 上，DuoRec+ReAd 的 NDCG@10 为 0.1653，高于 SASRec 的 0.1135 和 DuoRec 的 0.1603，配对检验 p<0.01。
| 组件/方案 | Beauty HR@10 | Beauty NDCG@10 | Office HR@10 | Office NDCG@10 |
|---|---|---|---|---|
| SASRec | 0.0326 | 0.0308 | 0.0532 | 0.0483 |
| SASRec + ReAd | 0.0339 | 0.0367 | 0.0907 | 0.0489 |
| DuoRec + ReAd | 0.0496 | 0.0481 | 0.1090 | 0.0582 |
跨 backbone 的实验显示，GRU4Rec、BERT4Rec 和 SASRec 接入后都改善，论文报告 Office 上 GRU4Rec 的 NDCG@10 提升 14.29%，BERT4Rec 提升 13.19%；Beauty 上 GRU4Rec 提升 12.05%，BERT4Rec 提升 10.28%。超参数曲线显示 K 大多在 10 左右达到峰值，继续增大就引入无关或噪声物品；λ 的变化影响较小，说明只要检索集合本身有协同相关性，KL 校准是辅助作用。消融结果很有区分度：DuoRec backbone 下，Beauty 的 NDCG@10 为 ReAd 0.0481、去掉 attention 0.0413、去掉 KL 0.0473、去掉 Rec loss 0.0332、固定 α=0.5 为 0.0451；去掉推荐损失下降最大，说明检索必须被目标预测直接约束，简单平均和固定融合也会损害效果。检索策略对比中，Beauty 的 NDCG@10 为 SASRec 0.0308、随机检索 0.0212、热门检索 0.0226、ReAd 0.0367；随机检索普遍降级，极稀疏的 Home 则出现热门检索略有竞争力的例外。效率方面，ML-1M batch 推理 ReAd 为 4.76ms，快于 RaSeRec 的 6.20ms，但慢于 DuoRec 的 1.06ms 和随机 TTA 的 1.48ms，属于可控而非零成本的增加。
5. 局限与未来方向
作者的分析没有把 ReAd 宣称为所有分布漂移都有效的通用解。长尾分层结果显示，Q1 到 Q3 的收益明显，最热门的 Q4 收益变小，说明方法需要记忆库中存在足够但不过量的协同信号；如果项目极端稀疏，热门检索有时反而更稳。作者还明确观察到 K 过大后噪声累积，top-ρ 若覆盖全目录会被长尾低概率项稀释，动态熵融合因此需要切到头部候选区域。论文结论把“效果与交互密度、物品流行度相关”作为能力边界，并将进一步的跨域和实时场景验证留给后续工作。工程上还需关注记忆库规模、向量索引更新和在线近邻检索的成本；论文的 4.76ms 来自 RTX 4090D 实验，不能直接等同于移动端或大规模工业集群的端到端延迟。
6. 工业实践意义
ReAd 最适合被当作冻结精排器前的轻量增强层，而不是替代用户建模主干。社区平台可以按主题、作者、时间窗和行为序列构建“前缀—后续帖子”记忆，在线对新 query 或短行为序列检索相似路径，再用熵控制检索信号对原排序的改写强度。推荐上线前应先确定 K 的预算，论文给出的经验峰值约为 10；检索结果必须与目标损失关联，不能拿热门项目或随机邻居直接平均。对新热点、短序列用户和长尾 UGC，要单独看 nDCG@10、Recall、覆盖率、作者/主题多样性和负反馈，防止检索层把协同偏差进一步放大。服务工程上可用 FAISS 或其他 ANN 索引，把记忆构建放在离线/准实时任务，在线只保留 query 编码、top-K 查询、cross-attention 和概率融合；同时建立索引版本、延迟超时和无结果回退策略。若主模型已是 BERT4Rec、SASRec 或 GRU 类结构，论文的跨 backbone 结果支持以插件方式做小流量实验；若内容更新极快，则应重点评估记忆过期和兴趣切换，因为 ReAd 利用的是历史协同模式而不是外部知识。