品类级建模是一个值得借鉴的降维策略——在保持推荐质量的同时大幅降低计算复杂度。因果掩码优于双向掩码的发现对序列推荐模型设计有指导意义。Amazon 的在线 A/B 验证和动态序列分割策略为处理稀疏用户行为序列提供了工业级解决方案。
T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation
论文信息: arXiv:2603.06631 | 2026年2月23日 | Amazon
作者: Soroush Mokhtari, Muhammad Tayyab Asif, Sergiy Zubatiy
1. 问题与动机
在线杂货购物具有独特性：高度重复购买行为、篮内物品复杂依赖、购物篮无序性、购买间隔不规律。传统频次方法（P-Top）对新用户和小篮子表现差；BERT4Rec等MLM方案存在信息泄漏问题（训练时可偷看同篮其他mask token，推理时这些信息不存在）。核心挑战是在高维稀疏SKU空间中建模序列化的购物篮推荐。
2. 方法概述
T-REX采用"先预测类目序列，再类目内物品精排"的分层策略。将29,000个SKU映射到35个类目（生产扩展至280个），用6层Encoder-Decoder Transformer（50.4M参数）建模。Encoder从全局购物历史学习通用模式，Decoder通过交叉注意力生成个性化预测。
3. 核心技术贡献
- 动态序列切分：随机选取锚点购物篮将历史划分为Encoder输入和Decoder目标，同一用户可生成多个训练样本，有效应对稀疏数据
- 自适应时间位置编码：使用相对于锚点的归一化天数差作为位置表示，捕获不规律购买间隔的真实时间距离
- 因果掩码优于MLM：自回归解码与预测任务天然对齐，避免了BERT4Rec的信息泄漏和训练-推理gap
- 类目级建模降维：输出空间从万级降至百级，显著降低计算量，类目粒度购买模式更稳定易学习
4. 实验结果分析
离线指标：中位数用户Top-10推荐可召回90%+购物篮物品。小篮子(<5件)场景T-REX比P-Top高约30%，中等篮子高约10%。排名匹配：精确匹配30%(P-Top 27%)，1位内对齐60%(P-Top 48%)。
在线A/B测试：T-REX获得同类推荐widget中最高CTR。在订单销售额、综合销售额、毛利贡献上均显著提升。销售增量比Amazon全站同类推荐系统高约23%。使用经验贝叶斯+双重机器学习的严谨因果评估方法。
5. 局限与未来方向
- 仅对比频次基线，未与SASRec/BERT4Rec等主流方法系统比较
- 缺少对各组件（动态切分、时间编码、因果掩码）的独立消融实验
- 推理使用Teacher Forcing而非真正自回归生成
- 物品级推荐的完整链路端到端评估缺失
6. 工业实践意义
- 类目分层架构：先类目召回再物品精排，适合大规模SKU场景（零售、外卖等），推理延迟可控
- 因果掩码选型指导：生成式推荐任务应优先因果掩码，MLM适合表征学习但用于推荐生成时需警惕信息泄漏
- 时间位置编码：购买间隔不规律场景（杂货、医疗、B2B）应使用真实时间距离而非整数序号
- 频次基线的价值：在高重复购买品类中，简单频次策略可作为强baseline和线上fallback
- A/B评估方法：经验贝叶斯+双重机器学习的组合更可靠地评估真实业务价值
- 23%销售增量：垂类专项建模在高价值场景下值得投入