Sample Is Feature: Beyond Item-Level, Toward Sample-Level Tokens for Unified Large Recommender Models
提出 Sample-Level Token 范式，突破工业推荐模型的两大瓶颈：样本信息扩展（通过更深更长行为序列丰富训练信号）和模型容量扩展（在单一 Transformer 骨干中统一序列建模与特征交互）。将每个训练样本的全部信息（用户特征、上下文、行为序列）统一编码为 token 序列，使 Transformer 自然处理跨模态交互。
INSIGHT关键创新在于打破 item-level token 的限制，将推荐模型从「每个 item 一个 token」提升到「每个样本一个 token 序列」。这使得模型能同时利用序列位置信息和特征交互信息，避免了传统方法中两个模块分离导致的信息损失。对搜索/推荐系统的启示：统一 Transformer 架构可替代「序列模型 + 特征交叉模型」的拼接方案。
1. 问题与动机
工业推荐模型的扩展遵循两条并行范式：样本信息扩展（通过更深更长的行为序列丰富训练信号）和模型容量扩展（在统一 Transformer 骨干中融合序列建模与特征交互）。然而两者存在结构性瓶颈：
- 样本信息扩展瓶颈：当前序列延长方法仅将 item embedding 或少量特征子集编码为历史 token，丢失了大量原始样本上下文（用户画像、情境信号、行为结果）。论文举例："考虑两个用户都点击了同一家餐厅：一个在深夜使用优惠券的 session 中，另一个在工作日午餐高峰期——裸 item embedding 将这两次交互视为完全相同。"
- 模型容量扩展约束：统一 Transformer 架构在处理序列 item token（稀疏）和当前请求的稠密多字段 token 时存在表征不对称，限制了模型容量的实现。
该工作建立在 HyFormer、OneTrans 等先前统一架构之上，但指出它们在 sequence length > 500 时效果饱和。
2. 方法详解
核心创新：Sample-Level Token
SIF 将每个历史交互的完整特征快照（用户画像、item 特征、上下文信号、交叉特征）编码为 token 序列，替代裸 item ID。原始样本定义为 S = [f_user | f_item | f_ctx | f_cross]。
Sample Tokenizer: 层次化分组自适应量化 (HGAQ)
Step 1: 分组分解 — 将原始样本划分为 G=4 个语义组，防止信息稀释。高基数特征（如 item ID）独占一个组。
Step 2: 自适应组内子 token 化 — 每组 g 划分为 K_g 个子 token：K_g = ⌈|F_g|/B⌉，粒度 B=32 控制每个子 token 的特征字段数。特征投影维度 d₀=16，总子 token 数约 T≈27。
Step 3: 残差向量量化 (RVQ) — 对每个子 token 施加 M=3 级 RVQ，codebook 大小 V=256。总存储为 T×M=81 个离散索引，实现 237× 压缩比（相比 float32 原始快照）。
Step 4: 标签监督 Codebook 训练 — RVQ 重建结果通过 MLP 做辅助 CTR 预测，损失 L_token = L_BCE(ŷ^token, y)，确保 codebook 按预测相关性组织，而非仅按重建误差。
SIF-Mixer 架构
输入布局为 (L+1)×T 矩阵（L 个历史 + 1 个目标），堆叠 N=4 个 SIF Block：
- Token-Level Mixer：行内 self-attention，捕获单个样本内 T 个子 token 间的交互（用户-物品-上下文跨组关联），复杂度 O(T²·(L+1)·d₀)
- Sample-Level Mixer：列内 self-attention，跨 L+1 个样本的时序注意力，复杂度 O((L+1)²·T·d₀)
- Token-Level FFN：逐位置非线性变换
预测头：对 T 个子 token 输出做 mean pooling 后接两层 MLP + sigmoid。
训练目标
总损失 L = L_BCE + β·L_VQ + γ·L_align，其中 β=1.0, γ=0.25。L_align 确保目标样本投影与 codebook 空间兼容。训练配置：Adam (lr=10⁻³)，batch size 4096，sequence length L=1000，8×A100-80G GPU。
3. 核心技术贡献
- Sample-Level Token 范式：首次将推荐模型从 item-level token 提升到 sample-level token，使 Transformer 自然建模跨模态交互（用户×物品×上下文），对比 HyFormer/OneTrans 在 L=1000 时 GAUC 提升 +0.0088/+0.0093。
- HGAQ 量化压缩：237× 压缩比下保持全快照语义——相比 raw embedding (9× 压缩) AUC 更优。创新在于 label-supervised codebook 训练，使离散索引按 CTR 预测信息量组织。
- 双轴分解注意力：Token-Level × Sample-Level 的因子化设计，复杂度 O(L²T·d₀) 优于 flat attention O((LT)²)，同时保留了 pooled-then-attend O(L²) 丢失的组内结构（GAUC 差 -0.81%）。
- 序列长度外推能力：在 L 从 100 增至 2000 时，SIF 优势从 +0.0013 单调扩大至 +0.0102（vs HyFormer），证明 sample-level 信息在更长序列中释放更多价值。
4. 实验结果分析
离线主实验（美团本地生活，1B+ 样本）
| 模型 | CTR AUC↑ | CTR GAUC↑ | CVR AUC↑ | CVR GAUC↑ | TFLOPs |
|---|---|---|---|---|---|
| DCNv2+DIN (baseline) | 0.7832 | 0.7614 | 0.8103 | 0.7891 | 0.31 |
| RankMixer+LONGER | +0.79% | +0.72% | +0.68% | +0.63% | 0.40 |
| HyFormer | +1.12% | +1.01% | +0.97% | +0.88% | 0.87 |
| SIF | +2.03% | +1.89% | +1.74% | +1.61% | 0.93 |
SIF 在仅增加 7% FLOPs（vs HyFormer）的代价下，获得近乎翻倍的 GAUC 提升。所有差异 p<0.01 显著。
Tokenizer 消融
- Item ID only：GAUC 比 SIF 低 1.00%（信息损失严重）
- Item ID + 关键特征：低 0.60%
- Raw embedding (d=512)：低 0.27% 但存储膨胀 26 倍
- HGAQ：最优压缩比下最优效果
在线 A/B 测试（美团平台，5% 流量 7 天）
vs HyFormer baseline：CTR +2.03%, CVR +1.21%, GMV/session +1.35%。重度用户（L≥500）获得最大提升：CTR +3.12%, GMV +2.06%。
5. 局限与未来方向
作者指出：(1) 序列特征的时序排列信息未纳入 sample 量化，由 Sample-level Mixer 单独处理；(2) HGAQ 需精心校准子 token 粒度 B 以平衡分解精度和模型紧凑性；(3) 当前 codebook 为静态训练，未来可探索在线自适应更新。
未提及但值得注意：(1) 237× 压缩仍需离线预计算和 KV 存储所有历史快照；(2) 特征字段变更需重训 codebook。
6. 工业实践意义
直接可借鉴点：
- 对于行为序列较长的平台（L>100），sample-level 编码可释放显著信息增益——美团数据显示 L≥500 用户 CTR 提升 3%+
- HGAQ 的 codebook 训练方式（label-supervised）值得在 embedding 压缩任务中借鉴——比纯重建目标更对齐业务指标
- 双轴分解注意力是 compute-quality 的 Pareto 优选方案
部署考量：
- 推理延迟：0.93 TFLOPs（vs baseline 0.31），约 3× 计算开销，需 GPU 推理或 TensorRT 优化
- 存储需求：每用户 1000 个历史样本 × 81 个离散索引 ≈ 81KB/用户
- 特征工程依赖：需要能获取历史交互时刻的完整特征快照
对 UGC 搜索推荐的适用性：社区搜索中用户浏览帖子时的上下文（搜索 query、时段、位置、前序浏览轨迹）高度异质，SIF 的 sample-level 编码可有效利用这些被传统方法忽略的信号。