1. 问题与动机
TM20K 解决的是工业推荐里长期行为序列变长之后的计算与收益矛盾。传统线上模型常用约 5K 个行为 token；当序列扩展到 20K 时，用户更早的兴趣、周期性偏好和跨场景行为可能被保留下来，但计算量、显存和 serving latency 同时快速上升。论文在 ByteDance 的广告推荐场景测量到：从 5K 扩展到 20K，训练时间约为 3.5 倍，GPU 显存增加 49G，线上服务延迟约为 6.3 倍。这不是单纯把 batch 调小就能解决的工程问题，因为长序列的注意力和数据搬运会同时压迫训练、推理与集群成本。
作者首先分析 20K 序列中不同位置的注意力。最近的 10% token 贡献了接近一半的 attention，上层网络的注意力分布更尖锐，下层的分布相对均匀。这个观察意味着不同层、不同位置对 token 分辨率的需要并不相同：最新行为需要更细的粒度，较旧行为可以在语义相近或时间相近时压缩；浅层可能适合处理较粗的行为模式，高层则需要保留更有区分度的信号。若用同一种固定 pooling 或简单截断，就不能同时利用长历史与控制成本。
2. 方法详解
论文的主体是一个 full-attention teacher 和一个 token-merging student。teacher 直接读取 20K 行为 token，尽量保留完整序列信息；student 在不同位置做压缩，再通过知识蒸馏学习 teacher 的预测。这样在线服务只需要运行较短的 student，而不是把完整 20K 的代价放到每个请求上。作者强调这是模型结构、CPU 预处理、GPU 通信和 serving 栈一起设计，而不只是提出一个新的 pooling 层。
第一种压缩策略是 LITM，也就是 Locality-Informed Token Merging。它在时间间隔小于阈值 T 的相邻行为中寻找同一 item ID 的重复 token。论文示例采用 T=3；若同一个 item 在短时间内连续出现，说明这些 token 的增量信息有限，可以合并其特征。LITM 利用的是局部时间与 ID 一致性，计算简单，适合放在 CPU 预处理阶段。
第二种策略是 PATM，也就是 Position-Aware Token Merging。作者把 20K 片段划成 [1,1K]、[1K,5K]、[5K,10K]、[10K,20K] 四个区域，示例压缩因子分别为 1、2、3、4。较新的位置保持原粒度，较旧的区域逐渐合并。按这个例子，20K 序列可压缩到约 7K token。PATM 的重点不是精确固定数字，而是让 token budget 随时间距离和信息新鲜度变化；实际系统仍需按业务序列分布调节边界。
第三种策略是 LPTM，也就是 Layer-wise Progressive Token Merging。论文的六层 Transformer 示例中，每两层将序列长度减半一次，使不同层看到不同粒度的行为历史。低层保留较多 token 来建立局部表示，高层使用更短序列来集中计算全局关系。它与 PATM 的区别在于，PATM 按位置预先决定压缩率，LPTM 让压缩在网络深度中逐步发生；两者可以组合，也可以根据硬件和模型结构分别使用。
压缩前后还要处理工业系统的 CPU-GPU 边界。论文把可以提前合并的原始特征放在 CPU 侧处理，再把压缩后的结果送入 GPU，减少长序列 embedding 后的通信成本。候选 item 的特征不能随意合并，因为目标候选需要单独保留与用户历史的交互关系。模型使用 QK normalization 稳定长序列 attention，并在 student 中设置主预测头与蒸馏头。teacher 的 logits 被缓存，student 同时优化主任务交叉熵和 teacher-student 的知识蒸馏损失；推理时只保留主头。
训练数据来自工业 CVR 任务，覆盖两个月、数十亿样本，数据经过匿名化处理。模型隐层维度为 512，FFN 维度为 1024，使用 SwiGLU；global batch size 为 320，teacher batch size 为 96，训练使用数百张 GPU。这个设置说明论文讨论的不是一个小型离线实验：完整 teacher 的训练和缓存本身就是重大基础设施成本，student 的价值在于把这笔训练成本换成可上线的推理收益。
3. 核心技术贡献
第一，teacher-student 结构把使用完整长序列与低成本在线推理拆开。teacher 允许研究者先验证 20K 历史是否真的包含额外信号，student 再学习如何用更短序列逼近 teacher，而不是一开始就用启发式截断决定哪些历史没有价值。
第二，LITM、PATM 和 LPTM 分别从局部重复、位置新鲜度和网络层深度三个维度定义压缩。三者对应不同的信息假设：短时间重复行为的边际信息较小；越旧的行为越适合粗粒度表达；不同层对序列分辨率的需求不同。这个组合比一刀切保留最近 N 个 token 更接近工业行为数据的结构。
第三，作者把 token merging 与 CPU 预处理、embedding 通信、QK normalization、主任务/蒸馏双头放在同一系统里评估。对工业推荐而言，省下的不是只有 attention FLOPs，还包括显存、数据搬运、缓存和线上服务栈的压力。
第四，知识蒸馏让压缩 student 回收大部分长序列收益。teacher 在离线表中比 5K baseline 获得 +0.26% AUC；普通 student 获得 +0.15%，加入 KD 后为 +0.22%。也就是说，student 恢复了长序列 teacher 相对 baseline 收益的大约 85%，同时避免了 teacher 的完整线上成本。
4. 实验结果分析
离线主表以 5K 模型作为 baseline。baseline 的 AUC 为 0.8212，LogLoss 为 0.4917，吞吐为 88K，显存为 52G。20K teacher 的 AUC 为 0.8233，提升 +0.26%；LogLoss 为 0.4890，下降 0.55%；吞吐为 11K，显存为 86G。普通 student 的 AUC 为 0.8224，提升 +0.15%；LogLoss 为 0.4903，下降 0.29%；吞吐为 83K，显存为 74G。加入 KD 后，student 的 AUC 为 0.8230，提升 +0.22%；LogLoss 为 0.4896，下降 0.43%；吞吐仍为 83K，显存仍为 74G。
这张表体现了论文的真实取舍。teacher 的精度最高，但吞吐从 88K 降至 11K，显存从 52G 增至 86G，难以直接作为线上模型。student 的吞吐接近 baseline，显存虽然仍比 5K 高，但明显低于 teacher；KD 只改变训练目标，不改变推理图，却把 AUC 拉近 teacher。因而适合线上部署的结论不是 20K teacher 替代 5K，而是 20K teacher 作为知识上限、压缩 student 作为服务模型。
线上 A/B 结果同样支持这个判断。TM20K-S student 在 ADSS 上提升 +0.881%，ADVV 提升 +0.515%，延迟变化 +5.6%；加入 KD 后，ADSS 提升 +1.036%，ADVV 提升 +0.780%，延迟仍为 +5.6%。KD 使线上收益进一步提高，而延迟没有继续恶化。对广告推荐，ADSS 与 ADVV 是核心业务指标；对社区搜索，不能直接照搬这两个指标，但可以把它们对应为相关性、有效点击或用户价值的线上收益。
论文还通过消融区分三种 token merge 的作用。LITM 更依赖短间隔重复 ID，适合压缩高重复行为；PATM 让最近行为保持细粒度并对旧历史施加更高压缩；LPTM 则通过层间逐步减半控制高层计算。不同数据域的行为重复率、时间间隔和序列长度分布不同，因此不能把示例中的 T=3 或四段压缩因子当作通用常数。正确的复用方式是先做 attention 质量、AUC/LogLoss 和延迟的联合扫描，再选择预算。
5. 局限与未来方向
论文明确写出的局限有两点。第一，LITM、PATM、LPTM 主要依赖规则和位置启发式，跨领域使用时需要重新调参；作者没有声称在一个域上找到的阈值可以直接迁移到另一个推荐场景。第二，论文没有把 sparse attention 纳入当前系统，因为这需要定制 GPU operator；作者把它列为未来可继续探索的方向。也就是说，TM20K 解决的是 token 数量与表示压缩，但没有完整解决长序列稀疏连接的硬件实现问题。
实验范围也有明确边界。数据是经过匿名化的 ByteDance 工业 CVR 数据，覆盖两个月和数十亿样本，训练使用数百张 GPU；这提供了真实规模证据，却不具备公开数据集那样的可复现性。论文主要报告 AUC、LogLoss、吞吐、显存、ADSS、ADVV 和延迟，没有展开长期留存、兴趣多样性、冷启动用户、不同年龄段或不同流量入口的切片。因此 20K 对所有用户都更好不是当前结果能够支持的结论。
从方法风险看，token merging 可能把低频但关键的早期兴趣与重复行为混在一起；teacher 的 attention 分布也不等于真实因果重要性，最近 token 获得更多 attention 不能自动证明旧行为无用。KD 会把 teacher 的偏差传给 student，且缓存 logits 的数据版本、时间窗口和策略版本必须严格对应。线上 +5.6% 延迟对于广告链路可能可以接受，对于极低延迟搜索链路则需要结合 P99、尾延迟和并发压力重新评估。
未来方向可以沿着作者已经指出的 sparse attention GPU operator 展开，并加入数据驱动的可学习 merge gate、用户分群的动态 token budget、跨域校准和候选感知压缩。但这些是基于论文边界的工程方向，不是论文已经验证的收益。部署时仍要用严格 A/B 与回滚阈值证明长历史带来的增量价值足以覆盖计算成本。
6. 工业实践意义
对社区 UGC 短文本搜索，TM20K 的启发不是盲目把 query 行为扩到 20K，而是把长期行为拆成可解释的时间和信息层级。最近的 query、点击帖子、停留和改写应尽量保留原 token；更早的重复 query、同一主题的连续浏览和低信息量曝光可以做局部合并；长期兴趣可以以较粗的主题或作者表示进入排序模型。先统计不同年龄 token 对 nDCG、CTR、长点击和 query 解决率的边际贡献，再决定预算。
建议先训练一个完整序列 teacher，确认长历史是否在离线和线上都提供稳定增益，再训练 student。teacher 与 student 的数据切分、标签窗口、候选集和特征版本必须一致；否则 KD 可能只是在蒸馏数据漂移。student 线上仅保留主预测头，蒸馏头与 teacher logits 保留在训练流水线，便于节省服务内存与延迟。
LITM 可以先用于重复 query 和同一帖子短时间连续曝光，T=3 之类的阈值必须按平台时间单位重新估计。PATM 可以把最近一段行为设为压缩因子 1，把更早历史按主题、作者或 query 意图逐步压缩。LPTM 适合已经具备多层 Transformer 的排序模型，但要逐层测量序列长度、GPU kernel、通信和 P99，而不能只看理论 FLOPs。目标候选及其关键上下文必须始终单独保留，避免压缩把召回候选的判别信号吞掉。
工程上应把 CPU 合并、embedding 传输和 GPU 栈一起纳入压测。报告里的 student 吞吐 83K 接近 5K baseline 的 88K，而 teacher 只有 11K，说明数据搬运与部署图同样重要。线上监控至少包括 P50/P95/P99 延迟、吞吐、显存、CPU 预处理耗时、序列压缩率、空序列率、重复 token 比例和不同用户群的收益。若 nDCG 上升但尾延迟、负反馈或结果多样性恶化，应降低长历史预算。
最后，长序列模型应有分层回滚方案。可以先只在高活跃用户、重复搜索或有明显长期兴趣的 query 上启用较长历史；普通用户继续使用 5K 或更短模型。每次只改变一类 merge 规则或一个 token budget，保留 teacher、5K baseline 和 student 三套对照。这样才能判断收益来自更长历史、KD，还是仅仅来自新的特征与流量分布，并把 TM20K 的系统方法安全地迁移到个性化搜索场景。