AlibabaAn Event is Worth One Token: Event Tokenization for Industrial-scale LLM Recommendation
论文指出现有 LLM 推荐把一次交互压成文本、语义 ID 或少量类别特征，会持续丢失用户、物品、上下文与结果信号。AMBER 将完整时间快照压缩成一个可缓存的 Event Token，把“快照分辨率”变成新的扩展维度；工业排序和召回实验显示其改善计算—质量帕累托前沿，并可作为历史特征迁移到优化后的非 LLM 排序器。
INSIGHT值得借鉴的不是简单增加序列长度，而是提高每个行为事件携带的信息密度，并通过离线预计算隔离线上成本。社区推荐可把点击时的 query、内容语义、位置、停留与互动结果联合编码为事件 token，再让召回和排序共享，减少多套特征管线之间的信息损耗。
AMBER 深度解读
1. 问题与动机
工业 LLM 推荐通常用文本、Semantic ID 或少量类别字段代表一次行为，但真实曝光事件同时包含用户状态、物品属性、上下文、位置、权重和结果。作者把每个事件所保留的信息量称为 snapshot resolution，并指出信息损失会在自回归序列中复合：当前事件形成的弱查询不仅影响本次预测，还成为后续事件的上下文。直接在每次线上请求中重建几百个历史事件的全部特征又不可行，因为特征 materialization 和编码会反复发生。论文给出的排名负载分析表明，考虑全流量推理、全候选打分与低利用率后，服务计算相对保留训练样本可放大 30–100 倍；因此“训练 FLOPs 最优”可能与“训练加服务总成本最优”相反。开放词表还会周期性重训 tokenizer，导致旧事件表示漂移和缓存失效。AMBER 的目标是把高分辨率历史保留下来，同时把昂贵计算移出实时路径。
2. 方法详解
AMBER 由 Event Tokenizer 和下游 User LLM 组成。每次曝光发生后，异步服务通过现有训练数据管线收集完整异构快照；各字段先投影为 token，再送入双向 Transformer，加入可学习 [CLS]，其输出经映射成为固定维度 Event Token。实验初始化使用预训练 10 亿参数 LLM；tokenizer 可独立扩展深度 1/2/4、宽度 64/128/256/512，并把 snapshot resolution 扩到 100/200/400 个特征。Event Token 被缓存，排序时作为历史输入供端到端 User LLM 使用，也可作为现有非 LLM ranker 的即插即用历史特征；召回场景则可进入 ANN 搜索。
信息泄漏通过角色掩码控制。排序序列中每个事件使用 context token 和 label/outcome token：当前 context 只能看此前事件，label token 才能看到当前上下文，从而用 autoregressive BCE 预测反馈。模型优先采用每事件一个压缩 token，以有限上下文窗口容纳更长历史；实验显示无限上下文时两个 token 可改善 0.10% NE，但有限窗口反而恶化 0.16%，说明历史覆盖比单事件容量更重要。
训练分三阶段。预对齐阶段冻结 User LLM，只训练 Event Tokenizer，使新模态进入原有表示空间；联合阶段解冻 User LLM，端到端学习 token 表示与排序目标；循环训练阶段周期性更新以跟踪分布变化。为避免新旧 tokenizer 使同一事件编码不兼容，作者采用域对抗正则 DANN，让判别器难以区分新旧表示，并对 encoder 参数做 EMA，形成跨日稳定锚点；服务时还进行量化感知训练，以模拟 INT8 噪声并最终用 INT4 存储 token。循环训练按用户分片，只刷新部分用户并定期覆盖全量，以提高新鲜信号/训练成本比。
数据是 petabyte 级内部曝光日志，按时间切分；主实验使用全量，消融用 10% 子样本。论文没有公开 optimizer、batch size、硬件数量或总训练步数，这是复现缺口。完整流量部署的 tokenizer 有 384 万 dense 参数和约 200 GB 稀疏 embedding 表，每天为数十亿事件在线异步编码。作者以 normalized entropy（NE，越低越好）评价排序，并以 Soft Recall 评价召回；工业经验中 0.02% NE 降幅已被视为统计显著且可带来收入影响。
3. 核心技术贡献
第一，论文把“每事件输入信息量”明确为独立 scaling 轴。移除所有物品特征使 NE 恶化 6.65%，只保留 Semantic ID 与结果信号仍比完整 AMBER 差 2.40%，说明扩大下游 LLM 无法补回输入中不存在的信息。第二，异步压缩与缓存改变了系统成本结构：User LLM 每请求运行，而 tokenizer 每事件只运行一次，因此计入服务成本后，扩 tokenizer 和快照分辨率比继续扩 User LLM 更划算。第三，统一 tokenizer 在四 token 和两 token schema 下都比按实体拆分改善 0.02% NE，表明不同用户、物品和上下文实体间存在正迁移。第四，DANN 加 EMA 不仅约束向量接近，还提升跨 20 天 checkpoint 的可用性；DANN 的 cosine mean 为 0.956、kNN 区分准确率 0.856，并使 NE 再改善 0.02%，优于 MMD、CORAL 和 L2。
4. 实验结果分析
| 对比/消融 | NE 变化（越低越好） | 结论 |
|---|---|---|
| Tokenizer only vs. frozen LLM | +0.83% | 仅 tokenizer 明显较差 |
| 解冻 vs. 冻结 User LLM | -1.04% | 端到端联合训练贡献最大 |
| 预训练 vs. 随机初始化 | -0.20% | 大数据后仍保留稳定收益 |
| 预对齐 vs. 直接联合 | -0.10% | 分阶段训练更稳定 |
| 去掉全部 item features | +6.65% | 完整物品快照是主信号 |
| 去掉 user features | +0.30% | 用户状态提供序列外信息 |
| 去掉 outcome signals | +0.24% | 历史结果不可省略 |
| Concat+FFN vs. 4 层双向 Transformer | +0.22% | 特征内自注意力有价值 |
排名主结果显示 AMBER 在公平计算设置下优于 incumbent，并在 10 分钟和 1 分钟特征延迟条件下仍提供互补信号。Pointwise 对照在相同 User LLM、目标和自回归训练下只让当前查询使用高分辨率特征，较公平 incumbent 改善 0.1% NE，但仍落后 AMBER 0.3%，把收益归因到“高分辨率信息持续进入历史”而不只是自回归训练效率。HSTU 风格输入仅保留 item 类字段并把用户字段放在序列首部，NE 比 AMBER 高 1.0%，说明输入 schema 差距大于骨干名称差距。
编码器消融中，4 层双向 Transformer 最佳；缩到 2 层和 1 层分别恶化 0.09% 与 0.19%，PMA 和 Concat+FFN 分别差 0.20% 与 0.22%，12 层 DHEN 可持平但工程灵活性与 FlashAttention 支持较弱。延迟鲁棒性实验也有反直觉结果：训练时人为 mask 最近 1–5 分钟事件，即使评估采用相同偏移仍恶化 0.2% NE，说明模型本身能适应 materialization 延迟，额外模拟反而删除有用信号。最终在 Facebook 全流量表面把 Event Token 接入非 LLM incumbent，NE 改善 0.06%，超过内部 0.02% 显著阈值，证明跨架构迁移，而非仅在论文模型内自洽。
5. 局限与未来方向
作者明确指出，高分辨率依赖异步特征管线，尚未缓存的新事件仍有 1–5 分钟延迟；tokenizer 必须循环重训，漂移缓解只能降低而不能消除新旧表示不兼容。约 200 GB 稀疏表和每天数十亿事件编码意味着方案只在具备大规模特征平台、缓存和回填能力时现实。论文使用内部数据且未公开 optimizer、batch、硬件和绝对 NE，主要结果多用相对变化，外部复现困难；它也没有报告完整线上 A/B 收入、CTR 或延迟结果，0.06% NE 只是离线/大规模评估信号。作者提出未来可探索更灵活 token 维度而避免反复重训。额外风险包括 INT4 token 对小众行为的量化损失、缓存删除策略对长周期兴趣的伤害，以及高维快照可能放大隐私与敏感属性泄漏。
6. 工业实践意义
对社区个性化系统，最直接的启示是不要只把一次点击表示成 post ID。可把当时 query、帖子文本/多模态 embedding、位置、曝光来源、设备、用户短期状态、停留、点赞、评论和负反馈形成不可变事件快照，再离线压成 token。这样召回、粗排和精排可以共享同一历史语义，同时避免每个请求重复访问数百项特征。第一阶段不必部署 LLM：论文已证明 Event Token 加到成熟非 LLM ranker 也能带来 0.06% NE 改善，可先验证跨架构价值。
工程上应建立 token 版本、encoder checkpoint、事件时间和特征 schema 的强绑定，支持双写、回填和回滚；每天监控新旧 token 的 cosine、可分性、下游 NE 与长尾用户误差。成本评估必须包含异步编码、200 GB 级稀疏表、缓存、回填和隐私治理，而不能只算 User LLM FLOPs。有限上下文下应优先保留更长历史而非给每事件更多 token；特征选择可按 permutation importance 从 100 扩到 200/400，并用去除 item/user/outcome 组的消融判断真实贡献。若没有成熟的事件特征平台，先实现稳定、可版本化的快照日志会比直接训练 AMBER 更重要。
Kuaishou