LazFormer: Scaling Transformers for Industrial Recommendation via Transferable Generative Pre-training

来源：论文全文，重点核对第3节方法、第4节实验与表2—7。下文区分作者报告的结果与面向社区搜索的迁移建议。

1. 问题与动机

论文解决的是工业 CTR/CVR 排序如何利用行为预训练，以及如何从更深模型、更长序列和多轮训练中持续获益。排序阶段仍然预测候选物品的点击与转化概率，因此虽然标题含生成式预训练，本报告将其放在个性化赛道。作者认为，仅将稀疏 embedding 从预训练迁入排序，还没有充分使用 Transformer 已学到的稠密参数；但直接迁移也会出问题：预训练中的点击序列没有排序时才出现的加购、下单和时间间隔特征，突然加入这些输入会改变预训练主干期望的表示分布。

另一个问题是稀疏表与稠密网络的学习节奏不一致。论文表4中，只加载稀疏参数、持续更新一个 epoch 时 CTR AUC 为0.7699，同样策略训练三个 epoch 降到0.7387。多轮读日志并不必然带来有效数据扩展，巨大的 ID 参数表可能先发生过拟合。冻结稀疏参数又限制排序适配，单轮冻结配置仅得0.7675。论文由此提出同时处理特征迁移、稀疏过拟合与长序列成本，而不是只扩大网络。

2. 方法详解

预训练先将用户历史中每个物品的 ID、类别、店铺、品牌、行为时间衰减和停留等 embedding 拼接，经过属性投影，再加场景投影与 RMSNorm，形成统一 token。因果 Transformer 预测下一交互物品，采用批内负例和温度缩放余弦相似度，优化下一物品的负对数似然。主干包含预归一化、QK 归一化和门控设计，稀疏表及可复用投影与下游排序共享。

迁移时，额外的加购、下单及二者距最近点击的间隔组成特征向量 s。适配器先做降维投影、GELU，再升维，得到残差 a；排序 token 等于原有属性及场景投影加 a 后的 RMSNorm。升维矩阵初始化为零，所以训练开始时输入与预训练保持一致，新增特征通过优化逐步进入表示。它是加在输入特征上的残差适配器，不能简单理解为给所有注意力矩阵套标准 LoRA。论文也没有冻结全部主干，稀疏和稠密参数都继续适配。

长序列部分保留最近1024个行为，其余历史每8个求和压缩；原始2048个行为因此变成1152个历史 token。注意力使用因果滑动窗口加最近行为构成的全局 token，候选能够访问有效历史，但不同候选之间不能互相访问。这样的掩码既共享用户计算，又保持候选预测独立，避免候选集合引入不必要的信息串扰。实现通过 flex attention 将块稀疏模式编译为融合 CUDA 算子，随后逐层剪掉较旧历史，仅保留最近表征，最小长度128。

训练样本按请求组织为用户、一次历史、候选集合及对应标签，避免同一请求每个候选都序列化和搬运完整历史。稀疏注意力降低算术计算，按请求组织降低日志存储、CPU到GPU搬运及重复编码，二者解决的成本不同。最终候选表征进入 CTR/CVR 任务头，优化两个二元交叉熵的和。

多轮训练在每个 epoch 开始时将稀疏参数恢复为预训练快照，稠密参数则承接上一轮最终状态；每轮内部两类参数均可更新。复现时应保存独立的预训练稀疏快照，不能把“重置”写成随机初始化。优化器状态是否随参数恢复需要工程实现明确记录，正文没有给出足够细节，不能擅自宣称某一种处理是作者原方案。

训练数据来自真实电商平台：预训练覆盖1600万用户、110亿 token，使用一年交互；排序覆盖1100万用户、3.7亿曝光，用连续25天训练、随后一天测试。实现采用 PyTorch、H100 与 AdamW。预训练为5层、物品 ID embedding 维度64、温度0.07、16000个批内负例；公共对齐配置为3层、隐藏维256、4头、FFN1024、序列1024。默认 LazFormer 为5层、序列2048，默认单轮，多轮版本训练3轮。正文未明确给出完整批量大小、学习率、GPU数量和总训练步数，不能仅凭负例数反推 batch size。

3. 核心技术贡献

第一项贡献是可控地接入排序独有特征。零初始化残差让迁移初期保留已有表示，再逐渐吸收购买意图信息。表3中完整模型 CTR AUC 为0.7735，直接融合为0.7701，预投影融合为0.7699。完全删除新增特征的 CVR AUC 仅0.8809，低于完整方案0.8905，表明不能为了输入对齐牺牲真正有用的强意图信号。

第二项贡献是将稀疏记忆与稠密知识的跨轮更新分开。同样只迁移稀疏参数时，三轮连续更新得0.7387，逐轮恢复快照得0.7731；进一步迁移稠密参数得0.7761。这组对照比单纯展示大模型优于小模型更能解释收益来自哪里。

第三项贡献是把请求级系统组织和模型稀疏化配合使用。作者报告92.63%的注意力稀疏度及5.1倍注意力计算加速，代价是约0.10个百分点 AUC。节省的算力再投入深度、序列和训练轮数。该加速限定在注意力模块，不能直接当成整个线上服务5.1倍加速。

4. 实验结果分析

表中为论文表2原始结果，数值均为离线指标；各基线都加载相同的预训练稀疏参数，减少初始化不公平。

默认模型相对最佳基线的 CTR AUC 绝对提升0.0074，即0.74个百分点；不应写成实际点击率提升0.74%。小配置同样使用3层和1024序列，依然超越所有基线，支持收益并非仅由更大计算预算造成。但基线机制仍有差异，不能将全部增益归给单一适配器。

代价方面，默认模型稠密参数9M、训练计算25G FLOPs，三轮累计75G。表中参数量排除了约5B的 embedding，这一脚注直接影响部署判断：9M并不意味着完整系统只有九百万参数。STCA仅需3G FLOPs，说明极致成本目标下它仍有比较价值。长序列消融显示，整体压缩到1024个 token 也可能不如保留一部分近期精细行为的更短序列，关键是信息保留方式。

线上在首页推荐排序进行了两周 A/B 测试，相对3层 SORT 类生产基线，IPV增加5.21%，订单数增加3.38%，购买人数增加3.70%，GMV增加9.85%。同时，A10单机QPS下降12.1%。GMV收益与吞吐损失应一并呈现；论文没有直接提供社区搜索 nDCG，也没有可据此换算的搜索 CTR。

5. 局限与未来方向

作者明确说明，更深主干和更长序列增加线上计算，尽管用压缩控制成本，吞吐仍下降12.1%；稀疏注意力也牺牲少量离线精度。论文未提供单独的系统性 limitations 章节，不能把一般性担忧写成作者已经承认的结论。

从复现角度观察，实验依赖单一私有电商平台，预训练数据、购买信号与大型 embedding 表难以直接获得，现有证据不足以说明在短历史社区用户上收益相同。作者给出了多次运行平均结果，但线上流量分配、置信区间、完整服务延迟和训练成本没有形成可复用的完整预算。多轮快照恢复如何与持续新增 ID、热更新及优化器状态协调，也需要工程补充；这些是本报告的审阅判断。

6. 工业实践意义

社区 UGC 搜索最值得先试的是预训练表征与排序新增信号的稳定融合。可以用用户阅读序列做预训练，将收藏、评论、分享和停留作为排序侧特征，经零初始化残差接入；这些只是场景迁移建议，论文原始实验使用的是商品购买相关信号。对照至少包括只迁移稀疏表、直接特征融合、残差融合三组，再比较 nDCG 与分用户 CTR。

第二个可独立实施的改动是按请求共享历史编码。实施前先检查候选之间的注意力隔离、曝光标签对齐以及线上批处理结构；如果当前成本主要在文档侧编码或远程特征读取，论文的收益比例并不适用。以较小主干先量出传输量、GPU利用率、尾延迟和缓存收益，比直接扩到2048历史更容易判断投入产出。

最后，逐轮重置稀疏表适合做受控离线实验，不能未经验证就套到实时增量训练。应按活跃度、历史长度、新物品和新用户分桶，检查快照是否丢失近期兴趣；保留时间切分和独立线上实验，避免多次读同一日志造成虚假泛化改善。推广时把平台的内容相关性底线与点击目标一同评估，电商 GMV提升不是牺牲 UGC 搜索相关性的理由。