1. 问题与动机

推荐、支付、风控、电商等系统越来越多地把"用户行为序列"喂给基础模型，但与语言模型不同，这类行为基础模型缺少 Chinchilla 式的算力标定指南。工业界普遍采用"两段式"架构——一个把多模态 item（文本、类目、价格、图像）映射成向量的特征化 event embedder，再接一个 decoder-only Transformer 在 embedding 序列上预测下一个事件——但没人系统回答过：给定算力预算，参数该怎么在两段之间分、batch 该多大、模型与数据怎么配比、冻结 embedder 后该采多少负样本。作者直言现状是"field has little Chinchilla-style guidance for them"。于是用约 600 组训练、408 次验证评估，在真实零售交互数据（商品搜索、浏览、点击、购买）上把这套两段式架构的 scaling law 系统地跑了一遍，目标是给出可直接照搬的部署配方，而不仅是理论曲线。

2. 方法详解

架构上，event embedder 把原始 item 特征编码到隐维 h；contextualizer 是 decoder-only Transformer，吃 Lseq=256 个 event embedding，用 sampled softmax 预测下一个事件。总参数 N 拆成 embedder 参数 p_e 与 contextualizer 参数 p，定义 embedder 占比 s = p_e/N。单步算力按 Kaplan 式 F_step = 6·B·Lseq·(t·p_e + p + 3·B·Lseq·h)，其中 t=24 是 embedder 的上下文事件数。训练分两阶段：阶段一联合训练，用 in-batch sampled softmax，候选池 ≤ B·Lseq 个 batch 内唯一 item；阶段二冻结并缓存 embedder，只继续训 contextualizer，对每个位置额外采 K 个均匀负样本打分（K 从 16k 一路扫到 2M）。评测也分两套：阶段一只在 batch 内约 5–10k 唯一 item 上算，阶段二在全量约 13.6M item 目录上算——这个区分很关键，因为两套评测会给出方向相反的结论。作者对四个部署相关维度做网格扫描：架构（s 从 0 到 50%，4 个预算）、batch（B∈{64,128,256,512,1024,2048}）、模型/数据配比（45 个 contextualizer 配置×5 预算）、冻结后负采样数（K∈{0,16k,…,2M}×5 预算）。embedder 占比的损失用两项幂律 Loss(s)=a·s^α+b·s^(−β)+E 拟合求闭式最优；负样本数同样用 starvation/bias 两项式 y(K)=a·K^α+b·K^(−β)+E 拟合。

3. 核心技术贡献

（1）给出行为基础模型第一份"可复现配方"（Table 7），决策顺序明确：先定上线指标 → s≈2% → B≈2048（过 val_loss 的 B_crit、吞吐最优）→ lr≈2e-3·√(B/512)+cosine+5% warmup → D/N 按 Table 4 抛物线最优取 → 冻结后 K∈[2.5e5,9e5]、10^18 时上限近 10^6。（2）发现 embedder 算力最优占比极小：s≈2%（跨预算落在 1.1%–3.7%），机理是 embedder 参数每个 item 被触碰约 t 倍多、且热门 item 暴露成百上千次，"更贵且重复"。（3）揭示"评测指标本身是 scaling law 的一部分"——critical batch size、最优 K、loss 与排序一致性都随所选指标变化，这是相对文本 LM 的本质新发现。（4）给出行为模型 D/N 幂律：N=3.35e-4·C^0.617、D*=4.97e2·C^0.383，低算力下数据密集、随算力增大向 Chinchilla 靠拢。

4. 实验结果分析

算力范围 C∈[10^15,10^19] FLOPs，数据约 10^8 唯一行为、10^9 event token、强重尾分布。关键数字：embedder 占比 s≈2%（Table 2 区间 1.1%–3.7%），跨 4 个预算稳定。模型/数据配比 D/N 从 344→265→222→110→36（10^15→10^19，Table 4），对比文本 LM Chinchilla 的 D/N≈20，行为模型低算力时高近一个数量级，到 10^19 才接近；各指标拟合指数 a_N∈[0.574,0.617] 在误差带内一致（Table 5），说明配比规律对 val_loss、recall@10、NDCG@10、coverage@10 都稳。critical batch size（Table 3）：val_loss/recall@10 约 570–574，但位置加权的 NDCG@10/MRR@10 早饱和在 200–275，val_entropy 在 [64,2048] 内未现平台。冻结后负样本 K∈[125k,870k]（Table 6）；bias 指数 β 在 loss 上约 1.2、在排序指标上仅 0.39–0.56；在 10^19 时"每个头条指标在最大 K 仍在涨"，此时瓶颈从算力变成显存。最关键的 loss 与排序背离（Fig 7/Table 17）：阶段一 Spearman ρ≈−0.98（loss 降则 recall 升，锁死），但阶段二 K 扫描里 ρ 从 10^15 的 +0.93 翻转到 10^18 的 −1.00。机理是阶段一每个候选自身就是目标、q∝p，损失最小点在目录上均匀，绝对热度不可辨识，只学到 batch 内相对序——这意味着用 in-batch loss 选大模型会被系统性误导。

5. 局限与未来方向

作者明确列出：（1）阶段一架构/配比扫描只在 batch 内约 5–10k item 上评，跨预算 loss 不可直接比，只有同预算内排序有效；（2）没做固定深度下宽度×文本编码器占比的联合扫，完整 5D 网格（share×width×depth×embedder-depth×lr）是下一步；（3）s≈2% 基于无 embedder 正则，加 embedder 专属正则可能上移 s；（4）训练上下文固定 Lseq=256，未扫（附录 H 显示打分鲁棒性随上下文长度变化）；（5）算力只到 10^19，更大预算待探。此外不开源数据/代码，复现门槛高，外部团队只能照搬配方而难复算。

6. 工业实践意义

对做用户行为大模型的搜推团队，最直接三条：一是不要照搬文本 LM 的参数分配——embedder 做小（约 2%）、把更多参数留给 contextualizer，同等算力下更优；二是先定上线指标再选型——NDCG 这类位置加权指标的 critical batch size（约 200–275）和最优负样本数与 val_loss（约 570）不同，用训练 loss 选出来的模型上线未必最好，本文 ρ 在大算力下甚至完全反向；三是行为数据要"给足"——低算力阶段最优是数据密集型（D/N 远高于文本的 20）。部署层面，冻结 embedder 后增大负样本 K 仍持续涨点直到显存打满，意味着大目录场景应把负采样规模当成显存预算而非算力预算来规划，缓存冻结 embedding 也能省阶段二算力。社区搜索把 query/曝光/点击/停留当 event 序列建模时，这套配方可直接迁移用于标定用户塔大小、batch、负采样与训练超参，避免昂贵的盲目网格搜索。