CRAFT 深度解读

1. 问题与动机

工业 CTR/CVR 模型同时依赖两类统计性质差异很大的输入：用户与物品的稀疏字段、稠密向量、上下文等非序列特征，以及多个业务域的行为序列。传统 DeepFM、xDeepFM、DIN 等要么分别建模再做晚期融合，要么把所有特征 token 放进同一交互层。InterFormer、OneTrans、HyFormer 虽然加强了两类信息的中间交互，但论文指出更深的统一模型仍会出现“运输瓶颈”：低频或不稳定字段反复混合后可能主导 query 更新，覆盖早期有用信息，稀释序列证据，并让 embedding 塌缩到低维子空间。因此，简单增加层数或宽度并不必然得到更丰富的用户意图表示。

作者把问题从“本层哪些特征发生交互”改写为“信息怎样在多层之间被携带、过滤和保留”。目标是在不引入 ODE 求解器、随机路径或 flow-matching 损失的前提下，让非序列上下文成为表示演化的控制器。研究对象是 TAAC2026 大规模广告推荐的 post-click 转化率预测，输入包含用户/物品稀疏字段、稠密特征、上下文和四组行为序列，评价指标为测试 AUC。

2. 方法详解

CRAFT 首先把异构输入映射到共享的 420 维 token 空间。稀疏字段由 RankMixer 风格 tokenizer 压缩成固定数量 token；普通稠密向量走 MLP，分段向量带 mask 池化，结构化向量按内部布局拆分；成对的 ID 与向量由 pair tokenizer 显式交互。每个行为域形成一条序列流，并把该域序列摘要与扁平化非序列 token 拼接，经小型 MLP 生成两个 intent token。模型在每层维护 intent、non-sequential、sequence 三组状态。

核心 transport 分两步。第一步用可靠性打分器 r 对 K 个非序列 token 做 softmax 加权，得到上下文字段 c。随后 c 经映射 h，分别为 intent 与 sequence 产生 gamma、beta、eta。更新式可直观写为：新状态等于旧状态，加上 gamma 乘 RMSNorm 后的上下文条件残差，加 beta 偏置，再加 eta 乘“初始状态减当前状态”的记忆回拉项。前两项负责位移，最后一项为到第 0 层表示的门控保留路径，因此深层更新不会无条件抹掉原始用户意图。

第二步是 bridge-based exchange：轻量序列编码器先更新各域行为；transport 后的 intent token 通过 cross-attention 从相应行为序列取证；解码后的 intent 与非序列 token 再进入 RankMixer，用子空间重排与归一化 SwiGLU 做通道混合。这个 bridge 每层重复，而不是只在输出端融合。经过 L 个块后拼接所有域的 intent，投影为最终排序表示，再经 MLP 与 sigmoid 输出概率。基础训练使用二元交叉熵；蒸馏版本把 BCE 与教师软标签 KD 加权，温度 1.0、蒸馏权重 0.65。

默认配置使用 2 个 CRAFT 块、hidden dimension 420、embedding 64、4 个 attention heads，每域 2 个 intent token。论文报告的是竞赛数据，训练优化器、batch size、硬件和步数未完整披露，这是复现时的重要缺口。推理参数与 GFLOPs 不含 embedding lookup：CRAFT+Distill 为 308.69M 参数、6.970 GFLOPs。

3. 核心技术贡献

第一，论文提出 feature transport 视角，解释了统一推荐模型扩大后为何可能退化：问题不只在交互能力不足，更在表示跨层传播时被覆盖和压缩。这个诊断与 embedding collapse、TokenFormer 的异构污染观察衔接起来。

第二，可靠性加权上下文与 gamma/beta/eta 残差把非序列字段从被动输入改成主动控制信号。特别是 eta 的初始状态回拉，为每层保留稳定记忆通路；相比纯 attention 或 MLP 混合，它显式约束深度方向的信息演化。

第三，intent token 作为非序列上下文和多域行为之间的紧凑桥梁。深度从 1 层增至 6 层时，query carrier 有效秩从 70.4 增至 158.2，说明新增容量主要扩展了意图运输空间，而不是无差别放大最后一层。

第四，CRAFT 与蒸馏互补。无蒸馏时从优化基线 AUC 0.837165 升到 0.837231；同样蒸馏设置下从 0.837983 升到 0.838090，同时参数和计算量低于蒸馏基线，表明收益不是单纯来自教师信号或堆参数。

4. 实验结果分析

绝对 AUC 增益很小，但在高基线工业广告排序中有实际意义。CRAFT+Distill 超过此前 0.83798 的榜首，同时比 Baseline+Distill 少约 26.18M 参数、少 2.919 GFLOPs。表示诊断也与主指标同向：蒸馏基线的 Intent-Rank 反而降到 57.68，而 CRAFT+Distill 提升到 84.33，说明运输机制缓解了中间表示压缩。

扩展实验中，1/2/4/6 层 AUC 分别为 0.837975、0.838090、0.838093、0.838148，对应 3.960、6.970、12.992、19.013 GFLOPs。2 到 4 层几乎无收益，6 层才再提升 0.000055，表明深度扩展虽未退化，却有明显边际递减。宽度从 420 增至 600 后 AUC 为 0.838106、计算升至 13.679 GFLOPs，单位计算收益也很有限。生产选择不应只追求最高 AUC，应结合成本曲线；2 层版本可能是更好的甜点位。

论文的消融与表示几何支持核心机制，但只有单一竞赛数据和 AUC，没有线上 A/B、校准、分群、长尾及延迟结果。所谓“可扩展”目前主要是不会随深宽增加而退化，并不等于成本线性或线上 ROI 最优。

5. 局限与未来方向

作者在伦理与隐私声明中明确指出，广告排序准确率提升可能放大历史偏差、过度个性化和用户/物品曝光不均，部署应配套隐私治理、公平性审计、分布漂移与滥用监控。附录还报告部分负结果和有限收益，主表也能看到 4 层相对 2 层几乎饱和。

其他限制包括：只在 TAAC2026 数据验证，缺少跨数据集泛化；竞赛数据匿名，字段语义和真实流量机制不可见；训练协议未完整给出优化器、batch、硬件与步数；没有线上 CTR/CVR、推理延迟、吞吐和内存报告；AUC 的万分位改善是否覆盖工程成本尚不清楚。未来应在多业务域复验，并研究可靠性权重在冷启动、缺失字段和分布漂移下是否稳定。

6. 工业实践意义

落地时最适合把 CRAFT 当作现有统一排序 backbone 的可替换 block，而不是重做整个特征系统。保留现有 tokenizer、序列编码和多任务头，先加入可靠性池化与记忆回拉残差，使用同一训练样本和蒸馏教师做严格对照。实验至少报告 AUC/logloss、分群指标、校准、P95/P99 延迟、吞吐、显存和参数量，并重点观察长历史、低频字段、缺失字段及新物品。

社区 UGC 的非序列上下文可包括用户画像、query 意图、帖子质量和场景，序列流可按点击、收藏、关注、长停留分域。intent token 作为各域桥梁，可以避免把所有行为粗暴拼成一条序列。可靠性打分器应限制自由度并记录字段权重漂移，防止某个高频但偏置字段长期支配 transport。

扩容建议优先选择 2 层 420 维版本；只有当线上收益覆盖约 2 倍以上 GFLOPs 时才考虑 4/6 层或 600 维。蒸馏能显著提升最终 AUC，但也可能压缩表示，因此应把有效秩或相似诊断纳入训练监控。最后，CRAFT 只优化预测准确性，实际推荐仍需把多样性、公平、探索和新鲜度放入重排与实验护栏，避免更强的行为拟合强化信息茧房。