INSIGHT“不同层承担不同计算角色，因此不该等宽”把参数预算从均摊转向按需分配，且 residual resizing 不引入额外参数。对基建的直接价值是 15% 的 KV-cache 显存/IO 下降——这对在线 serving 的吞吐与显存成本是实打实收益；中间层收窄也说明深层网络中段存在冗余容量，可作为压缩/蒸馏的切入点。

INSIGHT关键实践是先把模型配置拆成 M×K×N 的 GEMM 形状逐一 profile，再对比 autocast 与预量化两种测量，定位瓶颈是 kernel 还是量化开销；小 GEMM (如 attention output) 因量化开销难以盈利，应优先把 FP4 用在大 GEMM 上。对自训练 embedding/排序大模型的团队，这套“先量后训”的 GEMM 级基准能避免盲目上 FP4 反而变慢，并提醒用 NVTE_LOG_LEVEL=1 确认没有静默回退到 FP8。

INSIGHT这是把“行为序列 → 预训练基础模型 → 下游特征”范式搬到表格/交易数据的可复用配方 (cuDF/cuML 分词、NeMo AutoModel 预训练、FSDP2 分布式、HF 推理)。对搜推的启示：用户行为序列同样可自监督预训练出可迁移 embedding，且 embedding 与原始特征拼接优于单用其一；领域专用 tokenizer (把一次行为压成更少 token) 是让长行为序列进上下文的关键工程点。

INSIGHT两点对基建规划有参考价值：一是 8192 卡量级的真实超大规模训练已成云厂商常态，MoE (DeepSeek-V3 671B) 成为训练基准的一等公民；二是“硬件不变、纯软件三个月再榨 1.3× 吞吐”说明 kernel/调度/通信栈优化空间仍大，自建训练平台不应只盯硬件换代。对多数搜推团队，这更多是采购与容量规划的风向标而非可直接落地的方法。

INSIGHT核心是把自蒸馏的“特权信息”从 AR 的前缀改造成 dLLM 的后缀+步级对齐，解决范式不匹配，10% 步数收敛对训练成本意义显著。对搜推现实意义偏前沿：dLLM 尚未在搜推主流落地，但“用自生成答案做后缀条件、按生成过程自然粒度给监督”的思路，对任何非严格左到右的生成式检索/推荐训练都有借鉴；当前更适合跟踪而非立即投入。

INSIGHT单 tokenizer 共享上下文是实现“理解-生成”真正统一的关键设计，bitwise 量化让扩大视觉词表的成本可控。对社区类多模态 UGC (图文混排) 场景，统一表示空间意味着理解侧 (检索/相关性) 与生成侧 (图文生成/编辑) 可共用一套视觉离散表征，减少多模型拼接的对齐损耗；但作为大型统一自回归模型，落地成本高、且本次公开材料缺少可比指标，证据强度有限。