今日场景框架与基建: LLM 推理/训练框架、新开源模型、ML 系统架构、serving、向量检索、量化部署。关注：可扩展性、成本与延迟优化。 — 评分 9 篇，入选 7 篇，分数 3.35 – 4.00
生成式检索(GR)成为可扩展的候选生成：每个 item 分配层级 token 序列(Semantic ID)，自回归解码下一个 item 的 SID。实际局限是 decoder 的 beam search 优化 token 序列似然、而非底层 item 相关性；当 beam search 误差累积致似然校准差时二者发散。Gryphon 提出统一架构，把 Semantic-ID 生成与 item 级打分统一，面向工业推荐。
为大规模推荐推导可预测 scaling law(性能与算力投入关系)对资源设计至关重要。这类规律在 LLM 已确立，但推荐系统(尤其同时处理用户历史与上下文特征)仍困难。Kunlun 把“差的 scaling 效率”识别为不能形成可预测幂律的主要障碍，通过统一架构设计建立大规模推荐的 scaling law。
INSIGHT推荐的 scaling law 一直比 LLM 难，本文把“scaling 效率差”作突破口并用统一架构改善，契合对 scaling law/生成式推荐的长期关注。对规划大规模推荐模型算力投入有方法论价值。
基于 Transformer 的 CTR 模型在残差连接处遇瓶颈：Pre-Norm 下早期用户兴趣信号被逐层稀释；identity skip 无法遗忘过时兴趣；每层只看到直接前驱，丢失长程跨层依赖。已有 AttnRes 在语言模型部分解决但丢了保护性 identity skip 且未在推荐验证。DeRes 解耦残差的稳定性与适应性，面向可扩展 CTR。
INSIGHT把残差连接作为深层 CTR 模型瓶颈专门设计，解耦稳定性(保留 identity skip)与适应性(遗忘过时兴趣)。对加深排序模型层数时的兴趣信号衰减有直接借鉴。
长期以来乘积量化等加性量化器被视作精度-效率金标准；近来标量量化以数据无关技术重新兴起。本文转向数据驱动方法：通过减少维度数、同时提高每维比特率取得召回与速度新高，关键在于这种降维要从数据中学习(学习型非对称标量哈希 ASH)。
INSIGHT反直觉地“降维+提每维比特”取得更好召回-速度权衡，挑战乘积量化金标准。对向量检索/量化的存储与召回平衡有借鉴，是检索基建选型新选项。
Aperon 向量记忆系统的核心索引 HNTL：邻近图(如 HNSW)有沉重指针开销与不规则内存访问、拖慢 CPU 流水线。HNTL 把高维空间划分为局部连贯 grain，用局部切空间低维坐标表示向量，以无指针 Block-SoA 布局顺序扫描。
INSIGHT针对 HNSW 指针税与内存访问不规则做的硬件友好重设计(无指针+SoA 顺序扫描)，对 CPU 上大规模向量检索基建有工程价值。是 ANN 索引在内存布局层面的优化样本。
短视频推荐要在超长观看历史里捕捉兴趣，但扩展序列长度受两瓶颈：原子 Video ID 语义稀疏、Transformer 二次复杂度。正交 Video ID 无法表达内容关系且需巨大 embedding 表；自注意力二次复杂度在延迟约束下限制最大序列长。本文用 semantic-native 长序列建模突破 item ID 范式。
INSIGHT“用语义原生表示替代原子 Item ID”+“突破自注意力二次复杂度”结合来扩展超长行为序列，是生成式/长序列推荐的 scaling 方向。对短视频/信息流长历史建模有借鉴。
NVIDIANVIDIA 开发者博文：用 JAX + MaxText 在 Blackwell 上以 NVFP4(4-bit 浮点)做预训练，在保持精度的同时显著加速训练吞吐、降低显存与算力成本。
INSIGHTFP4 训练从推理量化走向预训练，是训练基建的成本拐点信号。对自训练大模型/大规模 embedding 的团队，NVFP4 + Blackwell 的软硬协同值得跟进评估。