Weekly Top 10 · 第46周

2026-11-09 ~ 11-15 · 系统与索引

生成式推荐 · 个性化推荐 · AI 搜索 · 系统与索引 · 具身智能

  1. 1. RecoGEM: A Serving System for Production-Scale Generative Recommendation · 📖 深度解读

    生成式推荐让模型像大模型一样逐个生成物品的 SID,按理说 LLM 的推理服务栈可以直接拿来用,实际却跑不好,因为那套系统默认每一步形状相同、注意力开销压在长序列上。快手这篇 RecoGEM 讲清了差别:每条候选只看几个 SID,beam 展开后却有海量独立短序列,长序列 kernel 的固定开销摊不下去。每一步的词表和张量形状也不同,top-k 要选出大批幸存候选,成了关键路径上的重活…

    出现于日报:11-11

  2. 2. Firepool: Brokering Warm GPU Capacity for Agentic and RL Workloads at LinkedIn · 📖 深度解读

    agent 和 RL 训练会连续发出几千个只跑几秒的 GPU 任务,可是起一个 Pod 即使镜像已缓存也要等二三十秒,等待压过了干活。常见解法各缺一块:缓存镜像省不掉调度和初始化,常驻的 Ray 集群在两步之间白占 GPU,备好的空闲 Pod(热池)又常因环境对不上而用不上。LinkedIn 的 Firepool 让同一硬件规格的 Pod 共用一个基础镜像,代码和依赖等任务开始时才装进去,Pod 就能互换…

    出现于日报:11-11

  3. 3. Bursts That Outlast Themselves: Persistent Degradation in Prefix-Cached Agent Serving · 📖 深度解读

    给 agent 做推理服务,全靠前缀缓存撑着:命中时每轮只补算新增的内容,没命中就要把几万 token 的上下文整段重算。作者发现这会让服务掉进一个出不来的坏状态。同样的基础流量,只多来几分钟突发请求,vLLM 的缓存命中率就跌到 10% 左右,吞吐减半,突发过去后积压还在涨。原因是一个循环:服务一慢,同时在线的会话变多,它们的上下文加起来超过 KV 池,每个会话的前缀在下一轮之前就被别的会话挤掉,于是每轮都重算,服务更慢…

    出现于日报:11-12

  4. 4. ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding · 📖 深度解读

    并行草稿模型一次前向就能写出一整块草稿 token。现在的做法是先写满一整块,再挑最有希望的几个去验证。作者发现高负载下这很浪费:写草稿占到每步时间的 40%,而写出来的大部分根本没被验证就丢掉了。难点在于并行草稿模型必须在写之前就定好长度,没法像逐个生成的草稿模型那样写到没把握时停下。ForeSpark 在写草稿前,先用目标模型当前的上下文特征估计每个请求写不同长度时能被接受多少…

    出现于日报:11-12

  5. 5. One-Sided Expert-Parallel All-to-All for Mixture-of-Experts Inference over NVLink · 📖 深度解读

    MoE 推理时每一层都要做两次 all-to-all:先把 token 发到持有对应专家的 GPU,再把专家的输出收回来。推理时每张卡一次只处理很少的 token,这时耗时的不是搬数据,而是 GPU 之间互相等待、同步这类固定开销:数据量小到在 NVLink 上几乎瞬间传完,一来一回却要几十微秒。NVLinkOneSided 让每张卡只凭自己的路由结果,直接把 token 写进目标卡上专门留给它的那块缓冲区…

    出现于日报:11-12

  6. 6. Inside the Trap: A Renewal Law for Prefix-Cache Collapse in LLM Agent Serving · 📖 深度解读

    LLM agent 的多轮对话靠前缀缓存省掉重复计算,但这篇论文发现一个陷阱:突然涌进一大批会话后,引擎可能掉进每一轮都不命中缓存的状态,积压再也消化不掉,哪怕这个负载它以前扛得住。作者在两种推理引擎、两种 GPU、两个模型上做了配对测试,200 个会话的突发让 30 次运行全部卡死到结束,没有突发的对照运行则都正常。作者把卡死状态抽象成每轮都不命中的排队模型,算出积压怎样增长…

    出现于日报:11-10

  7. 7. Turbocharging PiPNN for Proximity and k-NN Graph Building

    向量检索常用的图索引(HNSW、Vamana 这类)查询快,但建起来很慢,大数据集要几小时甚至几天。PiPNN 的思路是先把向量分成小块,块内用矩阵乘法找近邻,再合成一张图,比逐点插入快得多。这篇论文继续压榨这条路线:把向量量化成低精度,减少内存搬运;再把矩阵乘法和取前 K 个近邻合成一次计算,不再把整张距离矩阵写回内存。结果是 CPU 版建索引比原版 PiPNN 最高快 8 倍,GPU 版比 CAGRA 最高快 50 倍…

    出现于日报:11-09

  8. 8. Dynamic Graph Indexing for Label-Filtered Approximate Nearest Neighbor Search · 📖 深度解读

    向量召回常常要带过滤条件,比如只在某几个标签或类目下找最近邻。难点在于 HNSW 这类图索引一按标签过滤,大量边被剪掉,符合条件的点彼此连不上,搜索就困在局部。DYLAN 把物品按标签集合排进一棵前缀树,只在部分树节点上建共享的图索引,每个物品只进对数级个索引。查询横跨多个区域时,它借上层祖先节点的图当桥,在区域之间跳。在标签很多的 YTB-Audio 数据集上,对要求包含全部指定标签的查询…

    出现于日报:11-13

  9. 9. e-means: outperforming k-means (in one-tenth the epochs)

    大规模 embedding 聚类仍然常用 Lloyd 的 k-means,但要跑很多轮,超参也不好定。这篇工作把它改成带指数滑动平均的小批量更新,并给出衰减率和批量大小随聚类数、数据量变化的公式,直接代入即可,从而不用再做超参搜索。在多种 embedding 数据上,它用大约两轮到三轮就达到标准 Lloyd 算法跑 25 轮的损失,GPU 墙钟比现有实现快 10 到 45 倍…

    出现于日报:11-10

  10. 10. How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale

    新一代 GPU 的性能越来越取决于几组线程怎么分工,比如一组搬数据、一组算矩阵。CUDA 能写这种分工,但要写大量和架构绑定的调度代码。Triton 写起来快,却把分工藏进了编译器,每出一代新硬件常要等编译器跟上。Meta 在 Triton 上加了一层 TLX,工程师继续写 Python,只在关键处显式写线程组的分工和同步。对做推荐的人,最实在的例子是打分时的用户特征:同一份特征通常要按候选数复制几十次,白白占用内存带宽和算力…

    出现于日报:11-11

‹ 上一周 · 下一周 ›