MemX: Memory-Aware Automatic Parallelism for Cross-Vendor Heterogeneous GPU Training
在多家厂商 GPU 混在一起的集群上训练大模型,MemX 把各卡显存均不均衡也写进搜索目标,并且允许显存小的卡多做重算、显存大的卡不做,从而找到既不 OOM、各卡显存又均匀的并行配置。它给每个候选配置估迭代耗时、峰值显存和各卡显存方差,按权重合成一个分数,分数最小的胜出。
查找解读请用站内搜索。
在多家厂商 GPU 混在一起的集群上训练大模型,MemX 把各卡显存均不均衡也写进搜索目标,并且允许显存小的卡多做重算、显存大的卡不做,从而找到既不 OOM、各卡显存又均匀的并行配置。它给每个候选配置估迭代耗时、峰值显存和各卡显存方差,按权重合成一个分数,分数最小的胜出。
B300 是 B200 的升级款,显存更大,但它不是在所有任务上都更快。芝加哥大学研究计算中心在两个八卡集群上实测,卷积网络推理时 B300 最多慢 5.6 倍。
用人手示范教机器人灵巧手,难点在于人手和机器手形状不同:转换时如果只追求手形相似,机器手指尖碰到物体的位置往往和人当初碰的不一样,抓取和拨动就会失败。
上下文 embedding 的训练和评测都默认一个问题在文档里只有一个相关段,这篇论文指出这个假设在 RAG 里不成立。回答一个问题往往还需要交代说的是哪个产品、哪一年的段落,可现有训练把同一文档里答案段以外的段一律当负例,这些佐证段反而被压低。
多跳检索里的链式 embedding 检索器,训练和上线时看到的历史不一致,这篇论文给出一个不加大模型调用的修法。这类检索器每一步把问题和已找到的段落拼在一起再找下一段,训练时历史全是正确段落,上线后却常混进它自己找错的段落。
多跳问答里原本压在 LLM 一个身上的活,可以拆开交给不同部件:这篇论文的 DeFT-RAG 让 LLM 每次只写一个把实体名写全的子问题,每个子问题和答案由程序按规则记进一张问答表,LLM 最后读这张表回答原问题。
长答案 RAG 里,检索覆盖得更全,答案不一定更全。这篇论文做了一条显式计算覆盖的检索链路,并用它量出了这一点。作者先让 LLM 把问题拆成一组子问题,再用一个 cross-encoder 预测每篇候选文档能回答哪些子问题,然后每次挑一篇能补上最多新子问题的文档。
同一篇网页里哪几段在讲相关的事,本身就能拿来训练检索模型。
RAG 系统通常要同时部署一个 reranker 和一个生成模型,候选段落被两个模型各读一遍。Glance 的思路是:生成模型反正要读这些段落,不如让它自己来排序。
同一个做菜视频,对随手看看的用户是消遣,对美食博主是找灵感的素材,可推荐模型在两人的历史序列里给它的是同一个初始 embedding。PRISM 让历史里的每条行为都换成一个新向量,表达这个用户当时和这个物品的关系。
Meta 这篇论文给长序列排序换了一种结构,让多读历史和多堆层数成了两个可以分开调的旋钮:在 1 万条历史上,NE 比 HSTU 好 0.19%,前向计算量少了 69.6%。
广告系统上线新排序模型前,要先用日志离线挑出最好的候选,但投放经过拍卖、过滤、缓存,曝光被选中的概率没有记录,IPS 用不了。常见替代是用预测点击的奖励模型给新策略打分,可新策略会把曝光推向日志里少见的广告,那里奖励模型最不准。
vLLM 文档里那张按批大小决定投机解码每步猜几个 token 的配置表,换一种 GPU 或模型就可能明显拖慢吞吐;这篇论文给出一个几分钟就能把最优表实测出来、上线后还能随流量自动修正的工具。
作者分析了八份大模型线上请求记录,发现通行的把内存当成 SSD 前面一层 KV cache 缓存的做法,在这些负载下几乎挡不住读请求。复用的块要么隔很久才再用,要么属于一个就有好几 GB 的 agent 会话,内存装不下,SSD 必然在读路径上。
大模型服务里,prefill 和 decode 放在一起跑能互补资源,前者吃算力,后者吃显存带宽,但两者想要的并行方式不一样。长 prompt 的 prefill 要铺到更多卡上才能按时出首 token,decode 几张卡就够。ConfluxServe 按算子分开处理。
开源模型做 agent,能力和推理成本常常只能顾一头。
可灵团队的 TIDE 把 FSDP2 每一步都要做的布局转换直接做进了通信里。原版 FSDP2 的参数和梯度按每个参数单独存放,NCCL 却只收发按 GPU 顺序排好的一整块缓冲区,所以每一步都要来回拷贝。
把 MoE 模型的专家权重和 KV cache 放进同一池显存,按负载随时调整两边各占多少,显存有限的机器就能接住更多并发请求。Rimuru 就是这样的推理系统:请求多时把用得少的专家移出显存,给 KV cache 腾出页,请求少时再把专家搬回来。
快手在已上线的生成式广告召回系统 GR4AD 上改了三处,合成 GR4AD-X,线上累计让广告收入比 GR4AD 高 3.07%。三处改动针对同一个错位:模型按生成概率挑广告,平台要的却是收入。按生成概率排出的前十名和 eCPM 最高的前十名几乎不重合,命中率只有约 0.02。
阿里的作者发现,生成式推荐做 beam 解码时,越往后注意力越集中在少数几条历史行为上,而且哪些行为重要,前后几步基本不变。据此提出的 PFA 把挑选重要历史这件事,从每步、每条 beam 各挑一次,改成整个解码只挑一次。
淘宝的生成式排序框架 UGR 让一个生成模型直接排出用户最后看到的那一屏:一次请求里约一千个自然内容、广告和其他业务的候选一起交给它,逐个生成最终列表,不再由各业务先各自排好、再交给混排拼接。
生成式推荐逐个码地生成物品的 SID,前两层码一旦选错大分支,后面再准也找不回相关物品;而多模态推荐里的 SID 多按图文语义构建,前几个码未必反映哪些物品常被同一批用户购买。这篇论文的 RoFiGR 因此把协同信息集中用在前两层码上。
主要用手持夹爪采的示范,采集地点和灯光都与测试现场不同,只混入少量真机遥操作,微调后的 π0.5 就在双臂把橘子放进碗的任务上 10 次全部成功。
RAG 里多加一路检索,到底值不值?这篇论文先用向量检索加重排拿到一批证据,再用一个小线性模型读这一轮检索留下的分数,比如第一名的相似度多高、和第二名差多少,预测换成 BM25 加向量的混合检索能不能多找回证据,只有预测收益够大时才切换。
做排序的团队值得读,因为它指出了多分支模型一个常被忽略的浪费:各分支擅长的样本不同,训练时却从不互相学。淘宝拍立淘(拍照搜商品)团队让三个分支在训练中互相纠错:同一条样本上,一个分支判对了用户点不点、另一个判错了,就用判对那个的预测去带判错的那个。
做大模型推理的团队值得读这篇,它处理的是量化里更基础的麻烦:难的往往不是把权重压到低比特,而是每多一种格式、每换一代 GPU,就要多写并维护一套 kernel。
让人形机器人跟着大量人体动作数据学全身控制,现在的主流做法很费算力:最强的动作跟踪器 SONIC(此前公开的、用 PPO 在集群上训练的方案)要在 128 张 GPU 上训练约 7 天。SuperMimic 的出发点是,动作虽然千差万别,机器人身体的物理规律是同一套。
想让一个 embedding 模型同时搜文字、图片、视频和音频,常见做法是先把音频转成文字、给图片配说明,再交给文本模型,既多花算力,又丢掉了语气和画面细节。
带指令的检索要求同一个 query 在不同指令下排出不同结果:指令加了一条额外要求后,原来的正例如果不满足这条要求,就该往后排。这种训练数据很少,现有做法是固定正例,再让大模型编一段违反指令的负例。
RAG 系统一般只接一个固定的检索器,但不同问题适合的检索器不同,有些问题干脆不检索、只靠模型自己答更好。这篇论文把选检索器当成排序问题:对每个训练问题,记下每个检索器让答案质量比不检索提高了多少,再训练一个排序模型给检索器排名,不检索也是候选之一。