CascadeRec: Deployed Adaptive LLM Compute Allocation for Multi-Tenant Content Recommendation
用大模型做推荐重排很诱人,但每个请求都跑昂贵模型既贵,对历史很短的用户还常常降低质量。这篇部署在大型财务规划软件里的工作先用轻量模型处理全部请求,再由路由器按用户历史长短等分段特征,只把更可能受益的请求升级到更贵的第二层,比如更大的模型或多路推理。
查找解读请用站内搜索。
用大模型做推荐重排很诱人,但每个请求都跑昂贵模型既贵,对历史很短的用户还常常降低质量。这篇部署在大型财务规划软件里的工作先用轻量模型处理全部请求,再由路由器按用户历史长短等分段特征,只把更可能受益的请求升级到更贵的第二层,比如更大的模型或多路推理。
机器人操作不一定非要靠大量演示数据训练专用策略。这篇论文让一个通用大模型当 agent,直接给机械臂下指令,边做边看情况调整,不用任何演示,也不做针对任务的训练,成功率反而远高于专门训练的 VLA 策略。
用文字搜图、用图搜文字这类跨模态检索,训练数据常缺一种模态(比如有的样本只有图),类别标签还带错。已有方法都把标签当语义基准,标签一错,补出来的内容也跟着错。SPIRN 给每个类别设一个固定、互相正交的语义参照向量,训练中不更新。
用大模型规划推荐流程时,如果希望它参考某类人群过去表现的记忆,就有一个难题:第二天有了新的成交反馈,建议要改,但人群定义、观察窗口和统计数字这些记录不能被模型顺手改掉。
生成式召回生成的是 Semantic ID(SID),但多件商品可能共享同一个 SID,最后取哪几件会直接影响线上收益。RedMall 是用在电商推荐和广告召回上的生成式模型,除了改模型结构和训练目标,比如把曝光了却没点的商品当负样本,还专门处理了这一步。
给通用机器人策略排名,最大的麻烦是真机实验很难复现:同一个任务换个场地、换个摆法,结果就不一样。RoboColosseum 在多地的真实机器人上,让五个机器人基础模型和三个通用的前沿大模型 agent 在四种机器人上两两盲测,两个模型面对相同的本地条件。
同一个问题交给不同 检索器,返回的段落对最终答案的帮助可能不同。RAGCompass(从各路取回结果中选一组的路由模型)先运行各路检索,再让一个经过训练的 reranker 比较这些结果,选择一组交给大模型作答。
推荐排序每天都算了大量最终没有展示的候选。这篇工作把其中的高分候选重新用于发现新类目:把这些候选按用户累计一个月,筛出近期没有展示过的类目,再接回召回。在淘宝信息流的在线实验里,按实际展示计数的发现类目数相对增加 3.47%,完整观看次数增加 2.62%;两项都达到统计显著。
生成式召回根据用户历史逐位预测商品 SID,但普通下一码训练只检查正确编号的概率。正确码概率相同时,剩余概率分给哪些错误候选,并不会改变这项交叉熵。BRIDGE(生成式召回模型)想在猜对编号之外,也利用商品之间的相似关系来训练模型。
RAGLog 只读 RAG 流水线每次运行留下的调用日志,不需要标准答案,也不用改代码,就能指出这次运行是哪个环节出了错。这件事有用,是因为中间出了错,最终答案却可能是对的。在五条开源流水线的自然运行里,37% 至少有一个环节出错,其中超过三分之一照样答对了,只看答案发现不了。
这篇论文做了一个边找边改问题的多跳图检索器 QueryFlow:图上每传播一层,它就把已找到的上下文压成一个摘要向量,并入问题状态,再用新的问题状态引导下一层怎么找。之前的图检索器,比如 GFM-RAG,整个传播过程一直用最初的问题当条件。
标注数据有限时,检索模型最好能训到多好,可以用一条规律提前算出来。作者把训练全程验证损失的最低点叫 MAEL,用它衡量一个模型大小和数据量组合的上限。
在网页文章里不动声色地加一句提到某个品牌,就可能让生成式搜索在回答里替这个品牌露脸。作者用一组 agent 分工做这件事:挑插入位置、改写那一句、检查改得是否自然,再从几个候选里选一个,并在一批网页文章和虚构品牌上测试。
做组合图像检索时,让多模态大模型先把改完后的图分成几块表示出来,再汇总成检索向量,效果会更好。这个任务是给一张参考图加一句修改要求,比如把衬衫换成红色长袖,找出改完后的那张图。常见做法只靠对比学习把参考图和修改要求压成一个 embedding。
Deep Research 系统会把问题拆成子问题、反复上网搜索、再汇总作答,问法稍一变化,前面的小偏差就可能一路传下去,最后答错。作者分析了三个系统的 1,932 条执行轨迹,归纳出九类反复出现的缺陷,分布在拆子问题、在线搜索和最终推理三个阶段。
做推荐评测的人值得读,因为它查出的问题不在模型,而在数据文件之间的对应关系。推荐 Hugging Face 模型和数据集的公开基准 HuggingBench 里,四份描述物品的知识图谱有三份把物品编号对错了,基于知识图谱的推荐模型一直把别的物品的信息当成这个物品的。
很多团队用推荐日志里各品类的平均观看完成度决定扶持哪类内容,可这张报表会被推荐策略带偏。作者用快手公开数据 KuaiRand,它会在部分推荐请求里,把列表中的一条视频随机换掉,这些曝光不经过策略挑选,可以当参照。
给用户挑推荐理由时,以往的方法常常连一个简单基线都赢不了,这个基线只看用户历史里哪些说法出现得最多。任务是从这件商品的所有评论里抽出、合并好一批简短说法,挑出最能打动这个用户的几条。
同一个训练任务往往能跑在好几种加速卡上,跑在哪种上最划算,取决于它在每种卡上的吞吐。任务放错了卡照样能跑完、不报错,多花的钱没人察觉。
做向量检索时,换一种 embedding 形态或量化方式,往往就得换一个库。现有的 ANN 库要么只支持一种组合,要么每种组合各写一份代码,没有一个 ANN 库在同一套接口下覆盖稠密、稀疏和多向量三种 embedding。
长上下文推理的瓶颈在 KV cache,把其中的 K 向量压到很低的位宽能省下大量显存,但误差难控。常见做法是量化前先把 K 向量旋转一下,默认旋转总有好处。
给混合了 Gated DeltaNet(GDN,带循环状态的线性注意力层)和 MoE 的模型做投机解码,每轮验证几个草稿 token 不能照搬稠密模型的设定。在一个 Qwen 混合模型上,一轮验证的 token 数从 4 加到 16,验证耗时涨了 71%。
做生成式检索上线的团队值得读:它给出了一种拆法,大模型的算力按搜索词复用,个性化留给在线小模型,并且有线上 A/B 验证。同一个搜索词每天被很多人搜,每次都从头生成完整的 Semantic ID 是在重复计算。
做生成式推荐服务的工程团队值得读:它指出约束解码的大部分计算花在注定被丢弃的候选上,并给出先过滤的系统实现。生成式推荐逐个 token 生成物品编码,每步都要保证编码对应目录里真有的物品。常见做法是先给所有可能的下一个 token 打分,再把无效的过滤掉,这些分数大多白算。
做重排和混排的团队值得读:它把这两个长期靠规则的环节变成一个能靠加算力变好的生成问题,并且已经全量上线。决定这一屏展示什么的重排和混排,一直靠手写规则和小模型:商品卡、短视频、直播、广告卡怎么穿插,权重靠人调。
用大模型做推荐时,常给用户写一段画像,物品却没有对等的描述;用户画像只塞进重排提示词,和别的内容抢长度。HARP(本文提出的方法)不训练参数。它让物品也有一份画像,同样分偏好、品质、场景、受众四栏,用规则从元数据和评论里填。
对话式推荐难在用户不会一开口就把要求说全。τ-Rec-Books 固定同一个找书请求,只改变用户什么时候说出要求:一开始全说,开头说一条、其余等问了再说,或者有些要求始终不说。不说的要求只能靠先提几本书、看用户接受还是拒绝来推断。
本地生活 App 首页要从几百万个可能的搜索词里生成几条给用户,几条之间不能重复,还要对得上用户此刻的位置。输入时,用户的精确坐标和当前小时被编码成向量加进去。
机器人模仿学习一般要先在机器人上遥操作采数据,AIRoA-0 一条机器人数据都没采。它只用人拿着手持夹爪录下的 16,151 小时双手演示训练,机器人只在测试时才出场。
微信搜索的 WeSearch 用一个模型替掉了原来并行的多路召回:先按 query 找出相关的文档簇,再在这些簇里逐篇给文档打相关分,把粗筛和精细判断分开。