FERN: Cross-Benchmark Table Retrieval for Text-to-SQL with Frozen Retrievers and Learned Ranking
Text-to-SQL 面对几百张表的大目录,第一步是把问题要用到的表找出来,现在流行让大模型读 schema 来挑。
查找解读请用站内搜索。
Text-to-SQL 面对几百张表的大目录,第一步是把问题要用到的表找出来,现在流行让大模型读 schema 来挑。
检索要在 CPU 上算 embedding,或者语料要频繁重算时,Transformer 编码器的推理成本就成了瓶颈。StaRSE 是一个俄语静态句向量模型:每个 token 查表拿到一个固定向量,句子向量就是这些向量取平均,线上完全不跑 Transformer。
推荐模型加一个新特征或改一处结构,小规模实验说没用,全量训练后却可能有用。Meta 的作者在一个 LLM 推荐模型上就碰到过:给提示加上电影类型,小规模时 HR@10 变差,全量时明显变好。他们发现,不管改动是好是坏,模型的验证损失随训练规模的变化都服从同一种幂律,只是系数不同。
一个冻结的长序列用户模型,下游的搜索和推荐模型都想复用它的输出,但每个用户在一个时间点的完整多层隐状态平均有几百万字节,存不下也传不动。
银行和推荐系统里的序列模型上线后,要面对训练截止之后的新时期、没见过的新用户和刚出现的新物品,但常见的评测只是留出每个用户最后几次行为。INTENT 按这三样是否在训练里出现过切出七个测试格,在五个公开数据集上用同一条事先定好的规则选截止日期。
给 agent 做推理服务,全靠前缀缓存撑着:命中时每轮只补算新增的内容,没命中就要把几万 token 的上下文整段重算。作者发现这会让服务掉进一个出不来的坏状态。同样的基础流量,只多来几分钟突发请求,vLLM 的缓存命中率就跌到 10% 左右,吞吐减半,突发过去后积压还在涨。
并行草稿模型一次前向就能写出一整块草稿 token。现在的做法是先写满一整块,再挑最有希望的几个去验证。作者发现高负载下这很浪费:写草稿占到每步时间的 40%,而写出来的大部分根本没被验证就丢掉了。
MoE 推理时每一层都要做两次 all-to-all:先把 token 发到持有对应专家的 GPU,再把专家的输出收回来。
agent 按步路由模型,简单的步给小模型、难的给大模型,能省钱,但每次换模型都要多付一笔:KV cache 只属于一个模型,换过去的模型手里没有最近的上下文,得先把它补算出来才能吐出第一个 token。
用视频扩散模型做机器人的世界动作模型时,要把关节状态、动作、价值这些低维信号放进一个只见过自然视频的隐空间。常见做法是每种信号单独占一帧,序列变长,注意力计算的开销跟着涨。
VLA 每一步都要处理几百个视觉 token,推理很慢,可下一步动作往往只取决于画面里的一小块。这篇论文在冻结的 VLA 前面加了一个小打分器,从示范轨迹里学该留下哪些 token。
用相关和不相关两个标签做 pointwise 微调的 reranker 有个缺口:同一个 query 的负例全都标成不相关,模型学不出哪个负例更接近正例。
Jev 这类决策模型不生成文字,直接给每个相关性等级输出一个概率,厂商还承诺这些概率是校准过的,可此前的独立检查都没拿它和人工分级标注对过。作者用 TREC 人工标注去对,发现它打到 0.9 以上的文档里只有 66% 真的相关,一起测的模型也都偏乐观。
GraphRAG 上线后有两笔账论文很少算:建图花多少钱,删文档有多麻烦。合同到期或用户要求删除时,要把一篇文档和由它派生的内容都清掉,可混了多篇文档内容的实体摘要很难拆干净。
推荐平台上,不同阶段和业务的大模型各自把同一份用户长序列编码一遍,模型越多、序列越长,这笔重复开销越不划算。已有的共享做法传给下游的多是打分或压缩后的用户表示,细节已经丢了。
隐式反馈里混着误点和冲动购买,现有去噪方法几乎都靠训练损失找噪声,可损失要等模型被带偏才变大,还受训练阶段和负采样干扰。网易的 NDL 加了一个不看预测结果的信号:算这条交互的表示和该用户历史交互平均表示的余弦相似度,偏得越远越可疑,==这个信号不用等模型预测出错就能给出==。
Airbnb 想替房东挑封面图,难点有两个:超过 90% 的房源照片从没当过封面,没有点击数据可学,最吸引点击的图又可能拍的是附近景点,并不代表房源本身。作者先用几类间接线索筛出候选图,用 VLM 对照房源描述核对照片,再按预测 CTR 选图,首页 CTR 提高 1.5%。
搜索广告排序用长期行为时,常见做法是拿候选商品去历史里找相似行为,可这样会漏掉和当前 query 高度相关、却和候选关系不大的历史。
生成式推荐让模型像大模型一样逐个生成物品的 SID,按理说 LLM 的推理服务栈可以直接拿来用,实际却跑不好,因为那套系统默认每一步形状相同、注意力开销压在长序列上。
agent 和 RL 训练会连续发出几千个只跑几秒的 GPU 任务,可是起一个 Pod 即使镜像已缓存也要等二三十秒,等待压过了干活。常见解法各缺一块:缓存镜像省不掉调度和初始化,常驻的 Ray 集群在两步之间白占 GPU,备好的空闲 Pod(热池)又常因环境对不上而用不上。
同一个请求,只因为同批的其他请求变了,大模型输出的比特就可能不同,评测复现不了,RL 训练端重算 rollout 也对不上。引擎自带的确定性模式每个算子只留一个保守的 kernel,时延最慢到标准设置的 10.3 倍。
外卖搜索里,送不到用户当前位置的商家不是排得低,而是根本不能出现。常见的 SID 只由内容和协同信号生成,最多把位置当软信号,于是送不到的商家要等生成完才被过滤,白白占掉 beam,这一步也进不了端到端训练。
生成式推荐用 SID 给商品编号,主流做法是残差量化:每一层用一张全局编码表,把上一层没表达完的部分再查一次表,这等于默认每个 token 自带独立含义。
在智能眼镜这类设备上,用户常常只给一张图和一句模糊的话,风格、预算和店铺条件都没说出口。现有推荐要么靠历史行为,要么假设请求已经写清楚,直接算 query 和候选的相似度很容易排错。比如对着咖啡馆的一道菜,想找感觉类似但更实惠的午饭。
生成式检索常要带条件,比如只要某家店的商品,而 trie 只能保证生成的 SID 真实存在,管不了店铺、国家这些条件。常见做法是生成完再过滤,可 beam 早被别家店的候选占满,过滤后可能剩不下几个。
双臂机器人的示教里,两只手谁先动往往只是操作员的习惯,模仿学习却分不清哪些先后是任务要求、哪些只是碰巧,于是一只手被暂停时,另一只手也跟着等。作者查了四个公开双臂数据集,可以换顺序的任务里极少录到多种顺序,多采同样顺序的数据也解决不了。
推荐系统切到新的服务窗口时,目标反馈往往很少,不够重新训练已经上线的模型。这篇论文冻结原模型,只加一项残差:物品特征是源时段点击率和点赞率(两维),专家基是同一平面里的少量锚点;软路由按用户源时段行为画像给这些锚点加权,再与物品特征做内积后加到原分数上。
LLM agent 的多轮对话靠前缀缓存省掉重复计算,但这篇论文发现一个陷阱:突然涌进一大批会话后,引擎可能掉进每一轮都不命中缓存的状态,积压再也消化不掉,哪怕这个负载它以前扛得住。
在商品目录不断变化、规模达到数十亿的电商里,搜索和推荐都要在很严的延迟约束下找回相关商品。这篇来自 Shopify 的报告把两件事都写成生成 Semantic ID:用内容得到的短 token 序列表示一件商品,并在目录数据和行为数据上联合预训练,让搜索和推荐共享表示与训练目标。
生成式推荐若要在中间做潜在推理,通常得先让老师模型写出思维链,成本高,也不容易稳定。