深度解读

深度解读 · 第 4 页

共 769 篇 · 按日期新到旧 · 每页 30 篇 · 第 4 / 26 页

查找解读请用站内搜索。

2026-11-04 21

AI 搜索

MCTS-KBQA: Monte Carlo Tree Search with Information Gain Rewards for Knowledge Base Question Answering

用 MCTS 帮大模型在知识库上一步步查答案时,中间步骤可以不训练奖励模型、也不模拟到底,就打出有用的分。办法是把截至这一步的查询记录交给一个开源指令模型,分别算带上原问题和不带原问题时这段记录的困惑度。带上问题后困惑度降得越多,说明查到的东西和问题越相关,这一步的奖励就越高。

个性化推荐

Numerical Embeddings for CTR Prediction: A Taxonomy, Unified Benchmark, and Open-Source FuxiCTR Extension

CTR 模型里把价格、次数这类数值特征变成向量的方法有十几种,放到同一个公平的比较里看,并没有一种能通吃。以前很难比清楚,因为各家论文的预处理和训练流程都不一样。这篇论文把 18 种做法放进同一套代码,给同样的调参预算,在多个数据集和主干模型上逐一比较。

个性化推荐

Improving Ads Ranking Models with Auxiliary Supervision: Techniques and Insights

广告 CVR 模型靠购买、安装这类转化事件做训练标签,但转化很稀少,Meta 这个模型的训练样本里约一半拿不到转化标签。论文借别的信号来补:点击前看广告的时长、加购事件、广告内容的语义等,都作为辅助任务和主任务一起训练,上线推理不增加开销。辅助信号往往很吵。

生成式推荐

Utility-Aware Generative Recommendation: Utility-Enriched Semantic Codes and Utility-Guided Decoding

快手这篇论文在生成式推荐里两处以前只看内容和概率的地方加入了视频价值:SID 最后一个 token 里留出 3 个比特,记下视频的价值档位:用 7 个边界把一项价值统计(如历史点击率)从低到高切成 8 档;束搜索每一步,一个小模块预测候选的观看、点赞等行为,各项预测归一化后加权求和成价值分,乘上系数加到生成概率的对数上,再按总分剪枝。

生成式推荐

Where Beam Search Loses Top-Ranked Items:First-Step Coverage in Generative Recommendation

生成式推荐用束搜索逐位生成 SID,想少漏好结果,通常的做法是把每一步的宽度一起调大。这篇论文在 TIGER 的六组完整测试设置里逐个排查:按模型自己的打分本该进前 10、却被剪掉的结果,全都是在第一步就丢掉的。所以更划算的做法是把宽度集中给第一步,后面几步收窄。

具身智能

ReGATE: Recurrent Gated Visual Fusion for Reactive Humanoid-Object Interaction

人形机器人去抱箱子,手一靠近,箱子就会挡住头上的深度相机,可控制器还得把抓起、搬走、放下这一整套做完。这篇论文让机器人主要靠关节状态那条通路行动,深度画面只当作一路由学出来的门控缩放的修正,设计上希望画面不可靠时少放进来;前几帧攒下的信息存在循环层的记忆里,画面断了也不会马上丢。

2026-11-03 9

AI 搜索

Better Retrievers, Worse Labels: How Incomplete Relevance Judgments Distort Abstention Evaluation in Conversational RAG

对话式 RAG 评测里,判断检索内容够不够回答常走一条捷径:检索结果里没有标注过的相关文档,就算答不了,模型这时拒答算对。作者在 RECOR 上换了四个检索器重跑,发现检索器越强,这条捷径越不准:没有标注文档、其实却含有答案的上下文,从 28% 升到 72%。

系统与索引

LEAP: Efficient LLM Inference Scheduling with Generalizable Length Prediction

让短请求先跑能明显降低平均延迟,前提是提前知道每个请求大概要生成多长,而现有的长度预测器换个领域排序就会变差,本身还要占 GPU。LEAP 发现,服务模型做 prefill 时算出的隐藏状态里已经带着输出长度的信号,在一层隐藏状态上接一个线性层就能读出来,不用另跑一个编码器。

系统与索引

HiState: Hierarchical Prefix Cache Management for Hybrid LLM Serving in Agentic Workloads

混合模型的[[循环层|混合模型里和注意力层搭配使用的一类层。它不为每个 token 存 KV,而是把读过的内容不断压进一个固定大小的状态。]]会把整段前缀压成一个固定大小的快照,没法截短回更早的位置。所以 KV 明明还在,只要匹配位置的快照没存过或已被淘汰,就要从更早的快照甚至从头重算一大段。HiState 抓住一个不对称:一次缓存命中要读所有匹配的 KV,却只读一个快照,而且快照大小和上下文长度无关。