2026-05-14 周四 · Agentic

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 8 篇Personalization个性化推荐 · 10 篇AI SearchAI 搜索 · 10 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 8 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 53 篇,入选 10 篇,分数 3.00 – 4.10

本期目录 · 10 篇
  1. 01ReVision: Scaling Computer-Use Agents via Temporal Visual Redundancy Reduction
  2. 02The Bicameral Model: Bidirectional Hidden-State Coupling Between Parallel Language Models
  3. 03VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference
  4. 04Building a safe, effective sandbox to enable Codex on Windows
  5. 05Overview of the MedHopQA track at BioCreative IX: track description, participation and evaluation of systems for multi-hop medical question answering
  6. 06How NVIDIA engineers and researchers build with Codex
  7. 07Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion
  8. 08Question Difficulty Estimation for Large Language Models via Answer Plausibility Scoring
  9. 09How finance teams use Codex
  10. 10BatchBench: Toward a Workload-Aware Benchmark for Autoscaling Policies in Big Data Batch Processing
LEAD STORY · 今日必读 · UBC / Microsoft Research

ReVision: Scaling Computer-Use Agents via Temporal Visual Redundancy Reduction

论文针对计算机使用 Agent (CUA) 在长 trajectory 下视觉 token 爆炸的问题,提出 ReVision:训练一个 patch selector,在保持空间结构的前提下比较相邻屏幕截图的 patch 表示,剔除时序冗余 patch。基于 Qwen2.5-VL-7B 在 OSWorld、WebTailBench、AgentNetBench 上验证,平均 token 用量降低 46%,5 张历史截图的设置下成功率比无裁剪 baseline 提升约 3 个百分点。论文还观察到:当冗余被消除后,更多历史观察可以持续带来收益,说明此前视觉历史饱和并非信息有限,而是 token 表示低效。

相关 4新颖 5实用 4证据 4时效 5
4.10
综合分 / 5
KEY INSIGHT · 对业务意味着什么对搜索/推荐场景里的多模态 Agent 应用 (例如 GUI 自动化、视觉商品检索 Agent) 极具借鉴价值:视觉 trajectory 的核心瓶颈是时序冗余而非信息量本身。可借鉴的设计是把 patch 级别冗余剔除作为通用预处理模块,与多模态 LLM 解耦——这意味着可以在不改主模型的情况下显著扩大上下文容量。对线上 Agent 服务而言,46% 的 token 削减直接对应推理成本和延迟的同比例下降,是工业化部署的关键杠杆。
Amirhossein Abaskohi, Yuhang He, Peter West, Giuseppe Carenini, Pranit Chawla, Vibhav Vine... · 2026-05-13 · arXiv

今日其余入选

9 篇 · 按综合排名
02 3.85

The Bicameral Model: Bidirectional Hidden-State Coupling Between Parallel Language Models

Amazon

论文提出 Bicameral Model:两个冻结的 LLM 通过可训练的翻译网络和门控(约总参数 1%)以隐状态形式双向耦合,跳过文本 token 化以协同完成任务。实验中:耦合两个 0.5B 模型并接入计算器后,算术任务准确率从 36% 提升至 96%;耦合两个 0.6B 模型并接入 Z3 求解器,在 ZebraLogic 上达到 baseline 的 1.7×;辅助模型甚至能仅凭隐状态信号生成可执行的 Python 求解代码,而无需看到原始问题文本。

INSIGHT对多 Agent 协同范式提出根本性挑战:以文本 token 作为 Agent 间通信介质会丢失大量上下文信息,可训练的连续隐状态通道效率显著更高。对搜索/推荐工业系统的启示是 —— 当多个 LLM 子模块需要协作 (例如 query 改写 Agent + 排序 Agent,或 RAG 中的多个工具调用模块),未来可探索用 adapter 级别的隐状态耦合替代纯文本协议,潜在带来推理成本与质量双优。短期落地难点是需要联合训练,与目前主流的 frozen-LLM + Prompt 工程范式不兼容。

Cedric Flamant, Udaya Ghai, Kanna Shimizu
arXiv·2026-05-13·Relevance 3 · Novelty 5 · Practical 3 · Evidence 4 · Timely 5
03 3.70

VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference

论文解决 LLM-as-Judge 在生产环境中缺乏可信置信度信号的问题。VERDI 把验证式评测分解为 step-verdict 对齐、claim-level margin 和 evidence grounding 三个结构化信号,使用 Platt scaling 进行 logistic 回归融合,单次调用即可输出置信度。结果:在 GPT-4.1-mini 上 AUROC 达 0.72–0.91,GPT-5.4-mini 上 0.66–0.80;Qwen 3.5 (4B/9B/27B) 上 AUROC 从 baseline 的 0.32–0.49 提升至 0.56–0.70。生产八条 rubric 上 AUROC 0.73–0.88,跨模型迁移仍可达 0.66–0.69。

INSIGHT对搜索/推荐里大量使用 LLM-as-Judge 评估相关性、CTR 标签质量、Agent 输出正确性的团队是直接生产力增益:终于有了不依赖 token logprob 的低成本置信度信号 (商用 API 通常不暴露 logprob,且 logprob 在结构化输出下饱和)。可借鉴的工程设计是把 "reasoning trace" 视为机器可解析的结构化对象,而不仅是文本——分解出验证步骤、证据接地度等子信号后再融合,泛化性显著优于直接 prompt 模型自评。可作为 Agent 输出的在线质量监控信号,用于触发降级路由或人工复核。

Jasmine Qi, Danylo Dantsev, Muyang Sun
arXiv·2026-05-13·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
04 3.55

Building a safe, effective sandbox to enable Codex on Windows

OpenAI

OpenAI 介绍了在 Windows 平台为 Codex 编码 Agent 构建安全沙箱的工程实践:通过受控的文件访问、网络限制等机制,把 Agent 可执行的操作约束在受信任的执行环境中,使代码 Agent 既能高效完成编辑、测试、运行任务,又不会对宿主机或外部资源造成不可控影响。这是 Codex 跨平台扩展的关键基础设施工作。

INSIGHT对工业级 Agent 落地的工程团队具有直接借鉴价值:当 Agent 需要执行任意命令、修改文件、访问网络时,宿主机沙箱的设计是安全与能力的核心 trade-off。搜索/推荐场景里类似问题出现在 "代码 Agent 自动生成召回策略"、"分析 Agent 自动执行 SQL" 等流程,借鉴 OpenAI 的设计——通过 OS 级权限隔离 + 显式 capability 白名单 + 网络出口策略——可以避免自研轮子,把工程精力放在业务策略上。Windows 沙箱方案的开源/文档化也降低了非 Linux 工程团队拥抱 Agent 的门槛。

OpenAI
技术博客·2026-05-13·Relevance 3 · Novelty 3 · Practical 5 · Evidence 3 · Timely 5
05 3.40

Overview of the MedHopQA track at BioCreative IX: track description, participation and evaluation of systems for multi-hop medical question answering

NIH/NLM

BioCreative IX 的 MedHopQA 任务发布了 1000 条覆盖罕见病、基因和化学物的 2-hop 医学问答数据集,要求系统跨多个 Wikipedia 源整合信息回答复杂问题。共 13 个团队提交 48 个系统。最优系统 F1 达到 89.30% (MedCPT)、EM 87.30%,相比 zero-shot baseline (F1 67.40%, EM 60.20%) 高出 21.9 个 F1 点。组织方明确指出:RAG 及相关 retrieval-based 策略是取得强表现的关键。

INSIGHT对 Agentic RAG 与多步检索系统的落地是非常 grounded 的参考。21.9 个 F1 点的差距说明在多跳问答里 "是否引入检索" 仍然是决定性变量,强于模型本体的差异。对社区搜索/UGC 问答场景,关键启示是:当用户问题需要跨多帖整合证据时 (例如比较两家店铺、串联多个回答),无 retrieval 的 LLM 直接生成会塌缩到通用知识;应优先把多跳分解 + 显式证据回引作为 baseline 框架。该 benchmark 也提供了一套结合 surface F1 与概念级 MedCPT 的双重评估范式,可借鉴用于 UGC 长尾问答的离线评估。

Rezarta Islamaj, Joey Chan, Robert Leaman, et al.
arXiv·2026-05-13·Relevance 4 · Novelty 3 · Practical 4 · Evidence 4 · Timely 4
06 3.35

How NVIDIA engineers and researchers build with Codex

OpenAINVIDIA

OpenAI 与 NVIDIA 联合分享了 NVIDIA 工程与研究团队在生产环境中规模化使用 Codex (GPT-5.5 驱动) 的实践:从日常代码补全到把研究 idea 直接转化为可运行实验、再到运行系统的迭代部署。文章呈现了 Agent 在大型工业研发组织内嵌入式使用的多种真实工作流。

INSIGHT代表了一个重要的产业信号:编码 Agent 正在从 "个人 IDE 助手" 演进为 "研究系统级生产工具"。对搜索/推荐工程团队的启发是:1) 把 Agent 接入实验闭环 (生成召回策略 → 在线评估 → 写回结论) 可以显著缩短从 idea 到 A/B 的周期;2) NVIDIA 把 GPT-5.5 作为研发协作底座的实践,意味着内部技术栈是否对 Agent 友好 (API 化、文档化、CLI 化) 将成为未来研发效率的关键变量。可借鉴的是把内部检索/排序系统的 CLI/SDK 设计得 Agent 友好,使后续 "调参 Agent"、"AB 总结 Agent" 可以无缝接入。

OpenAI / NVIDIA
技术博客·2026-05-12·Relevance 3 · Novelty 2 · Practical 5 · Evidence 3 · Timely 5
07 3.30

Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion

论文针对 few-shot 信息抽取中 LLM 对 in-context 示例选择极度敏感的问题,提出 APIE (Active Prompting for Information Extraction)。核心是一个双重不确定性指标:(1) 格式不确定性,衡量 LLM 生成 schema 化结构的难度;(2) 内容不确定性,衡量语义抽取的不一致性。基于 "内省式困惑" 对未标注样本排序,挑选最具信息量的样本作为 few-shot 示例。在四个 IE benchmark 上一致优于强 baseline,抽取准确率与鲁棒性均显著提升。AAAI 2026 录用。

INSIGHT对 Agent 中 "自我反思 / 自我评估再学习" 这一类范式做出了实证:把模型生成困难度分解为 "格式难" 与 "语义难" 两个正交维度,比单一 token-prob 信号更鲁棒。对搜索/推荐的可借鉴设计:1) 在 query 理解 Agent 里把 schema 抽取 (槽位填充) 和语义判断分别度量,能更精细地诊断 Agent 失败模式;2) Active prompting 思路可以迁移到 "线上召回低置信样本反向收集成 few-shot 样例" 的闭环,自动补齐长尾。注意论文未公开具体数字提升幅度,需在自有数据上复测。

(AAAI 2026 accepted)
arXiv·2026-05-13·Relevance 4 · Novelty 3 · Practical 4 · Evidence 3 · Timely 4
08 3.20

Question Difficulty Estimation for Large Language Models via Answer Plausibility Scoring

Q-DAPS 把问题难度建模为模型对多个候选答案 plausibility 分布的熵:候选答案分布越尖锐说明问题对模型越容易,越平坦说明越难。论文在 TriviaQA、NQ、MuSiQue、QASC 四个 QA benchmark 上一致优于既有 baseline (基于可读性公式、检索信号或流行度),对模型规模、超参数与现实场景表现出强鲁棒性;人工评估亦确认与人类难度判断高度一致。ACL 2026 录用。

INSIGHT对搜索/推荐 Agent 系统的实践意义在于 routing:实时给问题打 "难度分" 可以用于动态选择是直接生成、走 RAG、还是路由到更大模型。对 Q-DAPS 的可借鉴设计是 —— 无需 ground-truth 答案,仅靠候选答案分布的熵就能近似难度,从而支持线上无监督部署。社区 UGC 搜索可类比 ——根据 query 触发的候选答案熵决定走 "直接召回" 还是 "Agentic 多跳召回",避免对所有 query 一刀切。MuSiQue (多跳 QA) 上的稳定表现说明对复杂查询同样适用。

Jamshid Mozafari, Bhawna Piryani, Adam Jatowt
arXiv·2026-05-13·Relevance 4 · Novelty 3 · Practical 4 · Evidence 3 · Timely 4
09 3.10

How finance teams use Codex

OpenAI

OpenAI 学院发布了金融团队使用 Codex Agent 的实操指南:从月度业务回顾 (MBR)、报表汇编 (reporting packs)、差异分析 (variance bridges)、模型核对 (model checks) 到情景规划,Codex 都可直接以业务工作产出为输入完成任务。展示了非工程领域用户用编码 Agent 解决结构化数据/分析问题的范式。

INSIGHT对搜索/推荐的内部分析效率有迁移价值:当前 BI 团队在做 A/B 实验分析、SQL 取数、漏斗诊断时,往往需要算法工程师配合。借鉴 Codex 金融实践,可以构造一个 "AB 分析 Agent",让产品/运营直接以业务问题为输入生成 SQL + 分析图表 + 摘要。关键工程经验是:把领域数据 (报表模板、指标定义) 以结构化形式喂给 Agent,比让 Agent 自己探索更稳健。短期落地成本低,是搜索/推荐团队提效的 quick win。

OpenAI
技术博客·2026-05-12·Relevance 3 · Novelty 2 · Practical 5 · Evidence 2 · Timely 5
10 3.00

BatchBench: Toward a Workload-Aware Benchmark for Autoscaling Policies in Big Data Batch Processing

BatchBench 是一个面向大数据批处理自动伸缩策略的标准化 benchmark 框架,覆盖六大 batch 工作负载类型,参数化生成器经 Kolmogorov-Smirnov 与 EMD 验证。评估五个维度:成本、SLA 达成率、伸缩响应性、伸缩抖动和决策可解释性。统一 agent 接口支持规则、学习型和 LLM-based 三类自动伸缩器。这是 position paper,无实验数字。

INSIGHT对搜索/推荐离线训练与索引构建的资源调度提出了一个标准化评估视角。值得借鉴的是 BatchBench 把 "基于 LLM 的 Agent 调度器" 列为与规则、学习型 baseline 并列的第三类,反映了产业判断:LLM Agent 正在向系统级调度决策渗透。对搜索召回 batch、推荐特征工程 batch 等周期任务的团队,可考虑用统一接口对接 LLM Agent 调度器,至少为 SLA 异常工况提供解释性兜底。Position paper 阶段尚无落地数据,需等待实证补充。

(arXiv 2605.12272)
arXiv·2026-05-13·Relevance 3 · Novelty 3 · Practical 3 · Evidence 3 · Timely 4

其他赛道今日

点击切换
Generative
8
生成式推荐 · 篇入选
Personalization
10
个性化推荐 · 篇入选
AI Search
10
AI 搜索 · 篇入选
Infra
8
系统与索引 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 7 个项目
GLiGuard: Fastino's LLM guardrailFastino's LLM guardrail★ 9 · 2026-05-08 · GitHubFairPrivacySignal: Synthetic benchmark for privacy-preserving and fairness-aware ranking under signal lossSynthetic benchmark for privacy-preserving and fairness-aware ranking under signal lossPython · ★ 7 · 2026-05-10 · GitHubinternlm/WildClawBenchHard, practical, end-to-end evaluation for AI agents — in the wild. 📌 Overview WildClawBench is an agent benchmark that tests what actually matters: can an AI agent do real work, end-to-end, without hand-holding? We drop agents into a live OpenClaw environment — the same open-sou; tags: task_categordataset · ★ 59 · 2026-03-24 · HuggingFaceQwen/WebWorldDataWebWorldData 🌐 Overview WebWorldData is a large-scale dataset of 1.06M web interaction trajectories collected from the open web, designed for training browser world models. It is the training data behind the WebWorld model series. Each trajectory consists of sequences of (state, ; tags: task_categordataset · ★ 19 · 2026-02-13 · HuggingFacezai-org/GLM-5.1pipeline: text-generation; tags: transformers, safetensors, glm_moe_dsa, text-generation, conversational, en, zh, arxiv:2602.15763model · ★ 1637 · 2026-04-03 · HuggingFacemoonshotai/Kimi-K2.6pipeline: image-text-to-text; tags: transformers, safetensors, kimi_k25, feature-extraction, compressed-tensors, image-text-to-text, conversational, custom_codemodel · ★ 1275 · 2026-04-14 · HuggingFacezai-org/terminal-bench-2-verifiedTerminal-Bench 2.0 Verified: Instruction & Environment Fix Version 中文版本 2026.05.08 Update: We are excited to announce our collaboration with the official Terminal-Bench team to release Terminal-Bench 2.1 — the verified version of Terminal-Bench, which fixes many of the issues ide; tags: license:apacdataset · ★ 73 · 2026-02-05 · HuggingFace