2026-08-06 周四 · Agentic

独立报告页 · 在站内浏览(含往期切换)→
Generative生成式推荐 · 10 篇Personalization个性化推荐 · 10 篇AI SearchAI 搜索 · 9 篇Agentic智能体搜索 · 10 篇Infra系统与索引 · 10 篇

今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注:语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 65 篇,入选 10 篇,分数 3.80 – 4.55

本期目录 · 10 篇
  1. 01TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning
  2. 02AgenticRAGTracer: A Hop-Aware Benchmark for Diagnosing Multi-Step Retrieval Reasoning in Agentic RAG
  3. 03ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?
  4. 04FLARE: Few-shot Learning-based Adaptive Reflective Engine
  5. 05Know When to Stop: Segment-Level Credit Assignment for Reducing Overthinking
  6. 06ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning
  7. 07SkillJack: Persistent Skill Backdoors in Self-Evolving Agents
  8. 08PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents
  9. 09腾讯云智能体开发平台 Agentic RAG
  10. 10JudgeArena: A Unified Framework for Reproducible LLM-Judge Evaluation
LEAD STORY · 今日必读

TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning

长链工具调用中的奖励通常只在轨迹末端给出,难以判断哪一轮检索或工具动作真正有效。TurnSight 以执行轨迹为条件构造多种 hindsight 视角,用跨视角方向一致性筛选可靠监督,再按 turn 粒度蒸馏并调节 RL 优势。论文在 3 个基准上验证方法有效,并公开代码。

相关 5新颖 4实用 4证据 4时效 5
4.55
综合分 / 5
偏好调整 4.55
KEY INSIGHT · 对业务意味着什么对社区 UGC 搜索 Agent,可把每轮 query 改写、召回和证据核验视作独立决策单元,避免把整条失败轨迹一票否决。执行条件 hindsight 能直接利用真实访问状态,适合从搜索日志构造训练信号;上线时应同时监控每轮收益、工具调用次数和 nDCG/CTR。
Changle Qu, Sunhao Dai, Hengyi Cai, Yuqi Zhou, Xinran Chen, Simon, Jun Xu · 2026-08-03 · HuggingFace

今日其余入选

9 篇 · 按综合排名
02 4.50

AgenticRAGTracer: A Hop-Aware Benchmark for Diagnosing Multi-Step Retrieval Reasoning in Agentic RAG

AgenticRAGTracer 用大模型自动构造 1,305 条多跳样本,并为最终问题补充逐跳中间问题,从而定位规划、检索和执行分别在哪一跳失败。实验显示最难子集上 GPT-5 的精确匹配率只有 22.6%,主要错误是过早收缩推理链或无止境扩展;代码与数据已公开。

INSIGHTUGC 搜索中的复杂问题不应只看最终答案或点击结果,应该记录 query 分解、每跳证据覆盖和停止时机。可借鉴 hop-aware 评测,把“找到了相关帖子但没有完成跨帖组合”单独归因,再针对 planner、retriever 和 verifier 分别优化。

Qijie You, Wenkai Yu, Hao Liang, Zhen Hao Wong, Wentao Zhang
网页来源·2026-07-01·Relevance 5 · Novelty 4 · Practical 4 · Evidence 5 · Timely 4
03 4.40

ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?

ContinualSkillBench 评估 Agent 能否把历史经验转成可复用技能,覆盖 5 个领域、每个领域 100 个按难度递增且相互关联的子任务。顺序执行通常会提升后续表现,但收益随模型和领域显著变化;平均而言,上下文学习不逊于显式技能维护,只有需要稳定流程或精确输出的任务更受益于技能库。

INSIGHT社区搜索 Agent 的“记忆变强”不能只看后续 CTR 上升,还要验证收益是否真正经过保存、检索和更新路径。部署技能库时应区分临时上下文与可复用程序,按任务类型设置准入和回滚门槛,避免把偶然成功的 query 策略固化成长期规则。

Tianyi Guan, Yiding Wang, Haotong Yang, Siyuan Cao, Shirui Liu, Yi Hu, Jiaqi Li, Muhan Zhang
HuggingFace·2026-08-03·Relevance 4 · Novelty 4 · Practical 4 · Evidence 5 · Timely 5
04 4.30

FLARE: Few-shot Learning-based Adaptive Reflective Engine

FLARE 面向复合 Agent 的提示与策略优化,将少量示例、反思和自适应选择结合起来,覆盖 HotPotQA、MedQA、2WikiMultiHopQA、工具调用和 GoEmotions 等任务。作者使用 GPT-5 系列模型与 GEPA 对比,在每个任务-模型组合上获胜,最高提升 14.2 个百分点。

INSIGHT在短文本社区搜索里,反思模块不应固定触发或固定改写 query;可以让少量高质量失败样例驱动“是否重写、重写几次、切换哪种检索器”的策略选择。先用离线多跳 QA 和工具调用集做 prompt/策略回归,再以线上延迟和无结果率约束反思预算。

Dhanasekar Sundararaman, Bharat Gandhi, Aashna Garg, Minjie Li
arXiv·2026-08-05·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
05 4.30

Know When to Stop: Segment-Level Credit Assignment for Reducing Overthinking

DASH 发现,错误推理轨迹的无效反思并不只是因为更长,而是因为中途已经得到正确答案后又发生答案漂移。方法用中间答案承诺作为廉价监督,把轨迹切成段并分别分配正负优势;在 AIME25 上达到 50.8% 准确率,高于 GRPO 的 45.4%,同时减少过度思考。

INSIGHT搜索 Agent 的多轮检索也存在“已经有足够证据却继续搜索”的答案漂移。可把中间结论、证据覆盖和最终点击/答案一致性做成段级信用,奖励有效的查询-证据段,递增惩罚无收益的追加搜索,从而控制 token 成本而不粗暴截断推理。

Chia-Hsuan Lee, Sihui Dai, Mingyang Zhou, Isha Slavin, Shi-Xiong Zhang, Sambit Sahu, William Campbel...
HuggingFace·2026-08-03·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
06 4.25

ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning

ReflectRL 不再丢弃强模型生成的失败轨迹,而是先让模型反思这些 Golden Negative Trajectories,再把反思得到的行为迁移回直接推理策略。框架是轻量级插件式设计,在 9 个基准、4 个模型骨干和 4 种 on-policy 训练方法上都带来稳定提升,并保持较低额外开销。

INSIGHT社区搜索日志中的失败轨迹包含 query 误解、证据遗漏和过早停止等高价值信号,不应只作为负样本删除。可以先用离线反思标注失败原因,再把可迁移的修复动作蒸馏回直接检索策略,同时保留安全过滤,避免把错误经验写入长期技能库。

Jinhe Bi, Chennan Zhou, Zengjie Jin, Aniri, Shuo Lu, Wenke Huang, Hu Cao, Xun Xiao, Zhihong Zhu, Vol...
HuggingFace·2026-08-03·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
07 4.15

SkillJack: Persistent Skill Backdoors in Self-Evolving Agents

SkillJack 揭示自演化 Agent 的新攻击面:恶意经验可在技能抽取时被“洗白”,从短暂上下文升级为持久能力,即使删除原始记录仍能继续触发。作者在 SkillX 和 Anything2Skill 上评估 150 条轨迹、4 类风险策略;检测率可从 98.5% 降到 11.4%,攻击成功率达到 56.2% 和 89.2%。

INSIGHT若社区搜索 Agent 会自动沉淀 query 模板、工具权限或排序规则,技能生命周期本身就是安全边界。应记录来源轨迹、版本和触发条件,新增技能先在沙箱与无害查询集上回放,并支持按 provenance 撤销,而不是只删除一次被污染的记忆。

Zonghao Ying, Xiangfan Wu, Huiyu Wu, Xing Zheng, Huangsheng Cheng, Xiaorong Shi, Jing Guo
HuggingFace·2026-08-03·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 5
08 4.10

PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents

PAST-Bench 专门检验 Agent 是否会因保留经验而变强,覆盖 26 个场景、204 个 episode,并同时测试 memory、procedural reuse、information gathering 和 update。作者在 7 个基础模型、4 个 Agent 框架上发现,后续任务确有提升但并不稳定;相同表面收益可能并未真正经过保存、检索和更新链路。

INSIGHT对 UGC 搜索助手,记忆命中率上升不等于用户体验变好。可以复用 PAST-Bench 的 matched fresh-session 设计,把“无历史/有历史”分桶评测,并把 query 偏好、召回策略和工具调用分别做可追溯的更新验证,防止把噪声反馈误当成个性化能力。

Shuhan Xue, Zixin Ding, Yichen Shen, Yinjie Wang, Zhenfei Yin
HuggingFace·2026-08-03·Relevance 4 · Novelty 3 · Practical 4 · Evidence 5 · Timely 5
09 4.00

腾讯云智能体开发平台 Agentic RAG

Tencent

腾讯云把 Agentic RAG 工程化为 Agent Loop:智能体自主规划检索策略、反思结果,并在混合检索与关键词检索之间切换。平台提供 AgenticRAGSearch、反思模型和重排序模型,反思轮数支持 0–10 轮、默认 3 轮;文档明确提醒轮数越多,准确度、延迟和 Token 成本一起上升。

INSIGHT这套配置给社区搜索一个可执行的灰度路径:简单短 query 走一次混合召回,复杂多条件问题才进入反思循环,并把 rerank 放在每轮结果之后。先将反思轮数设为 1–3 轮,以 nDCG、无答案率、P95 延迟和 Token/请求共同决定是否继续增加预算。

腾讯云
网页来源·2026-05-28·Relevance 5 · Novelty 3 · Practical 5 · Evidence 3 · Timely 2
10 3.80

JudgeArena: A Unified Framework for Reproducible LLM-Judge Evaluation

JudgeArena 统一 AlpacaEval、Arena-Hard、MT-Bench 和 m-Arena-Hard 这 4 类 LLM-as-a-judge 基准,并记录 benchmark、judge、prompt 和推理后端等元数据。框架支持把 vLLM、llama.cpp 或 OpenRouter 可访问的模型互换为候选或评审模型,目标是减少 Agent 评测因协议和评审器变化产生的不可复现差异。

INSIGHT搜索 Agent 的离线评测不能只报一个 LLM judge 分数;应固定数据快照、提示词、评审模型和推理后端,并保留完整元数据。将多跳答案、证据引用、停止决策拆成可替换评测项,才能把 nDCG/CTR 与 Agent 的事实性和成本指标放到同一回归面板。

Erlis Lushtaku, Bora Kargi, Ali Elganzory, Fabio Ferreira, Alejandro R. Salamanca, Julia Kreutzer, D...
arXiv·2026-08-05·Relevance 3 · Novelty 3 · Practical 5 · Evidence 4 · Timely 5

其他赛道今日

点击切换
Generative
10
生成式推荐 · 篇入选
Personalization
10
个性化推荐 · 篇入选
AI Search
9
AI 搜索 · 篇入选
Infra
10
系统与索引 · 篇入选

开源雷达

GitHub / HuggingFace 热门 · 7 个项目
ai-browser-profile: Extract user knowledge from browser data into a self-ranking SQLite database with semantic searchExtract user knowledge from browser data into a self-ranking SQLite database with semantic searchTypeScript · ★ 50 · 2026-03-04 · GitHubawesome-free-seo-backlinks: A curated list of high-quality, free SEO backlink sources, including directories, blogs, tools, and submission sites to boost domain authority, visibility, and rankings.A curated list of high-quality, free SEO backlink sources, including directories, blogs, tools, and submission sites to boost domain authority, visibility, and rankings.★ 36 · 2025-09-02 · GitHubexploithunter-agent-suite: ExploitHunter v2026 is a browser-based web security research suite for offensive testing, penetration testing, and lab assessment, combining chat-oriented workflows, LLM-supported agents, and built-in reporting.ExploitHunter v2026 is a browser-based web security research suite for offensive testing, penetration testing, and lab assessment, combining chat-oriented workflows, LLM-supported agents, and built-in reporting.HTML · ★ 33 · 2026-08-02 · GitHubdeepseek-ai/DeepSeek-V4-Flash-0731pipeline: text-generation; tags: transformers, safetensors, deepseek_v4, text-generation, conversational, arxiv:2606.19348, license:mit, eval-resultsmodel · ★ 2478 · 2026-07-31 · HuggingFacemoonshotai/PerceptionBenchPerceptionBench PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models Abstract We introduce PerceptionBench, a benchmark specifically designed to evaluate the atomic visual perception capabilities of Multimodal Large Language Models (MLLMs). Exi; tags: task_categories:visual-question-answering, language:en, license:cc-by-nc-4.0, size_categories:1K<n<10K, format:json, modality:tabular, modality:text, library:datasetsdataset · ★ 42 · 2026-07-23 · HuggingFaceinternlm/Intern-S2-Mobiuspipeline: image-text-to-text; tags: transformers, safetensors, interns2_mobius, image-text-to-text, conversational, custom_code, license:apache-2.0, region:usmodel · ★ 24 · 2026-07-29 · HuggingFaceinternlm/WildClawBench-Trajectoriestags: license:apache-2.0, region:usdataset · ★ 2 · 2026-07-30 · HuggingFace