- 1. MARCH: Multi-Agent Reinforced Self-Check for LLM Hallucination · 📖 深度解读
RAG 系统中的幻觉问题严重影响搜索结果的可靠性。本文提出 MARCH 框架，通过三个专业化 Agent（Solver、Proposer、Checker）的协作流水线，利用刻意的信息不对称来避免验证者的确认偏误。Checker 仅基于检索证据（而非原始生成）独立验证原子命题，并通过强化学习（GRPO）优化各 Agent 的协作策略。在多个 RAG 幻觉检测基准上，MARCH 显著优于现有 LLM-as-judge 方法…
出现于日报：03-27
- 2. Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents
针对 LLM Agent 在长轨迹中频繁触发低质量工具调用导致延迟增加和推理性能下降的问题，通过熵分析实验发现：高质量工具调用与熵降低存在强正相关。基于该发现，提出以熵降低作为奖励信号优化工具使用行为，有效减少冗余工具调用并提升推理质量。
出现于日报：03-26
- 3. s3: You Don't Need That Much Data to Train a Search Agent via RL
现有 RAG 搜索 agent 训练方法要么用 NDCG 等检索指标优化，忽略下游生成效果，要么端到端微调整个 LLM 导致检索与生成耦合。s3 提出轻量化框架，将搜索器与生成器解耦，冻结生成器仅训练搜索器，并引入 Gain Beyond RAG (GBR) 奖励——量化检索上下文相比朴素 RAG 的增益。仅需 2.4k 训练样本即可超越使用 70 倍以上数据训练的基线方法（EMNLP 2025 发表）。
出现于日报：03-25
- 4. RLFactory: A Plug-and-Play Reinforcement Learning Post-Training Framework for LLM Multi-Turn Tool-Use
LLM 在多轮工具调用任务中表现不稳定。本文提出 RLFactory，一个即插即用的 RL 后训练框架，通过异步工具调用器和解耦的工具/训练架构解决工具异构性问题。框架引入工具反馈的 observation markers 重构 MDP，实现模型-工具-环境的闭环，并支持规则、模型判断、工具验证三类奖励信号。在 Search-R1 框架下，Qwen3-4B 在 NQ 数据集上达到 0.486 测试分数…
出现于日报：03-27
- 5. AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling
LLM agent 在真实任务中失败率极高（GPT-4o 在 WebArena 上成功率不到 15%），而失败轨迹通常被丢弃。AgentHER 借鉴经典 RL 中的 Hindsight Experience Replay 思想，将失败轨迹重新标注为「假设目标」下的成功轨迹，从而将丢弃的数据转化为有效训练信号。这种离线数据增强方法大幅提升了 agent 在 WebArena 和 ToolBench 上的表现。
出现于日报：03-25
- 6. PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost
长链路 agent 任务的后训练面临效率与泛化的矛盾：SFT 高效但 OOD 退化，端到端 RL 泛化好但算力消耗大。PivotRL 提出在现有 SFT 轨迹上操作的新框架，通过两个关键创新——轨迹中的「关键决策点」识别和局部 RL 微调——将 SFT 的效率与端到端 RL 的泛化能力结合。在 agentic 基准测试中以极低计算成本达到接近 E2E RL 的精度。
出现于日报：03-25
- 7. Evaluating the Search Agent in a Parallel World · 📖 深度解读
本文提出 Mind-ParaWorld (MPW) 评估框架，通过采样真实实体名称合成超出模型知识截止期的未来场景和问题，配合 ParaWorld Engine 生成基于预设事实的搜索结果，从而解决搜索 Agent 评估中的静态基准过时、归因模糊和商用搜索引擎不可复现等问题。发布的 MPW-Bench 包含 19 个领域共 1,608 个评估实例…
出现于日报：03-23
- 8. Composer 2 Technical Report
Cursor 发布 Composer 2，一个专为 Agentic 软件工程设计的模型。模型采用两阶段训练：首先通过持续预训练提升编码知识，随后通过大规模强化学习提升端到端编码性能，包括推理、多步执行和长周期任务的连贯性。训练基础设施支持在真实 Cursor 工具环境中进行训练，并引入基于真实大型代码库的软件工程基准。该模型在 Agentic 编码任务上展现了强大的长期规划和工具使用能力。
出现于日报：03-27
- 9. R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning · 📖 深度解读
提出 R3-RAG，通过强化学习训练 LLM 进行逐步推理和检索。方法分两阶段：冷启动训练建立迭代推理-检索模式，然后通过 RL 优化。设计了双奖励机制——结果奖励（答案正确性）和过程奖励（文档相关性），在多跳 QA 任务上显著超过基线，且跨检索器迁移性强。
出现于日报：03-24
- 10. Bypassing Document Ingestion: An MCP Approach to Financial Q&A
金融问答通常被视为信息检索问题，但大量结构化信息已存在于专业数据供应商系统中。本文研究 Model Context Protocol (MCP) 作为标准 RAG 的替代方案——让 LLM 直接与数据系统交互，绕过文档切片和向量检索。在金融 Q&A 场景下，MCP 方法在定量分析任务中表现出更高的可靠性，特别是在需要精确数值查询时优于传统 RAG。
出现于日报：03-25