OPERA: A Reinforcement Learning-Enhanced Orchestrated Planner-Executor Architecture for Reasoning-Oriented Multi-Hop Retrieval
面向复杂推理型多跳检索,OPERA 指出现有 RAG 的三个失效点:规则式 decomposer 在非模板问题上规划差、有限的 query 改写导致迭代检索打转找不到 golden doc、缺乏细粒度推理无法从噪声结果里过滤有用信息,根因是检索与推理弱耦合。方法上拆成 Goal Planning Module(把复杂问题分解成可执行子目标)与 Reason-Execute Module(按子目标做精确推理与有效检索),并提出 Multi-Agents Progressive Group Relative Policy Optimization(MAPGRPO)——GRPO 的多 agent 渐进式变体,对规划与检索全链路做 RL 优化。论文已被 AAAI 2026 接收,在复杂多跳基准上优于现有方法。
INSIGHT把 planner 与 executor 拆成独立 agent、用 MAPGRPO 分阶段做 RL,是缓解检索-推理弱耦合的一条可借鉴路径。对社区搜索的复杂 query(多实体、多条件问答帖检索),可借鉴 Goal Planning Module 的子目标分解加 Reason-Execute 的逐目标检索结构,把一次性 query 改写换成带推理的迭代检索;MAPGRPO 的多 agent 渐进式 group-relative 优化也提示,当规划和执行两个角色 reward 尺度不同时,分阶段训练比端到端联合训练更稳。