Asymmetric Actor-Critic for Multi-turn LLM Agents
提出非对称 Actor-Critic 框架,用于提升多轮 LLM agent 的可靠性。利用强大的商业 LLM 作为 actor 执行任务,同时训练小型开源 critic 在同一交互轨迹内实时监督并干预。巧妙利用了生成-验证不对称性:高质量生成困难但验证相对容易。该设计不需要修改 actor 模型参数,可直接应用于商业 API 场景。
INSIGHT核心创新在于将 actor-critic 的不对称性应用到 LLM agent 场景——大模型生成、小模型监督,实现了不改模型参数即可提升可靠性的实用方案。这对搜索场景下使用商业 LLM API 构建多轮搜索 agent(如 deep research)非常有价值:可以在推理过程中实时纠偏检索策略,避免级联错误。生成-验证的计算不对称性也可用于搜索排序中的 reranker 验证。