GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment
GoLongRL 提出 capability-oriented 的长上下文 RLVR 后训练方案,作者完全开源了 23K 训练样本、整套构造 pipeline 和训练代码。区别于以前一味堆复杂 retrieval path 的数据构造,论文按长上下文能力建立 taxonomy,覆盖 9 类任务(书籍、论文、多轮对话等),每类配一个原生评估指标。在相同 vanilla GRPO 设置下,仅替换数据集就在多个长上下文 benchmark 上拿到显著提升,并通过 multitask alignment 让能力可叠加而不互相抵消。
INSIGHT对做 agentic search 的团队意义在于打通了「数据 → RLVR → 能力评估」的开源闭路:以前自研长上下文 RL 最大成本不是算法而是高质量训练数据,现在可以直接拿来微调内部 search agent,再按自家任务能力分布补样本。多任务对齐的实证结论也很重要 — 与其训练一个通用长上下文 agent,不如把任务拆成正交能力分别训练。