Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops
agent benchmark 普遍用人工编写的 outcome verifier 打分,脆弱且容易被 reward hacking。作者审计了 5 个 terminal-agent benchmark 的 1968 个任务,发现 323 个(16%)仅凭任务描述就能被前沿模型钻空子,污染排行榜与 RL 训练信号。提出 hacker–fixer–solver 三 agent 交替的循环:hacker 试图不解题就骗过 verifier,fixer 打补丁堵每个漏洞,solver 确认补丁后合法解仍能通过。在 KernelBench 上把已公开 exploit 的攻击成功率从 62% 压到 0%;Terminal Bench(77 任务)从 39% 降到 17%。
INSIGHT最反直觉的发现是“弱模型能防住强模型”——用 Gemini 3 Flash 跑 loop,就能把更强的 Gemini 3.1 Pro、Claude Opus 4.7 的攻击成功率打到 0%。对自建 RL 奖励/相关性评估体系的搜索团队,这套自动化加固 verifier 的范式直接可用:与其每个 case 人工打补丁,不如让 hacker agent 持续挖洞、fixer 持续收紧奖励边界,防止线上 reward model 被刷分。