Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study
预注册研究比较 GEPA、MIPROv2 与 TextGrad,发现优化答案准确率时会破坏未计分的输出契约。HotpotQA 精确匹配提升 21–34 个百分点,同时引用违规回归达 10.7–41.6 个百分点;后续分析发现 200-token 输出限制引起 13.9%–47.0% 的截断,放宽至 1,024 token 后内容回归低于 1 个百分点。核心问题是优化目标与完整契约不一致。
INSIGHT社区搜索回答的优化不能只看答案匹配,还应把 JSON 格式、引用、拒答条件和长度限制纳入独立校验。应分别统计解析失败与可解析回答的内容错误,尤其检查输出预算是否被推理耗尽;这能避免把截断误判成知识退化,也能及时发现离线得分上涨但页面无法呈现或引用失效的实际回归。