SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
SWE-Serve 用来自 SGLang 的 53 个真实工程任务评估推理服务修改,覆盖六类功能,采用 CPU 或单张 H100 的隐藏回归、端到端服务与性能门槛。11 个模型、31 种配置中最佳平均 pass@1 为 75%;19 个端到端任务的通过率从省略该检查时的 69.4% 降至 45.9%。
INSIGHT推理框架的质量验证必须覆盖模型加载、执行路径和公开 API,局部单测通过仍可能无法正确服务。社区搜索接入新模型或量化后端时,可沿用真实请求的端到端回放,联合检查输出、延迟与回归;代码生成工具的成功率不能直接替代生产验收,也不能推导搜索 nDCG 或 CTR 收益。