Test-Time Speculation
投机解码靠小草稿模型批量产 token、大目标模型并行校验来提速,但论文发现“接受长度”(草稿被目标接受的 token 数)随生成推进急剧衰减——即便 DFlash、EAGLE-3 这类强草稿器,几千 token 后接受长度也跌到接近 1(几乎无加速)。作者提出 Test-Time Speculation(TTS):推理中用目标模型已产生的校验信号在线蒸馏、持续更新草稿模型,无需额外标注。接受长度峰值最多提升 72%、平均提升 41%,且生成越长收益越大,在 Qwen-3、Qwen-3.5、Llama-3.1 上验证。
INSIGHT指出投机解码接受长度会随上下文漂移衰减,这是长输出场景(长答案、Agent 多轮)里被忽视的加速损耗点。TTS 用“免费”的目标校验信号在线蒸馏草稿器,是对现有 EAGLE 系草稿器的轻量增量改造,不改目标模型、不需离线训练数据,落地成本低。对社区搜索的长文本生成/摘要场景能稳住加速比;代价是推理时要承担在线更新草稿器的额外计算。