Speculative Decoding Across Languages
投机解码靠小 draft 模型起草多 token、大模型并行验证来加速 LLM 推理,但小 draft 模型的多语言能力差,导致非英语生成时加速比大幅下降。作者在 11 种语言上比较三种改进 draft 的策略:用翻译任务数据微调 draft、用无标注单语语料微调 draft、以及在单语语料上训练简单 n-gram draft 模型。关键发现是 n-gram draft 虽然接受率较低,但因起草本身极快,反而能稳定带来较大的端到端加速。
INSIGHT对需要服务多语言(含中文)UGC 搜索的团队,这给出一个低成本加速方案:无需训练神经 draft 模型,直接用领域单语语料统计 n-gram 即可获得投机解码收益,部署与维护成本远低于 EAGLE/Medusa 类方法。也提示在评估投机解码时“接受率”不是唯一指标——draft 生成耗时同样关键,低接受率但极快的 draft 在长尾语言上可能是更优的工程选择。