Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference
投机解码通过小模型草稿绕过全量验证来加速自回归生成,但传统框架因频繁误拒(语义正确但词汇不同的输出)而效率受限。本文提出 Calibrated Speculative Decoding (CSD),一种无需训练的框架,通过频率引导的候选选择机制恢复被标准验证丢弃的有效 token,显著提升推理加速比,同时保持输出质量。
INSIGHTCSD 的核心思路是在投机解码验证阶段引入频率校准,解决了 draft model 语义正确但词汇不匹配导致的误拒问题。对搜索推荐系统中 LLM 在线推理场景,这种免训练的加速方案可以直接应用于现有投机解码管线,降低部署复杂度的同时提升解码吞吐量。