Draft Less, Retrieve More: Hybrid Tree Construction for Speculative Decoding
投机解码 (Speculative Decoding) 通过 draft-then-verify 加速 LLM 推理,但密集 draft tree 的 VRAM 带宽和算力开销吃掉了端到端 speedup;动态剪枝又会丢候选导致接受率下降。作者提出 Graft:把剪枝和检索耦合成互补操作,先 prune 释放预算,再用 retrieval 从 n-gram/缓存中补回被剪掉的高质量候选,形成 prune-then-retrieve 的 hybrid tree。实验显示在保持/超过 dense tree 接受长度的同时显著降低 draft 阶段算力,端到端 throughput 优于 EAGLE 等基线。
INSIGHT搜推线上 LLM 部署(搜索摘要、对话推荐)最痛的是 P95 时延,而投机解码已成为主流加速手段。Graft 的关键观察是 draft tree 不必都来自参数模型,可以引入轻量级 retrieval-based draft 来弥补剪枝后的覆盖损失,这与搜索系统已有的 query log/n-gram 资产天然契合。对于 UGC 搜索,可以把站内热门 query 的延续、热门评论模板做成 draft 检索源,几乎零额外训练成本就能拿到接受率收益。