Contextual Correction of Parallel Draftsfor Speculative Decoding
并行草稿缺少块内前序 token 的真实信息,会降低投机解码接受率。DCOCO 为各位置保留多个候选,再并行评估相邻候选的上下文兼容性;在 4 个验证器和 10 个基准上,最高达到普通解码的 6.6 倍吞吐,并在 4–32 路并发下比最强对手快 6%–23%。
INSIGHT该方法在保留并行性的同时补回草稿依赖,避免顺序纠错器在并发时重新成为瓶颈。社区搜索的查询改写或摘要服务可将它作为解码层优化,不必改变相关性模型;落地应分别测试短输出、长推理与高并发,确认新增候选评分开销不会抵消接受率收益。