Alibaba02 4.60
Vectorizing the Trie: Efficient Constrained Decoding for LLM-based Generative Retrieval on Accelerators
GoogleSTATIC 面向 LLM 生成式检索的受限解码，把不规则 Trie 展平为 CSR 稀疏转移矩阵，使前缀约束能在 TPU/GPU 上完全向量化执行。它已部署到服务数十亿用户的视频推荐平台，每步仅增加 0.033 毫秒、占推理时间 0.25%，相对 CPU Trie 加速 948 倍，并开源实现。
INSIGHT严格业务约束不必牺牲生成式检索吞吐：把树遍历改写成静态稀疏矩阵运算，可将内容新鲜度、类目或合规白名单直接注入解码空间。社区搜推若采用 Semantic ID，可复用这一模式把在线候选约束留在加速器侧执行，避免 CPU-GPU 往返，并以极低额外时延支持冷启动和动态业务规则。
Zhengyang Su, Isay Katsman, Yueqi Wang, Ruining He, Lukasz Heldt, Raghunandan Keshavan 等 13 人
arXiv·Wed, 22 Jul 2026 00:00:00 -0400·Relevance 5 · Novelty 5 · Practical 5 · Evidence 5 · Timely 1