Breaking the Autoregressive Chain: Hyper-Parallel Decoding for Efficient LLM-Based Attribute Value Extraction
针对电商场景中“同一文档抽取多条属性值 (Attribute Value Extraction, AVE)”的离线大批量任务,提出 Hyper-Parallel Decoding (HPD):通过 position ID 操控让多条互相独立的输出序列在同一批次内乱序生成,并把多文档拼接进同一 prompt,单次最多并行解码 96 个 token。在不损失质量的前提下,推理成本和耗时降幅最高达 13.8 倍,对所有 LLM 通用。
INSIGHTUGC 内容理解里“标题抽实体 / 帖子打标签 / 给评论打多维属性”完全是 AVE 同型任务——多条短输出共享同一上下文。HPD 提供了一个无须改模型的纯解码侧加速思路:识别出条件独立的输出,复用 KV cache 与计算,乱序解码后再回拼。社区搜索的离线索引侧(query 改写、帖子打 tag、行为属性挖掘)可以直接借鉴这种 batched parallel 解码,把 LLM 离线打标的吞吐拉到接近线性的水平。