hLLM: Single Pass Decoding for Generative Reranking
hLLM 针对生成式排序逐 token 解码的时延瓶颈,把输出看成候选与名次之间的排列分配问题。模型从预填充隐状态一次性读出 N×K 的位置得分矩阵,再用匈牙利算法求最优匹配,从而以 O(1) 次前向传播生成合法全排列,避免自回归解码及事后修复。
INSIGHT它把“生成排序”从语言生成问题重写成受约束的组合优化问题,是很适合在线重排的工程化思路。UGC 搜索可保留 LLM 的上下文理解与列表建模能力,同时用单次前向和确定性分配控制尾延迟,并天然杜绝重复名次、漏项等格式错误。