BARQ: Balanced Codebook Refinement for Low-Bit LLM Quantization
BARQ 用带熵正则的最优传输为权重块与码字建立均衡软分配,再按曲率加权重构代价更新码字,最后恢复普通硬编码。六个模型的 60 组配置中,54 组困惑度降低、53 组五任务平均准确率提高;Llama3.1-8B 在 2.125 位预算下,WikiText-2 困惑度从 11.00 降至 8.30。
INSIGHT创新主要发生在离线码本拟合阶段,推理仍使用原有硬编码路径,适合已有低位权重量化平台做增量改造。社区搜索可以优先试验 query 理解模型的压缩,并将短文本语义匹配质量纳入校准;部分配置没有同步改善所有指标,应结合业务 nDCG 与延迟筛选方案。