深度解读：TTQ: Activation-Aware Test-Time Quantization to Accelerate LLM Inference On The Fly
1. 问题与动机
现有的激活感知量化方法（AWQ、GPTQ）依赖离线校准数据来确定量化参数。这带来两个根本问题：(1) 领域偏移——校准数据可能无法代表实际下游任务的分布，导致量化后精度下降；(2) 不可逆性——一旦量化部署，原始全精度权重不可用，无法针对新领域重新校准。TTQ 的核心洞察是：量化参数应该在推理时根据实际输入动态计算，而非依赖离线校准。
2. 方法详解
基础：Round-to-Nearest (RTN) 量化。 对权重矩阵 W 进行分组量化-反量化（QDQ），最小化 ||W - W_hat||^2。但忽略了激活值统计信息。
AWQ 的改进与局限。 AWQ 最小化激活加权的量化误差 E_X[||(W-W_hat)X||^2]，引入激活自相关矩阵 C = E_X[XX^T]。为降低计算复杂度（从 O(n^3) 到 O(n^2)），AWQ 仅使用对角近似 D = diag[XX^T + lambdaI]^alpha。闭式解为 W_hat = Q[WD^(1/2)] * D^(-1/2)。但 D 的计算需要离线校准数据。
TTQ 的核心创新：在线 AWQ。 TTQ 将 D 的计算从离线搬到推理时，对每个 prompt 的输入 X 动态计算对角相关矩阵 D，然后执行缩放-量化-反缩放。额外计算开销为 rho = O[dT + 3d'dT] / O[d'dT] = O[1/d' + 3/T]，当 d' 和 T 足够大时趋近于零。
低秩分解补偿。 对于极端压缩（2-3 bit），TTQ 引入低秩因子 W_hat = W_q + BA，其中 W_q 为量化残差，BA 为 SVD 初始化的低秩因子（r=16）。与 QLoRA 的关键区别：TTQ 动态适配 W_q，QLoRA 使用静态 W_q。
超参数策略。 通过离线分析确定固定超参数：alpha=0.5-0.75，lambda=0.4，p=2（L2 范数显著优于原始 L1 范数）。推理时无需搜索。
3. 核心技术贡献
贡献一：零校准量化。 完全消除离线校准依赖，从根本上解决领域偏移问题。这不是简单的"不用校准数据"，而是将校准计算融入推理本身。
贡献二：对角近似的优化。 发现 alpha 应"冷却"到 0.5-0.75（而非接近 1），lambda 应增大到 0.4，L2 范数优于 L1。这些发现修正了 AWQ 原始设置中的次优选择。
贡献三：低秩-量化联合优化。 低秩因子从 SVD 初始化（而非随机），与动态量化权重互补，在 2-bit 极端压缩下仍保持可用。
4. 实验结果分析
校准依赖性消除（OPT-350M, 3-bit）： AWQ 使用 2^11 token 校准时 PPL=25.73，充分校准（2^17）时 PPL=25.02；TTQ 零校准即达 24.17，反而更优。
跨模型一致性（4-bit 量化）：
- OPT-6.7B: TTQ(r=16) PPL=13.1 = 全精度基线
- Qwen3-1.7B (3-bit): TTQ(r=16) PPL=26.4 vs AWQ 28.2-30.0
- Gemma3-4B (3-bit): TTQ 一致优于 AWQ
AWQ 的领域偏移问题实锤： AWQ 使用不同校准数据（Wikitext-2 vs C4 vs PTB）时 PPL 波动显著（Qwen3-1.7B 上波动 1.8 点），TTQ 完全免疫。
分组大小鲁棒性： TTQ 可容忍约 2 倍大的分组（g=128 vs g=64），直接减少量化元数据的存储开销。
推理速度（Qwen3-32B, 4-bit, RTX4090）： FP16: 10.76k tok/s → AWQ: 72.34k (6.7x) → TTQ(r=0): 67.40k (6.3x) → TTQ(r=16): 53.17k (4.9x)。TTQ(r=0) 与 AWQ 速度差距仅 7%，证明测试时计算开销极小。
多模态和机器人场景： Qwen3-VL-8B 上 TTQ 4-bit 达到全精度性能（TextVQA 81.71% vs 81.72%），机器人 VLA 模型上优势更显著（长期任务成功率 87.5% vs AWQ 最佳 84.5%）。
5. 局限与未来方向
论文提及的局限： (1) 固定超参数可能不是所有场景的最优选择，自适应超参数选择可进一步提升。(2) 当前使用通用 Marlin kernel，定制 TTQ kernel（融合预缩放操作）可进一步提速。(3) 低秩因子是静态初始化的，在线 PCA 技术可动态更新但增加开销。
未提及的局限： (1) TTQ 在极短序列（T 很小）时开销比 rho 可能不够小——公式中 3/T 项不可忽略。(2) 对于 batch serving 场景（不同请求特性差异大），单一动态 D 是否最优未讨论。(3) 与 GPTQ 的详细对比缺失（GPTQ 也是激活感知但计算更昂贵）。
6. 工业实践意义
直接可用性极高。 TTQ 是 drop-in replacement：替换现有 AWQ 量化步骤即可，无需重训练、无需准备校准数据、无需为每个业务场景单独量化。
适用场景： (1) 多租户 LLM serving——不同租户的查询分布差异大，TTQ 自适应每个请求；(2) 频繁更新模型的搜索系统——新模型上线时无需准备校准数据即可量化部署；(3) 多模态搜索——跨模态（文本+图像）的激活分布差异大，TTQ 的动态适配优势更明显。
部署建议： (1) 4-bit TTQ(r=0) 是性价比最高的配置——几乎无精度损失且速度仅比 AWQ 慢 7%。(2) 对精度敏感的场景（如搜索相关性判断）使用 TTQ(r=16)，可达全精度水平但速度降至 4.9x。(3) 建议与 vLLM/SGLang 的 continuous batching 结合使用，动态量化参数可在 prefill 阶段计算，decode 阶段复用。