Small RL Controller, Large Language Model: RL-Guided Adaptive Sampling for Test-Time Scaling
test-time scaling 提升大模型推理但带来计算与延迟成本。已有自适应采样靠启发式规则或分布假设决定何时停止采样。论文把自适应采样形式化为 MDP,用 RL 训练一个轻量采样控制器,在每一轮决定停止采样还是再取样本,联合平衡答案正确性、延迟与计算成本;方法轻量,只依赖少量信号,可挂在已有大模型外部。
INSIGHT用一个小 RL 控制器去调度大模型的采样预算,是小模型管大模型的解耦思路。对搜索/推荐里的多路 LLM 打分或 rerank 可借鉴按难度动态分配推理预算——简单 query 单次出结果,难 query 才多采样投票,省线上算力而不牺牲难样本质量。