Bypassing inference bottlenecks: Accelerating complex AI search with Retrieve-for-Train
Google将搜索查询分解的强化学习探索放到离线:先训练能生成互补子查询的模型,再合成监督数据,蒸馏到5390万参数扩散检索器。博客报告相对自回归方式获得12—20倍推理加速,利用相关性、集合多样性和数据库可检索性共同约束输出。
INSIGHT值得借鉴的是把昂贵的在线搜索规划转化成离线策略学习,再用小模型执行常见请求。UGC搜索可先对宽泛意图试验多角度证据召回,同时保留复杂问题的在线Agent路径;集合覆盖率和相关性需要共同评估,文中的时延结果仍须在短文本索引上复测。