今日场景社区搜索（UGC短文本）：关注相关性、点击率及语义检索、排序和大模型部署成本。 — 评分 101 篇，入选 10 篇，分数 3.70 – 4.25
放宽草稿验证可能让回答更长，抵消看似更高的解码效率。作者用相同提示对比宽松验证与无损验证，同时统计回答长度、验证轮数和耗时。最宽松设置下，每轮接受量平均增加到原来的1.34倍，回答却延长到1.54倍。
减少提示阶段调用的专家能省算力，但少数关键位置可能承担大部分质量损失。作者逐词、逐层干预，发现保留任务接口附近的完整专家计算，比随机保留文档位置更有效。在长提示实验中，首词延迟约降低14%。
INSIGHT专家预算可以按提示位置分配，不必全段统一压缩。任务指令和答案边界值得保留更多计算。但现有实验中关键位置也都位于提示两端，尚不能区分接口识别与简单保留两端的效果。
多轮智能体的历史越来越长，草稿模型维护历史缓存也越来越贵。这项工作直接复用目标模型的上下文隐藏状态，用轻量预测头生成草稿，再用顺序模块补回块内依赖。实验报告，相对DSpark的提升最高达到70%。
INSIGHT历史上下文不一定要在草稿侧再保存一份。目标模型已计算出的状态可以承担上下文表达，草稿侧只负责局部续写。收益来自减少重复状态和维护开销，而非单纯把草稿模型缩小。
流计算平台接入大模型后，瓶颈从数据搬运转向推理计算。Google Cloud Dataflow把不同资源类型的工作池联合扩缩容，并将相同提示前缀的请求合批，减少重复计算。论文报告，流式大模型管线吞吐提高到原来的1.5至2倍，延迟保持相近。
INSIGHT扩缩容与合批需要一起设计。只增加推理设备，未必能解决上游数据供给或批次组织的问题。对于持续到达的UGC处理任务，前缀复用率和各阶段排队时间值得纳入资源调度依据。
同一模型换成量化版本后，校准结果不一定要从头重学。作者把分组缩放增益移植到另一种表示的权重或量化尺度，保持整数编码及存储布局不变。在Qwen3浮点与低比特配对实验中，保留了专门校准收益的76.9%至90.5%。
INSIGHT可复用的是带有分组对应关系的校准增益，而不只是数值分布。打乱增益所属位置会使结果变差。维护多个精度版本时，这种对应关系可以减少重复优化，同时保留原有量化文件结构。
Google关键词检索和向量检索各有分数尺度，应用层融合容易变复杂。AlloyDB把两路召回与按名次融合放进同一SQL接口，并提供全文索引及外部搜索接入。文中示例仅需1次声明式SQL调用；这是工程简化示例，不是吞吐提升倍数。
INSIGHT按名次融合能绕开异构分数归一化。社区短文本搜索可以保留关键词精确匹配，再与语义召回合并。索引选择仍有代价：保存词位置有助于排序和短语查询，但会增加索引大小与构建成本。
同一个模型要适配不同设备，通常需要维护多个大小版本。这项工作通过调整活跃注意力头数量，同步改变嵌入、前馈层和输出层宽度，再用蒸馏训练嵌套子网。仅启用四分之一的头时，词元生成吞吐比完整宽度提高75.3%。
INSIGHT模型宽度可以成为部署时可选的资源档位。让多个层的宽度一起变化，能扩大参数与延迟的选择范围。但这种弹性需要专门的权重重排和子网训练，不能只在普通检查点上关闭部分头。
多模态输入差异大，固定草稿配置难以始终保持高吞吐。这项工作在生成过程中试探不同配置，利用吞吐曲线的单峰特征，选择当前请求更合适的草稿设置。在所测视觉与文本任务上，比原有自投机解码方案最高提升11%。
INSIGHT草稿配置可以在请求内自适应选择。优化目标应包含试探配置花掉的真实时间，避免为了找到更优配置而付出更大开销。单峰假设给出了减少试探次数的依据，适合输入差异较大的多模态服务。
调整算子顺序能省内存，但重新编译可能破坏原先预测的峰值。作者直接重排编译后程序的语句，并用读写关系精确建模内存占用。所得顺序在94%的留出包装图上获得最优性证明，避免继续搜索已经没有改进空间的调度。
INSIGHT内存优化需要作用在最终执行程序上。高层计算图中看似更省的顺序，经过编译可能变样。证明当前顺序已最优也有工程价值：它能提示下一步转向重计算或架构调整，而非继续排列算子。
大模型级联的结果和总开销相同，也可能藏着违规读取或预算记录错误。这项工作将调用、缓存身份和预算变化写成可核对的执行轨迹，再用反事实检查定位信息泄漏。实验对序列化故障的检出率达到99.83%。
INSIGHT成本路由的评估需要保留决策当时可见的信息。只记录最后答案与总调用数，无法发现路由器偷看未付费结果等问题。冻结执行轨迹后再接入任务评分，可将合法执行与答案质量分开审计。
已录用 EMNLP 2026 Workshop