今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 214 篇，入选 10 篇，分数 3.40 – 4.40
对象存储上的向量检索容易被网络请求拖慢，论文把索引布局和读取策略一起设计。系统用倒排分组和向量量化缩小读取范围，再合并请求并利用本地缓存。在目标召回率相同的测试中，作者报告吞吐最高提升至基线的5.9倍。
长文本里并非每个词都需要经过模型的所有层，论文让模型学会逐层跳过不重要的词。新增的轻量组件用词的重要程度调整注意力，使保留哪些词也能参与训练。作者在所测任务中报告，首字响应速度最高提升至原来的11.3倍，准确率未下降。
INSIGHT裁剪输入可以成为模型学会的一部分，不必完全依赖固定规则。这里压缩的是后续层处理的词，收益直接落在首次响应和显存占用上。组件需要轻量适配训练，适合把长文问答的输入处理成本作为独立优化目标。
多个机房经常重复计算相同的提示词，论文增加一层服务，寻找已经保存的前缀缓存。缓存目录不绑定固定存放位置，路由时同时考虑复用量、机器负载和网络距离。作者在模拟与跨洲实机测试中，报告首字响应的P99延迟最多降低至基线的十四分之一。
INSIGHT缓存内容的标识与所在机器可以分开管理。前缀随请求生成，又会随显存压力被淘汰，固定分片目录难以反映这种变化。跨地域复用还要把网络距离算进去，否则命中远端缓存未必比本地重算更划算。
长上下文推理通常给每层分配一样多的缓存，论文改为搜索各层合适的容量。系统一次搜索出容量与任务效果的折中关系，再把分配方案迁移到不同总预算。作者在所测模型上达到均匀分配的效果时，缓存容量最多可减少75%。
INSIGHT总缓存预算相同，各层怎么分仍会明显改变效果。搜索出的方案倾向给少数中间层保留更多空间，说明平均分配会浪费预算。这种分配层可以叠加到已有淘汰策略上，不必重写整个缓存压缩器。
GoogleGoogle为常用推理框架增加原生PyTorch后端，让开发者在TPU上沿用熟悉的服务代码。底层替换算子和缓存传输，保留框架的调度、接口与缓存管理。官方报告在Ironwood硬件上，特定模型的单用户生成速度超过每秒700个词元。
INSIGHT硬件适配可以集中在平台插件和算子层，减少调度代码的分叉。缓存搬运也要与计算重叠，才能支撑前缀复用和预填充、解码分离。文中的速度来自特定模型与硬件配置，评估迁移时要同时看并发量和请求长度。
分布式训练里的通信慢在哪里，现有工具常常只能看到汇总值。论文从底层通信接口记录每次操作，并让GPU直接发起的远程内存访问也能被追踪。在作者的128卡集合通信测试中，主机侧追踪增加的开销为1.3%。
INSIGHT观测位置放在通信库下面，可以让不同框架共享同一套排障工具。逐操作记录能区分流量偏斜与等待同步，避免把所有停顿都归因于带宽不足。文中区分了主机侧追踪开销与GPU发起通信的可见性，部署时也应分别测量。
低秩微调虽然少更新参数，仍要为冻结权重的计算和中间结果付出成本。论文让冻结矩阵运算使用低精度硬件，并把部分反向传播所需结果压缩保存，同时对敏感运算保留较高精度。作者在16GB消费级显卡上完成多模型、多任务评估，报告显存下降与训练加速。
INSIGHT少训练参数不等于训练过程就省显存。冻结权重的乘法和保存的中间结果，仍值得单独优化。这里把计算精度与保存精度分开选择；摘要未给统一的加速比例，能确认的是实验硬件与优化路径。
投机解码多接受几个草稿词，不一定能提高实际吞吐。论文统一训练数据和推理配置，比较草稿质量带来的收益与额外执行成本。在同一套协议下，作者重新训练六种草稿方案，并在十个基准上测试，发现最合适的方案随任务与服务条件变化。
INSIGHT接受长度只是中间指标，真正要比较的是每轮生成的有效词数与执行时间。训练目标或上下文调整可能几乎不增加开销，更复杂的草稿模型却会提高每轮成本。统一数据和执行配置后，原先看似很大的方案差距也会缩小。
Google把训练代码搬到TPU上，能运行和跑得快是两件事。文章让通信、前向和反向计算进入同一张编译图，再按模型开启算子融合与显存优化。在固定每芯片批量的扩容实验中，芯片数量增至原来的128倍时，单芯片吞吐下降约8%。
INSIGHT让编译器看见通信，才有机会把参数传输与计算重叠。文章把分片表达为图内运算，并用完整训练步捕获减少主机调度。扩容结果采用每芯片批量不变的弱扩展测试，不能当作固定总批量下的训练收益。
Google隔离网络中的文档问答往往要自己拼接模型和检索服务，Google推出一套本地托管方案。文件、向量、会话和模型都留在同一安全边界，使用本地数据库保存检索与对话状态。预览版公布的单文件容量上限为100MB，尚未披露检索质量对照实验。
INSIGHT隔离部署的复杂度不只在模型，还在身份、文件处理和会话状态之间的衔接。把这些组件收进同一运行边界，可以减少外部依赖。文章给出了架构与容量限制，但没有搜索相关性或延迟基准，因此证据分低于实验论文。