今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 13 篇，入选 5 篇，分数 3.55 – 4.10
面向多 Agent 共享同一上下文的推理场景，提出共享非对称压缩 KV cache 池：压缩仅写入一次，N 个独立 agent 上下文共享读取。在 Llama-3-8B、15 个 agent 共享 4K-token 上下文场景下，KV cache 内存从 19.8 GB 降至 0.45 GB（97.7% 缩减），稳定 2.91× 压缩比，质量影响有限。
针对调用 OpenAI、Claude 等黑盒 LLM API 时的负载相关性能退化（congestion），提出客户端拥塞感知调度。通过在线估计有效服务容量、基于响应延迟反馈做自适应限流、并对突发流量做请求合并，使尾延迟在高负载下可控。该工作不依赖服务端任何特性，纯客户端可部署。
INSIGHT对于使用第三方 LLM API 的 UGC 搜索/智能问答系统，「黑盒服务」就是事实上的瓶颈来源——服务端慢速时客户端贸然重试会让情况更糟。论文提出的核心机制类似 TCP BBR 的拥塞控制思路：测延迟、估容量、自适应限流。最大价值在于工程上几乎零成本接入：在现有 retry/queue 中间件加一层延迟感知的 token bucket 即可，不需要改业务代码。
把注意力计算重构为基于非对称深度哈希的近似最近邻搜索：query 与 key 用不同的哈希映射，仅检索 top-k 相关 token 参与 softmax 计算。引入动态混合精度机制，对关键 token 自适应保留全精度计算。在长上下文（64K+）下实现可观加速，质量损失低于 1%。
INSIGHT把 attention 视为 ANN 问题不是新观点（早期 Reformer 已尝试），但 DASH-KV 的「非对称哈希 + 动态精度」更精巧：query 和 key 不必映射到同一空间，从而可以为「召回」和「重要性」各自最优；混合精度让哈希误判时仍可通过全精度兜底。对要做长文档 RAG 的 UGC 搜索栈，这是「不改模型权重、仅替换 attention kernel」的低侵入加速方案。
提出跨数据中心的 LLM 服务架构 PrfaaS：将长上下文 prefill 阶段卸载到独立、计算密集型的专用 prefill 集群，与 decode 集群解耦。结合模型侧的 KV 效率优化、系统侧的选择性卸载、带宽感知调度和缓存感知请求放置，实现 prefill 与 decode 容量在松耦合集群间的独立扩缩。
INSIGHT本质是把 prefill/decode disaggregation 思想从「同 DC 内不同卡」推广到「跨 DC 不同集群」——这意味着可以在低成本、高并行的 prefill 池和高吞吐、低延迟的 decode 池之间各自最优。最大挑战是跨 DC KV 传输带宽，论文用带宽感知调度 + 缓存感知放置缓解。对超大规模搜索/推荐厂商有战略意义；中小团队短期受益有限，但其设计模式（compute-heavy 与 memory-bandwidth-heavy 阶段独立扩展）值得学习。
Google为 TPU 设计的高性能 attention kernel——Ragged Paged Attention（RPA）。处理变长 batch（ragged shape）和 KV cache 分页（paged）两个特性，提出 TPU 友好的内存布局和 tiling 策略。与 GPU PagedAttention 性能可比，使 TPU 成为成本敏感场景下可行的 LLM 推理选择。
INSIGHTTPU 在中国搜索/推荐厂商使用率不高，但论文揭示了一个普适教训：PagedAttention 这类「以系统设计弥补硬件抽象」的方案具有跨硬件可移植性。RPA 在 TPU 上重新设计 tile 大小和访存模式以匹配 systolic array 特性，给到我们一个启示——把核心算法（如召回排序的 multi-vector retrieval）从「GPU 优化」抽象到「硬件原语级别」，可以为未来异构推理（CPU/NPU/TPU）提前布局。