今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 33 篇，入选 5 篇，分数 3.45 – 4.10
NVIDIA针对多团队共享 GPU 集群时 CRD、RBAC 与配额相互冲突的问题，NVIDIA 组合 KAI Scheduler 与 vCluster：底层保留一个 GPU 池，每队获得独立控制面，并以分层队列分配额度。教程在单张 L40S 上让 3 个租户各运行一个 Pod、各占 330m GPU，且彼此只能看到自身工作负载。
OpenAIOpenAI 将语音系统从回合式串行管线改为全双工连续推理：音频走独立 Go/WebRTC 快路径，深度推理和工具调用经异步 RPC 委派，模型切换与上下文压缩通过双实例预热完成。Go 重写后新系统 p95 帧交付达到旧系统 p50，WARP 又把启动握手从 6 次网络往返压至 1 次。
INSIGHT可迁移到实时搜索与推荐的核心不是单点模型加速，而是将延迟预算按媒体、状态、委派和协议拆分，并把慢工具完全移出关键路径。稳定会话亲和、预填充和提示缓存适合降低多轮检索首包延迟；影子流量测试也说明容量规划必须覆盖 CPU、队列、网络与地域，而非只看 GPU 吞吐。
Korea UniversityPARALLEL 面向部署后的流式适配，不再对每个样本等强度更新，而是把目标、置信度和当前表征作为控制信号，再以即时效用—成本反馈决定更新强度。在受限更新预算下，它保留完整适配 94.1%–99.2% 的性能；在 XSum 与 CNN/DailyMail 上保留 96.9%–98.9% 的 ROUGE 得分。
INSIGHT对于持续到达 UGC 数据的搜索模型，样本级更新强度可视为在线训练的资源调度器，能在 GPU 时间与能耗预算内减少低收益更新。该工作与用户偏好的学习框架和强化学习主题直接匹配，但证据仍集中在推理与摘要任务；用于排序或向量模型前，还需验证漂移、灾难性遗忘和线上相关性指标。
文章用 roofline 模型拆解现代 LLM 推理：H100 的计算/带宽分界约为 295 FLOP/byte，而 70B 模型在 batch=1 解码时仅约 2 FLOP/byte，因此瓶颈是显存带宽。以 80 层、8 个 KV 头的 70B 模型估算，8K 上下文单序列 KV cache 约占 2.5 GiB，并进一步串联连续批处理、PagedAttention 与预填充/解码分离。
INSIGHT这套算术能把服务优化从经验调参变成容量模型：先判断 prefill 的算力瓶颈与 decode 的带宽瓶颈，再用批处理提高算术强度、用分页和前缀复用回收 KV 空间。对带 LLM 重排或生成回答的搜索链路，应分别设 TTFT、TPOT 与缓存命中目标；文中未注明来源的数字是示意值，采购容量前仍需以真实流量压测。
NVIDIANVIDIA 将 88 核、176 线程的 Vera CPU 放入 BlueField-4 STX 存储数据路径，对比 x86 测试加密、纠删码、校验与压缩。其 AES-128 加密最高提升 1.43 倍、Reed-Solomon 恢复 3.26 倍、CRC32C 3.67 倍，压缩后加密的两阶段写入管线吞吐最高提升 3.21 倍。
INSIGHTAgent 与长上下文推理会把检索数据、持久记忆和 KV cache 反复推过存储链路，CPU 侧加密、校验和压缩可能先于 SSD 或网络成为瓶颈。Vera 的结果说明搜推基础设施应把数据服务算力纳入端到端容量规划；但测试仅覆盖内存驻留微基准，排除了磁盘、网络和文件 I/O，不能直接外推线上 GPU 利用率。