今日场景社区搜索（UGC 短文本搜索）：核心指标为搜索相关性（nDCG）和点击率（CTR）；本赛道重点关注支撑搜索与生成式应用的训练、推理、编译、缓存、调度和向量基础设施。 — 评分 39 篇，入选 10 篇，分数 3.35 – 4.60
针对长上下文推理中 KV Cache 的内存瓶颈，VarRate 按查询显著性为每个 token 分配不同低秩预算，并保证所有 token 都保留非零秩，无需训练。在 LongBench 16 项任务、20% 缓存预算下，Llama-3.1-8B 与 Qwen2.5-7B 距未压缩模型均不足 0.8 分，预填充开销约为 KVzip 的八分之一。
论文发现权重共享的循环 Transformer 在不同循环步上的 KV 向量形成低秩轨迹，提出 LLA 在读取注意力时才重建循环特定 KV。在单张 H200、4K 上下文下，21.3 倍压缩把 Ouro-1.4B 批容量从 32 提升到 768；Huginn-3.5B 的 SVD 编码在 32 倍压缩下仍接近无损。
INSIGHT循环维度比头或层维度更适合做低秩压缩，说明压缩轴的选择比统一量化位宽更关键。若服务使用循环式小模型，可把激活采样、SVD 初始化和按需重建接入现有 KV 管理器，并用真实长推理流量验证重建开销与批容量收益。
论文用 MLIR 的 TopOp 与 TpuOp 两级方言打通模型语义和芯片相关的量化、层分组及内存布局，并把每个 Transformer 层静态拆成 prefill、带历史 KV 的 prefill_kv 和 decode 三阶段。实现已进入 TPU-MLIR 与 LLM-TPU，覆盖 Qwen、Llama、InternVL、MiniCPM-V 及 GPTQ、AWQ、AutoRound。
INSIGHT高层模型表示与目标芯片决策分离，可降低国产或专用加速器接入新模型的重复工程量；三阶段静态编译也更贴合预填充和逐 token 解码的差异。实践上应重点评估算子覆盖率、动态 shape、KV 生命周期和量化校准，而不能只看能否成功生成二进制。
BIRD 先用简洁指令采样正确短推理轨迹，再以原任务提示做轻量 SFT，随后进行在线反向 KL 自蒸馏，避免从冗长且偏航的前缀冷启动。在 Qwen3-8B 上，MATH-500 准确率由 86.2% 升至 92.0%，平均回答长度由 3099 token 降至 1115 token。
INSIGHT推理压缩不只是截短输出，训练前缀分布决定后续自蒸馏是否能学到高效轨迹。对需要大规模调用推理模型的搜索或智能问答，可先用正确性过滤构建短轨迹热启动集，再评估 token 成本、首字延迟和答案质量的联合收益。
H-MAS 面向请求突发、组成漂移和长期负载变化的多租户 LLM 服务，以感知预测、短长周期反馈、分层控制和执行四层闭环动态切换策略与参数。负载扩展实验和 Azure 轨迹回放中，其 Goodput 比 SGLang 与 vLLM 高 1.2–3.0 倍，并在异构 SLO 下保持更稳定的 QoS。
INSIGHT单一 FCFS 或固定调度策略难以同时适应秒级突发与小时级分布变化，分层控制把慢速策略选择和快速执行参数调优分开。生产接入时可先将其作为现有 serving 引擎上层控制器，逐步引入请求成本预测和 SLO 状态反馈，避免直接替换底层执行面。
NVIDIANVIDIA 从 AI 工厂的扩展需求出发，介绍 NVLink 作为 GPU scale-up 网络，目标是让更大的模型和更复杂工作负载跨加速器协同运行。文章侧重互连架构与部署定位，未给出可独立复现的对照实验，因此更适合作为集群拓扑和带宽规划参考，而非性能结论。
INSIGHT当模型并行通信成为瓶颈时，仅增加 GPU 数量不会线性提升吞吐，互连带宽、拓扑与集合通信实现必须协同设计。搜推团队规划训练或推理集群时，应以真实张量并行和专家并行流量压测 NVLink 域，并把跨域通信惩罚写入放置与调度策略。
论文在 13 种语言、5 套文字系统的平行句上，用统一瓶颈比较 token、byte 与 pixel 编码，并分别测量表面形式、跨语种对齐和主题分类三类效用。结果显示不存在全局最优编码：pixel 最保留表面形式，byte 更利于同文字体系跨语对齐，token 在主题预测上最好。
INSIGHT序列长度不能单独代表编码效率，真正需要比较的是给定算力和瓶颈容量下保留了多少任务相关信息。多语言社区搜索在选择 tokenizer 或 byte-level 模型时，应按语言组合、召回任务和推理预算绘制自己的 rate-utility 曲线，而不是沿用单语基准。
AdaLook 针对扩散语言模型的一步前瞻过短、固定深度前瞻又浪费计算的问题，依据候选分数方差动态决定是否继续 rollout，并在信息量高的中间状态扩展分支。多模型与多基准实验显示其准确率—解码步数权衡优于现有一步前瞻，但摘要未披露统一的提升幅度。
INSIGHT把前瞻深度做成状态相关决策，比为所有 token 使用相同搜索预算更适合并行生成。若扩散语言模型进入线上摘要或查询生成链路，可将候选方差作为轻量置信信号，同时对尾延迟设硬上限，避免少数难例触发过深 rollout。
该工作提出面向图像 embedding 检索的统一向量数据库基准框架，按真实工作负载比较存储、查询、扩展性及部署选择，并覆盖从千级到十亿级向量的规模变化。公开摘要未列出各数据库的具体胜负数值，核心价值在于用工作负载感知的方法替代单一 QPS 排名。
INSIGHT向量库选型应同时约束召回率、尾延迟、写入更新、过滤条件与成本，单一小规模吞吐测试很容易误导生产决策。社区多模态搜索可复用该框架建立分层数据规模和冷热查询集，并把索引构建与扩容期间的稳定性纳入验收。
Tencent Cloud文章汇总腾讯云推理平台的动态批处理、KV Cache 复用与量化三层优化案例：某互联网客户推理集群由 80 张 GPU 降至 30 张，成本降低 60% 以上；TI-ACC 示例中 Llama 3.1 8B 在 A100 上吞吐由 1200 提升至 3200 token/s。
INSIGHT案例表明批处理、缓存复用和量化的组合收益可能显著高于单点优化，但文章不是同行评审论文，数据口径仍需独立复核。落地时应按模型、上下文长度和 SLO 分桶做 A/B 压测，并同时记录精度、P99 延迟、GPU 利用率和单位 token 成本。