今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 47 篇，入选 9 篇，分数 2.80 – 4.45
中国科学院 / 
百度针对长上下文推理中注意力和 KV Cache 增长的问题，论文从冻结 Q/K 投影矩阵的谱几何出发，用有效秩识别 retrieval/streaming head，并采用稀疏注意力。50% 稀疏率下平均保留 Full Attention 96.5% 性能，256K 上下文将 KV Cache 降低 50%，prefill/decode 延迟最高下降 41.4%/66.0%。
BOute 针对异构 LLM 与 GPU 共存的服务环境，把模型路由和部署配置放进同一个多目标贝叶斯优化框架，联合权衡响应质量、延迟与成本。它面向真实部署中“选哪个模型、放在哪类 GPU、如何分配副本”的组合决策，适合作为推理平台自动调参和成本治理的系统方法。
INSIGHT当社区搜索同时承载短 query、长上下文问答和多模态请求时，最优配置不会固定在单一模型或单一卡型上。可以把 nDCG/CTR 代理质量、TTFT/P99 与每千 token 成本作为统一目标，先做离线 trace replay，再让优化器逐步接管路由；质量约束必须设硬门槛，避免成本优化把请求推向不可用模型。
BROS 面向同一服务池中实时请求与 best-effort 请求并存的 LLM 负载，目标是在不牺牲后台吞吐的前提下满足实时请求的延迟约束。系统把混合请求调度形式化为带服务等级目标的调度问题，并用动态优先级算法在线调整资源和队列顺序，适合作为多租户推理网关的调度层设计参考。
INSIGHT社区搜索里既有在线 query 改写、摘要，也有离线批处理任务，单一 FIFO 或固定优先级会让两类负载互相放大尾延迟。BROS 的价值在于把请求类型和 SLO 直接纳入调度状态；上线前应按 TTFT、TPOT、完成率和 best-effort 吞吐做四象限压测，而不是只看平均 tokens/s。
FutureBridge 研究大小模型协同解码中的 token 选择问题：大模型只负责扩展候选，小模型用共享的、经过答案验证的未来片段评估每个候选对后续推理的兼容性，再把该信号蒸馏成轻量 reranker，部署时不生成未来后缀。它在 5 个数学推理基准上让 Qwen3-1.7B 的 Math Avg 相比贪心解码相对提升 35.1%。
INSIGHT论文把“哪个 token 更像大模型偏好”改成“哪个 token 更容易被小模型继续使用”，这是推理路由和 speculative decoding 中很实用的目标重定义。对搜索生成摘要，可让大模型只提供少量候选，把额外计算压缩在 token 级 rerank；上线需要单独控制调用预算，避免候选扩展抵消小模型节省的成本。
TEXAS 利用 MoE 路由轨迹做下游适配：先比较模型在成功与失败样本上的 expert 激活，筛出与任务成功相关的专家，再对失败样本中命中这些专家的答案 token 提高监督权重。它不强制固定 expert 子集或目标路由分布，在 3 个 MoE 模型、6 个基准的 18 个设置中取得 17 次最佳或并列最佳，平均领先最强基线 1.3–1.5 个百分点。
INSIGHT对搜索/推荐基础模型做领域微调时，不必只按专家使用频率裁剪容量；正确性条件化的路由信号能把训练预算集中到真正影响任务成败的 token。实践上可将成功/失败 cohort、expert 激活和线上 nDCG/CTR 变化关联起来，再决定是否做 token-level loss reweighting，避免把高频但无效的专家当成优化目标。
论文发现 mask 与预测 token 的 embedding 夹角约 73°，欧氏插值不适合球面几何。S-SM 用球面均值和 SLERP 融合预测与 mask；在 169M MDLM 上，MAUVE 最高为基线 2 倍，相比 TopK/LERP 提升 27.5%–56.1%，困惑度下降 16.9%–19.6%。
INSIGHT这项工作提醒推理优化不能只看 kernel 或步数，还要检查模型表征空间的几何假设。若未来把扩散式生成用于搜索摘要或候选重写，soft feedback 的插值规则应和 embedding 几何共同设计；S-SM 是无需改动主干模型的 drop-in 优化，但仍需在真实文本质量和延迟之间做联合评估。
GRASP 将匿名器、攻击者和效用评估器合并到小型本地模型，用 Group Relative Policy Optimization 优化“隐藏敏感属性、保持语义”的奖励。基于 Llama-3.1-8B，论文报告其在 3 个独立 LLM judge 上优于 DPO 基线，与 Gemini 2.5 Flash、Claude 的整体权衡相当，成本约为 GPT-4o 教师的 1%。
INSIGHT对社区 UGC 场景，查询日志和帖子内容的脱敏更适合在端侧或私有集群完成，而不是把原文发送给第三方大模型。GRASP 的系统启示是把隐私攻击成功率与语义保持率放入同一个在线不可见评估回路，并用小模型承担常规流量，把大模型调用留给高风险样本。
清华大学
香港大学
腾讯Simple-OPD 以 OPD 教师生成的 CoT 做 LoRA warm-up，再进入标准 OPD。Qwen3 学生/教师在 MATH-500、AIME24、AIME25 上验证；三种 OPD 目标的 ID 平均分分别提升 1.35、1.57、0.95，思考模型的 ID/OOD 平均分从 42.36/35.43 提升到 43.81/36.28。
INSIGHT它给训练基建一个低风险的默认配方：先用同一教师的 CoT 做低秩 warm-up，再进行 on-policy 蒸馏，避免全参 SFT 对 OOD 能力的持续破坏。对于搜索领域模型，可把业务 query 改写或排序解释作为 teacher-compatible traces；warm-up 约 150–175 步、LoRA rank 16–32 是值得优先复现实验的区间。
OpenAI这篇 OpenAI 官方文章是面向 AI 基础设施建设的行业实践材料，围绕得州项目强调可靠性、透明度与负责任扩张，但没有给出可复现实验、吞吐或延迟数据。它更适合作为工程治理背景项，而不是推理算法论文；本次将其作为“工业实践”覆盖项保留，分数低于 3.0 的原因也在此明确标注。
INSIGHT基础设施选型不能只比较 tokens/s：社区搜索服务还要把可观测性、容量规划、数据合规、故障隔离和能源约束纳入 SLO。对本地团队，建议把这些治理要求写成部署验收清单，与 TTFT、P99、成本和质量回归一起评审，而不是在上线后再补安全与透明度。