今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 61 篇，入选 10 篇，分数 3.30 – 4.20
MLCommonsMLPerf Inference v6.1新增端到端RAG和边缘多轮推理测试，将文档入库与查询问答分别测量，本轮共有30家提交组织。官方报告最优单加速器服务场景中，DeepSeek R1较一年前提升5.7倍，视觉语言模型较半年前提升2.99倍；这些是跨轮系统结果，不是单项软件优化的因果收益。
FLEET针对多次温度采样反复生成相似答案的问题，只记录高熵状态形成的稀疏轨迹，再利用历史轨迹及评价调整词元logits。论文报告达到重复采样基线相同准确率时可加速3倍；相同预算下，LiveCodeBench的Pass@32从59.9%升至66.2%，并公开算法与实验代码。
INSIGHT对于社区搜索离线生成查询改写或候选答案，可将采样预算集中到真正不同的生成分支，减少重复结果的验证成本。部署需要访问logits并维护轨迹状态，因此应先在可控开源推理栈试验；代码任务的Pass@32提升不能替代搜索相关性验证，还应测候选多样性与nDCG。
OpenAIOpenAI更新GPT-6提示缓存，支持30分钟窗口内符合条件的共享前缀复用，并增加命中监控、缺失诊断和显式断点。缓存输入词元最高可享90%折扣；文章引用GitHub Copilot在数十亿请求上的经验，需重新计算的提示词元占比较此前基线下降超过50%，属于厂商披露的生产证据。
INSIGHT社区搜索的Query理解和内容标注通常复用指令及工具定义，可把稳定部分放在前缀，将查询和变化的检索内容追加到后面。实践中同时观察缓存命中率、首词延迟和每次请求成本；工具列表及顺序变化会影响复用，最高折扣也不等于总请求成本下降90%，应按业务流量核算。
Tencent腾讯Hunyuan-A13B以800亿总参数、130亿激活参数的MoE架构降低每次推理计算，并通过快慢两种思考模式适配不同请求。模型使用20T词元预训练；报告中快速模式GPQA-Diamond为61.8，RULER长上下文QA平均76.7，64K至128K区间为73.9，提供开源部署参考。
INSIGHT对社区搜索可把快速模式用于常规Query理解，把慢速模式留给复杂离线标注，并分别测延迟和相关性。稀疏激活降低计算量，但800亿总参数仍影响权重驻留与跨卡通信；先以真实短文本、长尾实体和中文口语测试nDCG，再评估批处理与KV缓存，不把通用基准分数当作CTR收益。
论文比较客服多技能部署中的专用模型、多任务训练、顺序微调和模型合并，覆盖5个模型家族、13个0.6B至32B模型及8个数据集。作者使用约7.45万训练、8700评估样本训练200多个检查点，发现多任务全量微调在所有测试规模上都是最稳健的默认方案。
INSIGHT社区搜索常把意图识别、问题改写和摘要分别部署，可以借鉴统一多任务模型与专用模型路由的对照设计，评估维护成本和技能干扰。研究还发现顺序LoRA较全量顺序微调更能保留旧技能；但实验来自客服任务，迁移后仍需按搜索意图分桶验证nDCG与CTR。
论文针对长提示及生成过程的序列计算成本，用轻量合并模块将多个相邻词元替换为单个代理嵌入。解码阶段通过回滚机制把多词元KV缓存替换成单步表示，无需修改主模型结构或重新训练；跨模型实验中，有效序列长度最多缩短40%，同时报告较小的任务精度损失。
INSIGHT社区搜索可先在固定系统提示、重复模板和较长检索上下文上试验压缩，重点检查实体名、否定词和引用边界是否被代理表示损伤。40%指有效序列长度降幅，不能直接当作延迟降幅；需同时测合并模块开销、首词延迟、显存和下游nDCG或答案准确率。
NVIDIATopograph从云接口或机房网络发现GPU拓扑，转换成统一模型，再输出Kubernetes标签、Slurm配置或Slinky配置以支持就近调度。文中给出4个Pod各用1张GPU、限制同一tier-1域并优先同一tier-0域的部署例子；这些数字是配置证据，文章未提供吞吐或作业耗时的对照实验。
INSIGHT社区搜索若把向量模型训练、批量编码和生成服务共享在GPU集群，可将物理网络邻近性纳入放置约束，减少跨域通信风险。应先验证拓扑刷新、故障节点和弹性扩缩容的行为，再测作业完成时间；普通Pod亲和仅逐个放置，紧耦合多卡任务还需整体调度，不能仅凭标签保证最优布局。
该研究根据逐层移除后的词错误率变化，删除Whisper编码器中影响最小的6层，再用无标注单语言语音蒸馏恢复能力。模型沿用普通浅层编码器实现，无需专用推理代码；四种语言平均WER从基线18.2%升至直接剪枝的21.9%，蒸馏后恢复到20.1%，仍存在精度代价。
INSIGHT如果社区UGC包含语音帖子或语音查询，这种结构剪枝可降低转写服务复杂度，适合作为音频入库链路的压缩基线。需保留恢复后比原模型高1.9个百分点WER这一成本，重点评估方言、实体名及噪声语音；本文并未证明文本搜索nDCG改善，也不能按剪层比例推算端到端加速。
NVIDIANVIDIA展示基于Transformer Engine的MoE训练优化：将分散专家矩阵乘合并执行，以MXFP8降低数据表示开销，并融合量化、SwiGLU与路由权重缩放。Mixtral-8x7B在8张B200上的训练吞吐最高达到HuggingFace基线的2.21倍；融合MXFP8路径依赖Blackwell硬件。
INSIGHT虽以生物模型为案例，其优化针对通用MoE专家计算碎片化，可作为社区搜索大模型训练平台的算子改造参考。建议先用两卡最小配置确认专家并行，再比较相同精度目标下的吞吐、峰值显存和收敛；2.21倍是特定B200配置的结果，不能直接外推到现有GPU或完整业务训练周期。
论文将外包推理审计拆成先承诺全部中间状态、再随机抽查计算块的协议，并通过请求打包摊薄证明成本。TinyLlama 的47块中验证7块，仅用全量证明22.0%的时间和6.8%的体积；12个请求合并证明耗时181.9秒，比逐个证明快6.5倍。
INSIGHT对社区搜索的外包模型服务，可借鉴先固定推理轨迹再发出审计挑战的设计，把验证成本做成可配置预算。但保证仅覆盖抽中的计算块，70B实验对固定错误块的覆盖概率只有3/161，不能解释为整次推理可信；适合离线审计原型，尚不宜直接放入低延迟排序链路。