今日场景社区搜索（UGC 短文本搜索）：关注搜索相关性、点击率、语义匹配、query 理解、短文本召回、排序模型及 LLM 搜索基础设施。 — 评分 47 篇，入选 10 篇，分数 3.65 – 4.35
Alibaba论文拆解 Qwen3.8-Flash-Next 的稀疏 MoE 架构：总参数 125B、每个 token 激活 6B，并把 51B 的 n-gram 表移出加速器。模型在 14 个预训练基准中有 8 个超过 397B-A17B 前代，同时仅用约三分之一激活参数、三分之一训练 token 和九分之一训练 FLOPs。
论文针对推测解码中“首个拒绝后全部丢弃”的真实验证机制与传统逐 token 模仿目标不一致的问题，提出 VAT 插件式训练框架。它联合训练轻量二分类验证头，并按每个样本首次拒绝位置动态重置损失衰减，使草稿模型直接学习候选 token 能否通过顺序验证。
INSIGHT优化草稿模型时，关键并非只逼近目标模型的 token 分布，而是显式建模服务端真正采用的连续接受长度。验证头和自适应权重不改变目标模型，适合接入现有 speculative decoding 栈；工程评估应重点观察接受长度、端到端吞吐与验证开销，而不只看草稿困惑度。
RSLM 提出无需训练的旋转缩放 Lloyd-Max 向量量化，将 ANN 检索中的 embedding 压缩到每维 1–4 bit。方法对粗排与重排阶段都编码残差向量，并校正量化后的 L2 范数，使常见至少 8 bit 的高精表示可降至 2–4 bit，同时在多个基准上维持或提升召回率。
INSIGHT这项工作的价值在于把量化从离线模型训练问题变成可直接部署的检索编码器，降低向量库内存和带宽压力。对社区搜索，可先在大规模候选库的近似打分与重排副本上灰度，分别测 recall@K、P99 延迟和内存占用；MIPS 场景必须保留范数校正，否则低比特收益可能被召回损失抵消。
NoRA 从 LoRA 上投影零初始化导致早期优化主要受下投影控制这一现象出发，对下投影矩阵做归一化。该操作既可贯穿训练，也可只在初始化执行；论文在预训练、监督微调与强化学习中观察到更快收敛、更稳定训练和更少灾难性遗忘，且不增加可训练参数与推理计算。
INSIGHT这是低风险、低侵入的训练基础设施改动，尤其适合已有 LoRA 微调流水线做对照实验。团队可先只采用初始化归一化以避免训练时额外算子，再比较相同 step 下的损失、下游指标和遗忘程度；若跨任务收益稳定，再升级为全程归一化，而无需调整线上 serving 图。
MicrosoftLLM-42 聚焦生产推理中相同输入无法稳定复现输出的问题，以 verified speculation 在保留推测执行加速路径的同时建立确定性生成。该系统把推测结果视为必须经过目标模型验证的候选，使性能优化不再以牺牲调试、审计和回归测试所需的可复现性为代价。
INSIGHT确定性应被视为 serving 平台能力，而不是简单固定随机种子：并行调度、数值归约与推测接受路径都可能改变结果。对于搜索摘要或排序解释服务，可把确定性模式用于离线评测、事故复盘和高风险请求，把高吞吐模式用于普通流量，并分别监控 token 一致率、延迟与吞吐。
NVIDIANVIDIA 的工程文章面向推理容量规划与总拥有成本，讨论如何从模型规模、并发、上下文长度和服务目标估算 GPU 需求，避免只按峰值采购造成闲置。文章把性能测试与成本模型结合，强调吞吐、首 token 延迟、输出 token 延迟和利用率必须在同一业务负载下评估。
INSIGHTGPU 选型不能用单一 tokens/s 数字外推，社区搜索的短 query、批量 embedding、重排和生成式回答具有完全不同的 prefill/decode 比例。实践中应建立真实流量回放，按 P50/P99 SLO、容灾余量和峰谷弹性计算容量，并把量化、批处理与缓存带来的成本下降纳入同一 TCO 表。
REIGN 用冻结 Guidance Network 预先生成并缓存 chunk embedding，再由对比学习双塔在 chunk 序列上做文档级推理，避免长文 token 编码的二次方成本。论文称相较 chunked Transformer 微调，单文档训练成本约降低四个数量级，并发布用于长上下文对比训练与评测的合成长文检索基准。
INSIGHT将昂贵的 token 表征与文档级关系建模解耦，能把长内容检索训练转化为缓存特征上的轻量学习问题。对于 UGC 搜索，可缓存帖子或会话分块表征，仅在文档聚合器上迭代；但上线前要验证缓存陈旧、单 chunk 路由到原 GN 与多 chunk 路由到 REIGN 时的分数校准。
GoogleGoogle Research 发布 TimesFM-3，将零样本时间序列基础模型扩展到多变量预测，使多个关联序列可在统一模型中联合建模。相较为每个业务指标单独训练预测器，这一路线面向数据管理与容量规划提供通用预测底座，适合快速覆盖缺少专用训练样本的新指标。
INSIGHT对搜索基础设施而言，多变量零样本预测可用于联合建模 QPS、GPU 利用率、队列长度和延迟，减少每条监控曲线单独维护模型的成本。落地时应优先评估分布突变、节假日和发布事件下的误差，并保留简单季节基线；基础模型的平均收益不能替代峰值容量保护。
论文报告乌兹别克语法律 RAG 在托管云与本地受限硬件两种环境的构建与运行：云端受每 token 成本约束，本地端受数据出域、开源权重和延迟约束。作者建立含 178 条专家标注查询的检索基准，以及 504 条专家整理问答的端到端基准，并验证 LLM judge 与人工判断的一致性。
INSIGHT同一 RAG 产品不应把云端最优配置直接复制到私有化环境；检索器微调、模型选择和评测门槛必须随数据合规、硬件与成本约束分层。社区搜索团队可复用其双基准设计，把召回质量与最终回答分开诊断，并为云端和本地部署维护独立的延迟—质量 Pareto 前沿。
FISICA 是已投产的体态评估与推荐服务，单次站立采集两张照片及由 634 个 1 厘米网格压力元件和 4 个称重传感器产生的数据，输出 3D 化身、报告与鞋类/训练建议。生产中通用 API 中位响应 0.023 秒，足底压力分析 0.45 秒，展示了完整的端到端服务指标。
INSIGHT系统把规则本体保留为推荐决策源，只让语言模型解释已存结果，从架构上限制幻觉影响，这是高风险推荐服务值得借鉴的边界设计。其“用同一测量函数校准真人与化身”的闭环也说明，线上系统应让数字孪生输出接受业务测量而非仅靠视觉观感验证。