今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 217 篇，入选 10 篇，分数 3.70 – 4.65
美团美团针对搜推中约0.5～1B的小模型有界生成负载，采用静态DAG、AOTInductor、Packed Prefill、请求内KV共享及选择性FP8，压缩通用生成框架的调度开销。Prefill-only约100请求/秒、1500样本/秒，平均端到端延迟低于20毫秒，P99约70毫秒；该负载吞吐约为所比较SGLang路径的10倍。
CacheSmith解决RAG复用文档块KV时跨块注意力缺失、固定重算配置难以适配请求差异的问题。系统将重算拆为WarmUp、Probe和Patch，结合SLO感知组批与预算规划，动态选择成本和质量折中；在4个基准及不同到达率、突发程度下，相对4种先进基线的质量门控SLO达成率最高提高27.5%。
INSIGHT社区搜索接入答案生成时，可把答案质量达标且按时返回的请求比例作为缓存优化目标。相比只看缓存命中率或首字延迟，文中的批级规划同时考虑请求间干扰和跨文档信息损失；落地时应先测量不同重算配置的成本质量曲线，再按线上延迟预算选择配置。
Delta Tokenizer针对多轮会话重复分词的CPU开销，仅重编码新增文本及可能受边界影响的短尾部，并在安全切分点进行多核并行。增量分词约快40倍，16核处理400万字符请求快8.2倍；接入SGLang后，100K上下文的中位首字延迟下降59%，负载下会话P99首字延迟改善9.5倍。
INSIGHT社区问答和连续搜索若重复发送长历史，GPU前缀缓存之外的CPU分词也可能成为瓶颈。可借鉴会话增量状态、安全边界和长短任务共享CPU池的设计，先保证Token序列与参考实现一致；文中部分并行及服务适配组件尚待发布，试用前需核对开源范围与中文文本边界。
该方法把预训练Transformer转换为可随计算预算变化的弹性模型，通过跨多个稀疏率的软剪枝联合排序MLP神经元和注意力头，无需重新训练模型权重。在27个、2200万至80亿参数的视觉与文本编码器上评估；DINOv3剪去50%参数时线性探测准确率下降0.8%，另一视觉模型吞吐最高提高1.80倍。
INSIGHT社区搜索中的编码器可探索随流量调整计算预算，用同一模型的不同子结构承接峰谷负载。应保留统一质量评测，检查中文UGC、长尾查询和排序指标在剪枝后的变化；文中1.80倍吞吐来自视觉模型在A100上的测试，不能当作文本检索编码器已验证的加速幅度。
PN-Mix针对长输出推理的KV内存与带宽瓶颈，从RoPE通道对的注意力扰动分析出发，使用查询与键的成对范数乘积识别重要通道。它在prefill阶段一次确定混合精度分配，平均2.26位即可达到或超过使用2.32～2.39位的既有方案，并在精度预算降至1.5位时保持更平缓的退化。
INSIGHT用于社区搜索答案生成时，量化保护对象应反映查询与键的共同作用，而非仅依据键的幅值。一次prefill估计并复用通道优先级，有助于控制解码期间的额外开销；但公开摘要主要支持准确率与位宽结论，实际吞吐、缓存元数据开销及长短输出混合流量仍需单独测量。
JointServe面向显存无法容纳全部专家模型的多模型服务，把权重分片和KV块纳入统一驻留预算，通过调用意图预取、部分层驻留和可抢占传输调度降低切换成本。相对最强整模型交换基线，会话完成时间减少21.7%；在SWE-bench等轨迹回放中最高减少49%，SLO达成率由2.8%～24.5%提升至76.8%～100%。
INSIGHT社区搜索若组合查询理解、重排和生成模型，可参考统一管理权重与会话缓存，而非为每个模型独立预留显存。预取收益依赖调用方向和空闲窗口，需用真实流量评估误预取、带宽竞争和缓存恢复；论文采用代理任务轨迹回放，其收益还不能直接代表在线搜索链路。
Latent Compaction将文档KV缓存视为可优化参数，在冻结模型权重的前提下进行文档级测试时训练。它结合重建重要性、教师注意力与键空间多样性初始化缓存，再进行注意力拟合和端到端蒸馏；在RULER的32倍压缩设置下准确率达到96.7%，相同预算的KVZip+为40.0%，并在多个检索基准上评估。
INSIGHT社区搜索可对高复用长文档离线优化紧凑缓存，把额外计算摊销到后续多次问答。方法训练时不使用下游问题答案，这有助于保持问题未知时的复用价值；但频繁更新的UGC和低命中文档未必能收回优化成本，实施时应同时统计构建时间、缓存寿命、命中率及答案质量。
Primus Projection结合单设备微基准与分析模拟，预测大规模训练的吞吐和内存合法性，再通过确定性规划器与LLM调参循环搜索并行配置。DeepSeek V3在1024张GPU上的吞吐预测误差为4.7%，Qwen3在256张GPU上为1.9%；Mixtral案例在不足30分钟单节点探索后，相对同规模参考配置吞吐提高27%。
INSIGHT搜推团队训练语言模型时，可先用低成本预测排除内存不可行配置，再把昂贵的多机试跑留给少数候选。应关注张量、流水线、专家和数据并行之间的组合效应，并在自己的GPU与网络环境校准通信模型；对于只做小规模微调的团队，该方案的直接收益低于大集群场景。
SpectrumQuant从激活协方差出发构造闭式正交旋转，通过谱对齐与混合改善低位量化，而不执行学习式旋转的迭代优化。方法把Hadamard及一类蝶形矩阵纳入统一解释，在Llama与Mistral上取得与先进旋转策略有竞争力的结果；相对SpinQuant和DartQuant等学习式方法，所需GPU内存低于三分之一。
INSIGHT社区搜索部署语言模型时，可考虑把量化校准的资源成本也纳入方案选择。数据感知的闭式旋转提供了固定旋转与昂贵学习旋转之间的折中；需要用中文UGC校准集检验离群激活与语义变化，并确认目标推理内核是否支持该变换，避免校准阶段的节省被在线转换开销抵消。
KV4-RL针对异步RLVR采样中的KV负载集中与低精度采样偏差，以免校准INT4缓存配合注意力汇聚位置和近期上下文的选择性INT8保护。Qwen3-8B的400轮GRPO训练中，累计采样加速1.80倍、完整训练迭代加速1.27倍；使用共同BF16评估器时，两种规模模型的最终六基准平均准确率差距在0.5个百分点内。
INSIGHT社区搜索若用可验证奖励训练生成或推理模型，应把采样吞吐、训练迭代耗时和最终质量分开衡量。量化采样器改变行为分布，即使有重要性采样修正也可能损害学习；可借鉴对少量关键位置保留更高精度的办法，并在相同评估精度和训练预算下复核收益。
已录用 NeurIPS 2026