今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 48 篇，入选 10 篇，分数 3.45 – 4.40
ARCHead 针对权重化量后仍以 BF16/FP16 保存的语言模型输出头，提出激活度量驱动的低秩核心、分组 INT4 残差和低秩校正组合。Qwen3-8B-Base 上，输出头存储降至 BF16 的 25.6%，相对困惑度为 1.007；相对朴素 INT4 的 1.14–1.16 更稳，吞吐变化小于 2%。
Alibaba阿里云 OpenSearch 把分布式搜索、查询语义理解、机器学习排序、文档切片、向量化、召回、排序、效果评估和 LLM 服务组合为一站式链路。平台同时提供向量检索版本，覆盖 RAG、推荐、相似性检测和语义搜索，强调在线性能、效果与稳定性，适合直接承载企业级搜索基础设施。
INSIGHT对 UGC 搜索而言，真正可落地的基础设施不是单一向量库，而是把文本解析、embedding、混合召回、重排和评估串成可观测组件。可借鉴 OpenSearch 的模块化边界，保留现有倒排召回与 nDCG/CTR 监控，再按 query 类型灰度接入向量检索和 LLM 服务，降低一次性重构风险。
这项实证研究比较 vLLM、SGLang、TensorRT-LLM、LMDeploy 和 FlashInfer 五类 LLM 服务框架，观察它们在真实工程中的采用情况与系统设计。结果显示 vLLM 的可见度和采用度最高，平行计算、内存管理与网络裁剪是最常见的优化类别，为选型和容量评估提供了现实基线。
INSIGHT服务框架选型应先按工作负载拆解，而不是只看单一吞吐榜单。建议把 prefill/decode、KV cache、并行策略、网络开销和模型支持矩阵纳入统一压测，分别记录 TTFT、TPOT、p95 延迟、GPU 利用率和每千 token 成本，再决定 vLLM、SGLang 或 TensorRT-LLM 的主栈。
University of HelsinkiVIBE 是面向 embedding 的向量索引基准，针对旧基准不能代表现代 RAG 与多模态负载的问题，提供数据生成、ANN 评测和跨分布测试流程。它覆盖 dense embedding、OOD 查询/语料、多模态检索与最大内积搜索，帮助比较索引构建速度、查询延迟、内存和召回之间的工程权衡。
INSIGHT社区搜索的向量库评测不能只用同分布随机向量和单一 Recall@K。可以复用 VIBE 的 OOD 与 MIPS 思路，加入短 query、长尾帖子、冷热分层和索引更新压力，形成“召回质量—P99 延迟—内存—更新成本”四维门槛，避免离线榜单掩盖线上退化。
论文把扩散语言模型的推理改为“先生成完整草稿、再双向整体修订”，并提出 Mini-Flash 草稿模型到 Flash 修订模型的 speculative correction。LLaDA2.1-Flash 自修订在 GSM8K-384 上将准确率从 0.848 提到 0.899，同时速度为基线的 1.20 倍；MBPP-384 从 0.545 提到 0.693。
INSIGHT推理加速不一定只能缩短单步计算，也可以让便宜模型先提供可编辑的全局草稿，再让强模型集中修正。对搜索生成摘要或复杂 query 改写，可把候选草稿作为受约束初始化，并分别监控质量、草稿接受率、修订 token 数和 TTFT，防止全局修订抵消节省的算力。
OmniPack 面向音频—视觉长序列的高计算开销，提出无需训练的两级 token 压缩：模型前先按模态重要性、全局覆盖和相似度合并结构冗余，模型内再利用文本引导做任务相关语义精炼。作者在多组低 token 预算实验中验证了它相对单独前置压缩或模型内压缩的稳健性。
INSIGHT多模态搜索或内容理解服务可以把压缩拆成“结构去冗余”和“任务保语义”两步，而不是一次性截断 token。实践中应先在离线数据上画 token 预算与 nDCG/答案质量曲线，再将全局覆盖约束、相似度合并和 query 条件精炼接入缓存层，以同时控制显存和质量损失。
LLaDA MoE v2 系统研究扩散语言模型中混合专家架构的缩放规律，比较优化超参、计算预算、模型—数据分配和专家粒度。结果表明，最优 nominal batch 随计算量增长更快，学习率衰减更快，token 预算略偏向数据侧；在固定激活容量下，大规模模型更受益于更大的专家池。
INSIGHTMoE 的扩容不能直接照搬自回归模型的 scaling law，训练批量、学习率和专家池大小需要联动调参。若将扩散或稀疏模型用于搜索生成，建议先固定激活 FLOPs 做 iso-compute 对照，再同步监控专家负载均衡、通信成本、有效 token 吞吐和线上延迟，避免参数增长转化为闲置专家。
论文发现 ALiBi 的线性位置偏置在浮点精度下可能发生下溢，使大量注意力权重归零，长上下文中的 token 检索因此失效。作者在 148M 参数解码器上分析该问题并比较四类训练期修复；log-scaled distance 带来最稳定的 passkey retrieval 改善，说明常规解码基准可能漏掉数值盲区。
INSIGHT长上下文检索服务要把数值稳定性当作基础设施指标，而不是只看语言建模 loss。上线前应加入 passkey、长 query、跨段引用和不同 batch/精度组合的回归测试，同时检查注意力权重下溢、KV cache 精度和量化后的召回变化，避免模型“看似能生成、实际找不到证据”。
Tencent腾讯云 TI-ONE 提供从数据准备、开发调试、模型训练、评测到模型服务部署的完整大模型工程链路，并接入存储、镜像、权限、监控和日志组件。平台将训练加速、推理加速与生命周期治理放在同一套基础设施中，适合企业把实验流程标准化后再向搜索推荐场景迁移。
INSIGHT训推平台的价值在于把数据、模型、算力、服务和观测统一成可审计的交付单元。社区搜索落地时可借鉴其边界：为 embedding、reranker 和生成式服务分别维护模型版本、特征快照、GPU 配额、灰度流量和回滚指标，先解决复现与运维，再追求更复杂的模型结构。
UC BerkeleyUC Berkeley 技术报告总结开源 LLM 推理服务系统的共同设计，将延迟目标拆解到模型流水线、调度和基础设施层，并讨论如何把这些目标转化为可扩展部署。报告提供了从单卡到分布式集群的系统化视角，适合作为服务栈压测和架构评审的参考框架。
INSIGHT推理平台评审应把“模型快不快”拆成可定位的流水线预算：排队、路由、prefill、decode、通信、缓存和序列化各自设 SLO。对搜索链路，建议以 query 级 p95/p99 和单位请求成本为总约束，再决定缓存、并行、批处理或模型裁剪的优先级，而不是只优化单算子吞吐。