今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 47 篇，入选 10 篇，分数 3.20 – 4.25
Elastic / 
IBMASH 面向大规模向量检索中的压缩与近似最近邻计算，提出学习型非正交降维加标量量化的非对称编码：库向量被压缩，查询保持原精度。论文在多类数据集和多个压缩区间上报告了领先的 ANN recall 与速度，并强调学习投影比随机降维更稳定。
GoogleAIRS 将 LLM 评分任务做成面向搜索质量评估的在线推理流水线，在有限 TPU 预算下同时服务多类评测工作流。其核心是提高推理资源利用率，并对高优先级任务提供更低延迟，从而把原本依赖人工、周期较长的搜索评估变成可持续的自动化服务。
INSIGHT社区搜索迭代不应只优化线上召回和排序，也要把 nDCG、答案质量与回归评测纳入统一推理资源池。实践上可复用 AIRS 的优先级调度思路：高优先级线上门禁抢占资源，低优先级离线评测利用剩余容量，并记录吞吐、延迟、评测一致性三类 SLO。
Georgia Tech
Intel
University of MarylandGEAR 针对自回归生成时不断膨胀的 KV Cache，先将大多数相近幅值条目压到超低比特，再用低秩矩阵拟合量化误差、用稀疏矩阵修复离群误差。论文报告在 2-bit 压缩下相对既有方法最高提升 24.42%，峰值显存最多降低 2.39 倍，吞吐提升 2.1–5.07 倍。
INSIGHT如果社区搜索把生成式摘要、改写或问答放进在线链路，KV Cache 会直接影响并发与显存成本。GEAR 的“低比特主体 + 低秩残差 + 稀疏修复”适合封装在现有推理引擎旁路做 A/B；上线前应按上下文长度和输出长度分别校验事实性、TTFT 与长尾显存，而不是只看平均吞吐。
论文把 RAG 管线选择形式化为效果与资源约束下的定量决策问题，比较文本/视觉两种模态以及 dense/late-interaction 两类架构。作者在 FinReport 与 TechReport 两个真实文档集上同时测检索质量、索引成本、内存和延迟，展示视觉单向量与视觉多向量在效果和服务代价之间的明确取舍。
INSIGHT对社区内容搜索，先按文档结构和延迟预算选检索管线，比盲目升级到多向量更稳妥。可以把论文的选择方法改成离线容量评估：短文本优先 dense，只有布局、表格或多模态信号真正带来收益时才引入视觉/late interaction，并把索引更新时延和 P99 纳入验收。
EPFLMPI-SWS
Microsoft
Aarhus UniversityCache Saver 是一个不改业务调用逻辑和底层模型的客户端推理优化层，通过命名空间感知的列表缓存保证同一命名空间内响应独立同分布并支持复现。论文在 3 个 LLM、5 类推理策略和 5 个任务上评估，平均降低约 25% 成本与 35% 碳排；做多方法对比或消融时，成本与碳排降幅约 60%。
INSIGHT搜索团队常需要反复跑离线标注、重排评测和消融，缓存如果只做语义近似会破坏统计完整性。Cache Saver 的命名空间与可复现设计可作为评测网关的低侵入改造：把 query、模型版本、提示模板和随机种子纳入键，优先复用离线实验结果，把 GPU/接口预算留给真正新增的样本。
GoogleGoogle 的大规模优化实践聚焦分布式服务中的负载均衡、缓存、资源争用和无效计算削减，并将这些方法用于 Search、Ads、Gemini、YouTube 等基础设施。资料强调 power-of-d-choices 一类在线算法能改善尾延迟和错误率，同时提高系统利用率，而不是只追求单机峰值吞吐。
INSIGHTUGC 搜索的用户体验更容易被 P99 和资源争用拖累，而非平均 QPS 限制。可把候选召回、Embedding 服务和重排模型按负载分层，用少量候选节点的动态选择配合 cache-aware 路由；评估时同时看尾延迟、错误率、利用率与缓存命中，避免局部优化把压力转移到下游。
NVIDIACUDA Python 1.0 将 GPU 编程能力整理为稳定的 Python API，目标是减少从 Python 原型进入 CUDA 扩展时的 C++、构建工具链和绑定成本。对搜索/推荐基础设施而言，它更接近开发效率与算子迭代能力的升级，可用于快速验证自定义量化、融合算子和数据预处理路径。
INSIGHT当搜索排序或向量检索的瓶颈落在长尾自定义算子时，稳定的 Python GPU 接口能缩短从实验到性能剖析的周期。建议先在离线批处理与 shadow 流量中验证 kernel 的数值一致性和显存行为，再把成熟算子下沉到生产扩展；不要把 Python API 的易用性误当作线上延迟已经达标。
Alibaba阿里云 PAI 展示了覆盖 CPU/GPU/RDMA 资源、数据与模型工具、训练/推理加速和场景化应用的四层架构，并把 TorchAcc、EPL、BladeLLM、容错训练和快照管理串成训推一体链路。平台同时面向搜索、推荐、向量检索与大模型部署，强调从数据准备到在线服务的闭环。
INSIGHT对社区搜索团队，最有价值的是把模型、特征、Embedding、索引和推理服务放在同一条可观测流水线上。落地时可先拆出训练加速、模型发布、在线推理和回滚四个接口，统一版本与资源标签，再根据 nDCG/CTR、TTFT、GPU 利用率和故障恢复时间决定是否扩大平台化范围。
OpenAIOpenAI 公布 Jalapeño 定制推理芯片的首轮结果，重点比较现代模型服务中的吞吐、延迟和能效。它代表推理基础设施从通用 GPU 走向模型、编译器、互联和芯片协同设计的趋势，但目前信息主要来自厂商披露，适合视作架构方向和基准方法参考。
INSIGHT社区搜索若引入大模型改写、摘要或多路重排，硬件能效会逐渐成为单位请求成本的关键变量。短期不宜直接围绕单一芯片重构服务，而应先把模型、精度、批大小、上下文长度和并发固定，建立跨硬件可复现的 TTFT/TPOT/能耗基线，再决定是否采用专用加速。
NUS
HKUSTzkGPT 为 GPT 类模型推理构造非交互零知识证明，在不泄露模型参数的情况下让服务方证明输出确实来自约定模型。方法针对线性层与非线性层设计更高效的证明、约束融合和电路压缩，并在 GPT-2 上把一次推理证明时间降到 25 秒以内，相对既有系统最高获得约 279 倍加速。
INSIGHT对于需要审计的搜索/推荐大模型服务，zkGPT 提供了“结果可验证”而非只信任服务商日志的方向。它目前更适合作为合规或高价值离线任务的研究储备，线上短文本搜索仍应优先采用版本签名、输入输出留痕和抽样复算；若验证成本继续下降，再评估是否进入关键链路。