今日场景社区搜索（UGC 短文本搜索）：用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性（nDCG）和点击率（CTR），关注语义匹配、query 理解、短文本召回、排序模型及 LLM 在搜索中的应用。 — 评分 46 篇，入选 10 篇，分数 3.40 – 4.75
论文用 2,848 次可计费 Claude Code 配对运行检验上下文压缩的真实经济性，覆盖 103 个任务、7 个代码库和 3 个模型。删除 38% 工具输出 token 的方案反而使配对成本上升 6.8%；缓存流量占重建成本约 87%，说明 token 数并非账单成本的可靠代理。
Albireo 针对张量并行受调度、I/O 和采样串行开销限制的问题，通过计算重叠与序列并行采样提高最优并行度，无需修改模型架构。相较 vLLM，其吞吐最高提升 1.9 倍、延迟降低 48%、GPU 利用率提升 28%、能耗降低 54%，生产环境吞吐最高提升 2 倍。
INSIGHT扩卡不是线性提速，最优 TP 度取决于通信、KV cache 压力和运行时串行部分的平衡。对搜索生成服务，应先用剖析确定经验最优并行度，再把调度与 I/O 隐藏到计算后面；这一系统级改造比盲目增加 GPU 更可能同时改善吞吐、尾延迟和能耗。
MicrosoftELDR 从 prefill 阶段的专家激活构造签名，以平衡 K-means 划分解码 worker，并在同等局部性候选中选择负载最低者；签名缓存与 KV block 共索引。其 vLLM 实现在最多 40 张 GPU、3 个 MoE 模型和 2 类负载上，将中位 TPOT 降低 5.9%–13.9%，且输出保持不变。
INSIGHTMoE 的解码路由不能只按请求数均衡，还要让同批请求复用相近专家权重，从而缓解显存带宽与权重加载瓶颈。现有 prefill/decode 分离集群可把专家签名作为低成本路由特征，并与 prefix/KV cache 生命周期绑定，在不改模型结果的前提下降低逐 token 延迟。
Chronos 把 LLM 请求建模为带 TTFT 截止期的 prefill 作业和受 TBT 约束的 decode 任务，推导最坏响应时间、容量条件与准入控制。基于 Azure 一周 4,400 万请求轨迹抽样 5 万次回放；在 10 倍负载下维持零违约并接纳 53.9% 请求，而无准入调度的 TTFT 违约率达 99.4%。
INSIGHT高峰期追求全部接纳会让尾延迟失控，形式化准入比经验优先级更适合有硬 SLO 的生成式搜索。工程上可先为单 GPU 服务估计 prefill/decode 最坏执行时间，再把 TTFT 与 TBT 分开做容量预算；代价是主动拒绝或降级部分流量，以换取已接纳请求的可证明保障。
MonkeyOCRv2 用图文生成与像素级文档重建联合预训练视觉编码器，MonkeyDoc v2 包含 1.13 亿张、覆盖 17 种语言的文档图像。冻结编码器后配合轻量语言模型形成 0.7B 解析模型，在 MDPBench 上超过此前最佳 3B 模型 2.8 个百分点，视觉编码器约小 11 倍。
INSIGHT文档检索中的 OCR 与版面理解不应完全依赖自然图像编码器，字符笔画和布局需要专门预训练目标。对含截图、海报、扫描件的社区搜索，可用冻结的小型文档编码器前置抽取文本与结构，再送入召回和重排链路；0.7B 规模降低了在线部署与批处理成本。
TAKE 沿训练轨迹卷积基于影响函数的知识贡献，得到样本级权重，再用离散最优传输从合成候选池选择原型。论文在文本分类和自然语言推断任务上把语料压缩至原规模的 0.1%，或每类仅 20 个样本，仍保持下游任务有效性，并公开实现代码。
INSIGHT训练数据缩减应估计样本在整个优化轨迹中的持续贡献，而不是只看静态难度或一次梯度。社区搜索可把该方法用于 query—文档对、意图分类和重排蒸馏集，优先保留跨阶段都产生有效梯度的样本；极端压缩适合降低反复微调与持续学习成本。
Tencent腾讯云 ES RAG 把查询转换、混合搜索、重排序、知识库与模型管理整合为端到端平台，宣称支持百万级 QPS、千亿级向量与十亿级毫秒检索。微信读书案例估算 30 亿个 768 维向量原需逾 400 台 64G 机器，采用该链路后多路召回全程控制在 300ms 内。
INSIGHT生产 RAG 的关键不是单一向量库，而是把文本与向量混合召回、重排、压缩和弹性运维做成统一链路。对 UGC 搜索，应重点复核厂商口径下的 QPS、向量规模与延迟测试条件，并以真实内容分布做容量压测；多路召回 300ms 可作为端到端预算参考而非通用承诺。
论文构建严格按时间截断的语言模型训练流水线，使用 FineWeb 中 1 万亿个按年代过滤的 token，训练最高 4B 参数的 decoder-only 模型，并生成覆盖 2013—2024 年的月度检查点。模型接近同规模 Gemma-3-4B 与 LLaMA-7B，且公开数据构建、训练基础设施和评测代码。
INSIGHT离线回测和因果分析若使用含未来信息的通用 LLM，会产生隐蔽的数据泄漏。搜索团队可借鉴其时间版本化语料、月度 checkpoint 与可复现训练管线，为历史排序回放、趋势分析和反事实实验提供 point-in-time 模型；代价是维护多版本权重与严格的数据血缘。
TencentTokenHub 新增 0.6B/4B 文本向量与 2B/8B 多模态向量模型，统一支持 32K 上下文和 30 余种语言；输出维度分别为 1024、2560、2048 与 4096。接口兼容 OpenAI Embeddings API，单条文本上限 2,000 字符，单次建议不超过 128 条。
INSIGHT托管向量服务已开始按延迟、成本、精度和模态提供分层模型，便于搜索团队用小模型做大规模召回、用大模型处理高价值或困难请求。迁移时需关注固定向量维度带来的索引重建成本，并用本域 UGC 的短文本、口语和多语言 query 验证 CMTEB 之外的真实效果。
RINO 把掩码、深度图、姿态等结构化视觉信号全部编码为 RGB，并把分割、深度估计和条件生成统一成 RGB-to-RGB 编辑任务，共享同一编解码架构与参数。模型在不做任务专属微调时覆盖多种稠密理解与生成任务，论文未在摘要中披露统一的数值提升，并已开源代码。
INSIGHT把异构视觉任务收敛到统一输入输出协议，可减少每种模态维护独立头部和服务栈的成本。对于图文 UGC 搜索，该思路可用于统一截图分割、深度或姿态等预处理，但零样本“竞争力”仍需用业务数据验证；在基础设施选型前应重点评估 RGB 中间表示的带宽与精度损失。