今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 59 篇，入选 10 篇，分数 3.70 – 4.45
论文针对解码式 LLM 难以利用文档全局信息的问题，把经典 Query Likelihood 建模改造成密集检索的辅助训练目标。LLM-QL 由 Attention Block 和 Document Corruption 两个模块组成：前者屏蔽文档结束标记前的预测注意力，后者随机遮盖文档词元，再接对比学习训练检索器。在 MS MARCO 和 BEIR 两类数据上，模型优于其他 LLM 检索器，并通过组件分析验证了两部分设计。
论文研究索引持续增长时，新增非相关文档是否会伤害原有检索效果。作者合并两个主题重叠很小的数据集，将模型分为不依赖集合统计的 MDA 与依赖其他文档的 MDD，并比较检索和重排表现。结果显示两类模型都会退化；在检索阶段 MDA 更有效，而 MDA 与 MDD 重排器效果相当。
INSIGHTUGC 索引扩容不能只看静态 nDCG：新增噪声内容可能改变 BM25 的 IDF、候选分布和 listwise 重排上下文。上线前应建立“集合增长回归集”，分别监控召回、重排和跨快照稳定性；对短文本场景，优先验证集合无关的 dense/双塔模型是否更抗污染。
论文用 RankLLaMA 的 LoRA 消融和注意力分析解释相关性行为如何形成。即使 MLP 层全部使用 LoRA，只在网络中部紧凑区域更新注意力，也能恢复全注意力微调所带来收益的一半以上；移除该区域的注意力更新损失最大。性能增益还与稀有词敏感性、query-document 交互和组合式 IR 特征的注意力增强相重合。
INSIGHT短文本精排未必需要全层 LoRA。可先定位中层对词稀有度和 query-item 交互最敏感的注意力区间，再做局部适配，以降低参数、显存和回滚成本。上线评估要把整体 nDCG 与长尾词、实体词、组合意图切片结合，避免只优化平均相关性。
论文提出 Snapshot Compatibility Audit，专门测量索引扩展造成的答案变化，并用同一快照的重复分歧扣除模型自身随机性。在 Natural Questions 的 400 个问题上，FineWeb 索引从 1 个扩展到 7 个分片后，标准化精确匹配与盲语义答案 churn 分别达到 6.44 和 10.25 个百分点，但 exact-match 准确率仅变化 -1.50 个百分点。
INSIGHT搜索系统的“准确率不变”不代表用户体验稳定。对社区搜索和 RAG，应在每次索引增量后固定查询快照，分别记录结果集变化、证据变化和最终答案变化，并用重复运行估计噪声基线。该审计能把隐藏的索引回归提前暴露给灰度和 A/B 流程。
论文给出单向量与多向量检索之间的首个显式指数级表达能力分离：对构造的 query-document 相关矩阵，单向量模型要保证相关文档全部排在无关文档前需要指数规模，而多向量只需多项式规模。作者进一步提出 ANDOR 基准；单向量模型零样本表现较差，微调改善有限，多向量模型则稳定优于单向量并能从微调中获益。
INSIGHT这项理论结果说明 late interaction 并非只是在 benchmark 上的经验技巧，而是能表达单向量无法表达的相关性结构。对 UGC 搜索可先在高价值、语义多面且候选量可控的精排层引入多向量，再用 AND/OR 类 hard query 检验收益，避免直接把高成本结构推到全量召回。
KSE-Web 面向低资源、高混合语言检索，构建了约 1.7 万个候选标题、3,000 篇清洗文档和 300 个用户式查询，并比较字符 n-gram BM25、多语 dense、混合召回及 Qwen2.5 查询扩展。实验中 BM25 达到 Recall 0.943、nDCG 0.876，成为最强整体基线，说明词法信号在边界模糊和标注稀缺语言中仍然关键。
INSIGHT短文本社区搜索不要把 dense 或 LLM 扩展当成默认答案。更稳妥的路线是 BM25、字符级特征和 dense 召回并行，按语言、实体词和长尾 query 切片评估；只有当扩展带来可复现的 nDCG 增益时，才把 LLM 查询改写纳入线上链路，并配套幻觉和延迟保护。
HIRA 是一个无需更新模型权重的检索增强分类级联：先对 OCR 文本做 BM25、dense embedding 和图像表征的校准加权 RRF，置信样本直接由检索结果分类；不确定样本交给本地 LLM verifier，仍不确定则进入人工审核。每次人工修正都会作为带 margin 权重的 exemplar，并更新 Dirichlet 平滑的混淆图，使系统持续改进。
INSIGHT对 UGC 搜索的 query 意图和内容安全分类，可借鉴“检索先行、低置信升级”的级联。它把昂贵模型预算留给难例，把人工反馈沉淀为可检索样本；实践中应单独校准置信度、记录混淆类别漂移，并在规则、dense 与 LLM 三路之间设置可回滚阈值。
Hypergraph Embedding Index 将文档按 embedding 中高激活维度的组合组织起来，把 dense ANN 的候选生成改写为类似倒排索引的路径，同时保留语义排序能力。作者进一步构造多个互补超图，提升覆盖率而不让单一超图的维度组合发生组合爆炸，并提出 activation diversity 作为评估坐标倒排效率的诊断指标。
INSIGHT对社区 UGC 的大规模向量索引，这个方向提供了“语义向量 + 倒排候选”的新折中。工程验证应优先关注召回率、索引构建时间、内存和更新成本，并用 activation diversity 判断哪些 embedding 维度适合倒排化；不要只以离线相似度提升替代端到端 QPS 评估。
Industrial-Instruction 处理工业报告中段落、规格表和版式混杂导致的检索与问答困难。作者以 906 份 Panasonic 公共文档、7,525 页材料为输入，经过版式感知抽取和语义索引，从 2.39 万条生成样本过滤出两套约 1.36 万 QA 对，覆盖无关、单文档、多文档支持及单/多文档答案五类 query-document 关系。
INSIGHT这项工作对 UGC 搜索的价值在数据工程而非模型结构：先定义 query 与文档证据关系，再生成可追溯的 hard negative 和多跳样本。社区语料同样可以按帖子、评论、图片文字和跨帖证据建 benchmark，并保留原文片段，避免只用点击日志训练出无法解释的相关性标签。
TSWAP 是已部署的八语种检索增强健康顾问，使用约 3.06 万个泰语 chunk、混合 dense-sparse 召回和 cross-encoder 重排，并用首轮 query 分类器强制实体查询走工具检索。论文发布了 50 题、带金标准文档 ID 的基准，Recall@5 为 0.88；259 条生产 QA 日志的 test-retest 通过率为 91.1%。
INSIGHT虽然领域不同，TSWAP 展示了可迁移的生产检索骨架：意图路由、混合召回、重排、规则安全层和可观测日志要一起设计。社区平台可以把实体、地点和话题 query 先路由到专用索引，再用 cross-encoder 处理少量候选，同时用重复查询稳定性补充 CTR/nDCG。