- 1. FGR-ColBERT: Identifying Fine-Grained Relevance Tokens During Retrieval · 📖 深度解读
该论文提出 FGR-ColBERT，在 ColBERT 检索模型中集成从 LLM 蒸馏的细粒度相关性信号，使检索阶段即可识别文档中的具体相关片段，无需额外 LLM 后处理。在 MS MARCO 上取得 64.5 的 token 级 F1（超过 Gemma 2 27B 的 62.8），模型仅 110M 参数（比 Gemma 2 小约 245 倍），检索有效性保持在 99% 相对 Recall@50，延迟仅增加约 1.12 倍。
出现于日报：04-03
- 2. Switch Attention: Towards Dynamic and Fine-grained Hybrid Transformers · 📖 深度解读
针对 Transformer 中标准全注意力计算量随序列长度二次增长的瓶颈，提出 Switch Attention (SwiAttn)，一种动态细粒度混合注意力机制。核心思路是在每个 token 和每一层，通过轻量路由器动态决定使用全注意力（全局信息聚合）还是滑动窗口注意力（高效局部处理），替代传统的静态交替模式。该方法实现了 token 级别的注意力类型分配，既保留全注意力的全局感知能力，又获得滑动窗口注意力的效率优势。
出现于日报：03-31
- 3. Screening Is Enough
该论文指出标准 softmax attention 的核心缺陷：无法定义绝对 query-key 相关性，只能基于相对分数分配注意力权重，无法显式拒绝无关 key。提出 Multiscreen 架构，引入 screening 机制——对每个 key 评估是否超过显式阈值，丢弃不相关 key 后聚合剩余信息。实验显示比 Transformer 基线减少约 40% 参数达到相当 loss，支持更大学习率…
出现于日报：04-03
- 4. Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models
针对 Late Interaction 模型（如 ColBERT）在检索中的底层动态机制缺乏深入研究的问题，系统分析了两个关键现象：多向量评分引入的长度偏差（length bias）以及 MaxSim 操作符聚合之外的相似度分布特征。在 NanoBEIR 基准上对 SOTA 模型进行实验，结果表明因果式 Late Interaction 模型确实存在理论预测的长度偏差，而双向模型在极端情况下也会受到影响…
出现于日报：03-31
- 5. On Strengths and Limitations of Single-Vector Embeddings
本文针对单向量 embedding 模型在检索任务中出现质量下降的现象展开深入分析。作者证明维度不足并非检索失败的主因——理论上 2k+1 维即可保证 top-k 检索。关键发现是领域偏移和 embedding 相似度与任务相关性定义之间的不对齐才是性能下降的主要原因，微调可以有效缓解这些问题。
出现于日报：04-02
- 6. LITTA: Late-Interaction and Test-Time Alignment for Visually-Grounded Multimodal Retrieval
针对视觉富文档检索中查询与文档页面之间词汇重叠弱的问题，提出 LITTA 框架：利用 LLM 生成多个互补的查询变体，通过冻结的视觉检索器以 late-interaction 方式打分，最后通过 RRF 聚合各变体的候选结果。该方法无需重新训练检索器，仅在推理时通过查询扩展和多路召回融合显著提升检索覆盖率。实验表明，这种简单的 test-time 策略在多模态文档检索任务上取得了显著的效果提升。
出现于日报：04-01
- 7. Insider Knowledge: How Much Can RAG Systems Gain from Evaluation Secrets?
调查 RAG 系统使用 LLM 评判器进行评估和优化时存在的循环性风险。通过 Ginger、Crucible 与 GPT-Researcher 等系统的对比实验，故意修改 Crucible 以生成针对 LLM 评判器优化的输出，证明当评估要素（如 prompt 模板或 gold nuggets）被泄露或可预测时，系统可以获得近乎完美的评估分数…
出现于日报：03-31
- 8. Nemotron ColEmbed V2: Top-Performing Late Interaction Embedding Models for Visual Document Retrieval
NVIDIA 发布的视觉文档检索模型 Nemotron ColEmbed V2，基于 VLM（Eagle 2、Qwen3-VL）构建 3B/4B/8B 三个规模版本，采用 late interaction 架构。通过聚类采样、hard-negative mining、双向注意力和模型合并等技术，8B 模型在 ViDoRe V3 排行榜排名第一，NDCG@10 达 63.42。该模型直接处理文档视觉信息，绕过 OCR 管线，简化索引流程。
出现于日报：04-03
- 9. PAR²-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering
提出 PAR²-RAG 两阶段检索框架，将覆盖度（coverage）与确认（commitment）分离。第一阶段采用广度优先锚定构建高召回证据前沿，第二阶段通过深度优先迭代精炼并增加证据充分性控制。在 4 个多跳 QA 基准上，相比 IRCoT 基线准确率提升高达 23.5%。
出现于日报：04-02
- 10. Long-Document QA with Chain-of-Structured-Thought and Fine-Tuned SLMs
提出 LiteCoST 框架，通过链式结构化思维（CoST）将长文档中的分散证据整合为表格、图或结构化片段，支持可验证的问答。利用大模型生成 CoST 训练数据，再蒸馏到小语言模型（SLM），实现高精度与低延迟的平衡。两阶段微调策略使小模型在文档 QA 任务上接近大模型表现。
出现于日报：04-02