- 1. Not All Queries Need Rewriting: When Prompt-Only LLM Refinement Helps and Hurts Dense Retrieval · 📖 深度解读
本文系统研究了仅基于 prompt（无检索反馈）的单步 LLM query 改写对稠密检索效果的影响。在 BEIR 基准、多个稠密检索器和不同训练配置下进行了全面实验，发现改写效果具有强烈的领域依赖性：在 FiQA 数据集上 nDCG@10 下降 9.0%，在 TREC-COVID 上提升 5.1%。研究揭示了 query 改写在 RAG 生产流水线中的适用边界，提示「并非所有 query 都需要改写」。
出现于日报：03-18
- 2. Quantized Inference for OneRec-V2 · 📖 深度解读
本文研究了生成式推荐模型 OneRec-V2 的量化推理问题。作者发现 OneRec-V2 的权重与激活值分布特征与 LLM 高度相似，而非传统推荐系统，因此可以直接复用 LLM 领域成熟的 FP8 训练后量化（PTQ）技术。在华为生产环境的线上 A/B 实验中，该方案实现了端到端推理延迟降低 49%，吞吐量提升 92%，且模型性能无损。这一结果表明 LLM 量化优化技术可以直接迁移到大规模生成式推荐系统。
出现于日报：03-19
- 3. Retrieval-Feedback-Driven Distillation and Preference Alignment for Efficient LLM-based Query Expansion
本文针对 LLM query 扩展的高推理成本问题，提出「检索反馈驱动的蒸馏与偏好对齐」框架（RFDA），将大型 teacher LLM 的扩展能力迁移至小型 student 模型。框架分两阶段：首先利用检索反馈生成高质量扩展对，然后通过偏好对齐训练 student 模型优先生成「对检索友好」的扩展词。相比直接使用大模型或 few-shot 方式，在保持扩展质量的同时大幅降低推理成本。
出现于日报：03-18
- 4. Internalizing Multi-Agent Reasoning for Accurate and Efficient LLM-based Recommendation · 📖 深度解读
本文提出 STAR 框架，通过多智能体教师系统和蒸馏方法将复杂推理能力内化到单一高效模型中。核心创新是协同信号翻译机制（Collaborative Signal Translation），将用户行为模式转化为自然语言证据以增强推理准确性。实验结果表明，STAR 模型性能超越其教师系统 8.7%–39.5%，同时消除了迭代推理延迟，实现实时推荐场景的落地。
出现于日报：03-20
- 5. Mask-Enhanced Autoregressive Prediction: Pay Less Attention to Learn More · 📖 深度解读
针对大语言模型在长序列中难以准确检索关键信息的问题，提出 MEAP（Mask-Enhanced Autoregressive Prediction）训练范式，将 Masked Language Modeling 无缝集成到 Next-Token Prediction 中。核心思路是在训练时随机遮蔽少量输入 token，然后直接进行标准的自回归预测，无需双向注意力或编码器-解码器架构，预训练和推理零额外开销…
出现于日报：03-17
- 6. CRE-T1 Preview Technical Report: Beyond Contrastive Learning for Reasoning-Intensive Retrieval
本文提出 Thought 1 (T1)，一种生成式检索模型，将相关性建模从静态对齐转向动态推理。T1 在 query 侧动态生成中间推理轨迹以弥合 query 与文档间的语义鸿沟，在文档侧通过多粒度索引实现高效推理检索。该方法从根本上挑战了对比学习范式在推理密集型检索中的局限性，提出了基于生成式推理的新检索范式。
出现于日报：03-20
- 7. Exploring Training and Inference Scaling Laws in Generative Retrieval
本文系统研究了生成式检索中的训练和推理 Scaling Law，探索模型规模、训练数据规模和推理时计算量如何共同影响性能。研究发现 n-gram 方法与 Scaling Law 高度吻合，而 codebook 方法在模型扩大时无一致性提升。此外，decoder-only 架构（如 LLaMA）持续优于 T5 变体。该工作被 SIGIR 2025 接收。
出现于日报：03-20
- 8. Learning Retrieval Models with Sparse Autoencoders
本文提出将稀疏自动编码器（SAE）应用于学习型稀疏检索（LSR），利用 LLM 内部可解释的稀疏特征构建检索表示。与现有 LSR 方法（将序列投影至词汇空间）不同，SAE-based LSR 将 LLM 稠密表示分解为高维稀疏特征，具有更强的可解释性。在标准检索基准上验证了方法有效性，打通了 SAE（近期 LLM 可解释性研究热点）与信息检索的结合路径。
出现于日报：03-18
- 9. RALLRec+: Retrieval Augmented Large Language Model Recommendation with Reasoning
RALLRec+ 通过融合文本信号和协同过滤信号增强 LLM 推荐的检索阶段，并在生成阶段引入知识注入提示和一致性合并策略提升推理能力。该方法在三个真实数据集上验证了有效性，同时结合了检索增强和推理能力来弥补传统 LLM 推荐在 item 理解和偏好推理上的不足。
出现于日报：03-20
- 10. FlashHead: Efficient Drop-In Replacement for the Classification Head in Language Model Inference
本文提出 FlashHead，一种针对语言模型推理中分类头（classification head）的高效即插即用替换方案。随着词汇量不断扩大，分类头占模型参数量高达 60%、推理计算量达 50%，成为关键瓶颈。FlashHead 无需重新训练，通过近似矩阵运算实现硬件友好的加速，在不损失精度的情况下显著降低推理延迟。对于基于 LLM 的生成式检索系统（如 TIGER、生成式推荐），词汇表通常包含数百万 item ID，该方法尤为相关。
出现于日报：03-18