Data Curation and Model Souping: Unlocking Qwen3-0.6B for MS MARCO Passage Ranking
论文研究 Qwen3-0.6B 在 MS MARCO 的召回与重排,重点采用语料预训练、难负例、训练推理对齐和模型权重合并。初始重排模型 MRR@10 为 0.3289,仅使用 10 万查询微调即可达到 0.3817;作者还发现标题拼接会影响基准可比性,因此复现了公开检查点。
INSIGHT对于社区帖子重排,应先检查标题、正文和负例构造是否一致,再增加模型规模。权重合并可维持单模型推理成本,但需单独验证不同检查点是否兼容;这里的离线增益来自 MS MARCO,迁移到中文 UGC 后仍要按长尾词、口语表达和时间敏感查询分桶测试。