Scientific Code Search at Scale: A Multi-Domain Dataset and Benchmark
论文面向科学代码发现这一垂直搜索问题,指出通用代码搜索基准不能覆盖科研领域术语和任务需求。作者构建 5,264 个高质量、按 NASA 五个科学部门分类的开源仓库语料,并提出两个 IR 基准:219 个领域专家查询的仓库搜索任务,以及覆盖 7 种编程语言的 117,950 个代码片段和 119,720 个查询的大规模片段检索任务;基线结果显示不同科学领域和代码规范会显著影响检索效果。
INSIGHT它的价值不只在科学代码搜索,也提示 UGC/社区搜索应按领域构造“真实意图查询+领域语料”的评测集,而不是只复用通用 BEIR/MS MARCO 指标。对于短文本社区内容,类似做法可以把垂类术语、作者上下文、标签和外链上下文纳入索引与评测,让召回模型在真实业务语言上暴露问题。