Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking
用快速判别模型给葡语搜索结果标相关性,再用同一模型重排。作者在四套检索集合上比较模型与人工标签,也检查不同检索系统的相对名次。在 Quati 上,重排后的 nDCG@10 从 0.3329 提高到 0.6331。
INSIGHT单条标签不完全一致,系统之间的优劣次序仍可能很稳定。制作搜索评测集时,可以同时检查逐条标注一致性与模型排序一致性;这比只看标签准确率更接近选型目的。