Negative Data Mining for Contrastive Learning in Dense Retrieval at IKEA.com
IKEA 工业实践论文,系统比较了 dense retrieval 中四种负样本策略:随机 in-batch、BM25 hard negatives、属性结构化负样本、LLM 相关性判定负样本。在 IKEA 商品搜索场景上做线下与线上 A/B 双线评估。结果显示结构化 + LLM-judged 负样本在线下 category accuracy 上提升 +2.6%,但线上 A/B 测试无统计显著的用户参与度差异。论文坦诚分析:高 zero-click rate 与真实搜索行为模式让线下提升难以转化为线上效果。
INSIGHT对于社区 UGC 搜索这种 线下 nDCG 提升 ≠ 线上 CTR 提升 的典型场景,该论文是非常珍贵的负面工业证据。两点可借鉴:(1) LLM 判负 vs BM25 hard negative,前者更聚焦语义但成本高,建议在离线评估中并存观察;(2) 当线上 zero-click 高时,要先评估用户是否真正会被引导到正确结果,否则任何检索改进都被天花板压住。负样本工程不是银弹,关键是配套的相关性评估与流量结构分析。