Scaling and Stabilizing Large-Scale Embedding-Based Retrieval
Walmart 针对双塔训练候选窄、线上需区分数亿商品的落差,结合跨批次在线采样与交叉编码器、元数据驱动的离线难负例挖掘,使负例多样性扩大一个数量级;再用热启动蒸馏把 DistilBERT 平滑迁移至 GTE-base。线上部署后 NDCG@5 提升 7.34%,总营收提升 0.50%。
INSIGHT召回升级的关键不只是换大骨干,而是同时修复负例分布和继承旧模型的领域知识。社区搜索可把曝光未点、同主题但意图不符、地域或实体冲突样本组合成混合难负例;骨干迁移时先蒸馏旧模型,再引入新监督,能减少召回集合剧烈漂移对排序与业务指标的冲击。