Multimodal Generative Retrieval Model with Staged Pretraining for Food Delivery on Meituan
美团提出分阶段预训练策略解决多模态生成式检索中的模态主导和 one-epoch 问题,在外卖场景落地。
INSIGHT联合优化多模态检索时,某些模态会主导训练;分阶段预训练让模型在每个阶段专注特定任务,配合 Semantic ID 实现多模态特征的高效压缩和利用。
业务关联社区搜索中帖子常含图片、文字等多模态信息。该方法的分阶段预训练策略可直接借鉴,解决 UGC 多模态检索中的模态不平衡问题。
证据在美团外卖工业数据集上验证,解决了联合训练的模态主导和 one-epoch 问题,已在美团食品配送核心场景部署。