Douyin Multimodal Embedding Model Technical Report
DME 面向抖音十亿级多模态检索,用大规模对比预训练建立统一向量空间,再以证据落地的隐式推理和跨条件重建补足细粒度语义;重建仅用于训练,线上仍保持单次双塔编码。2B/9B 模型在 MMEB-v2 得分 74.8/78.4,抖音离线总分相对提升 2.92%,搜索 A/B 的 Lifetime 提升 0.1%。
INSIGHT该工作说明生成式监督不必等同于线上生成:可在训练期强迫 embedding 保留对端内容与局部证据,部署时仍走 ANN 友好的向量检索。对于图文混合的社区内容,应优先把 OCR、关键帧与细粒度属性纳入跨条件重建,并以离线可恢复性监控语义充分度,避免只优化全局配对相似度。