OpticalRec: Unified Optical Vision-Language Representation for Multimodal Recommendation
OpticalRec 针对特征独立编码后拼接造成的图文交互缺失,将文字元数据渲染成视觉字形,与物品图像共同进入冻结的视觉语言模型。三个 Amazon 数据集上评估;LATTICE 在 Pets 的 NDCG@20 从拼接编码的 0.0474 提高到 0.0513,显示提前交互的价值。
INSIGHT对含图片的社区帖子,可离线生成图文融合物品特征,再接入现有个性化模型,以避免在线运行大模型。论文使用冻结的 Qwen3-VL-8B;纯短文本社区缺少相应视觉信号,业务迁移价值需单独验证,并比较拼接、提示词编码与视觉渲染三种方案的效果和成本。