LongCat-Next: Lexicalizing Modalities as Discrete Tokens
美团提出 Discrete Native Autoregressive (DiNA) 统一框架,将文本、视觉、音频等多模态信息统一转化为离散token序列,在同一自回归模型中进行 Next-Token Prediction。核心创新是 Discrete Native Any-resolution Visual Transformer (dNaViT),可在任意分辨率下将连续视觉信号转化为层次化离散token。基于此构建 LongCat-Next 多模态原生模型,实现跨模态统一生成。
INSIGHT美团团队的 DiNA 框架代表了"万物皆token"的技术范式——将非文本模态离散化后纳入统一NTP训练。这与生成式推荐中 Semantic ID 的核心思想高度一致:物品到离散token序列到自回归生成。dNaViT 的任意分辨率离散化方案可迁移到推荐场景中多粒度物品表征的构建,特别是在多模态商品搜索(图文混合query)中,统一的token化策略有望简化现有的双塔/多塔架构。