← 全部深度解读
📖 深度解读 · PERSONALIZATION

NEXT: Reasoning-Driven Video Recommendation via a Vision-Language Model

Yuming Liu, Hongye Yang, Harrison Zhao, Ellie Zhu, Bokai Cao, Lei Huang, Lizhu Zhang, Xiangjun Fan · Meta · arXiv 2607.24789 · 发表 2026-07-29
11 分钟阅读时长 4255字 4.45综合分 第 2 名07-30 Personalization 日报
目录 · 6 节1问题与动机2方法详解3核心技术贡献4实验结果分析5局限与未来方向6工业实践意义
相关 4新颖 5实用 4证据 5时效 5
相比仅依赖共现或语义相似,显式生成“下一步想做什么”可补足剧集续看、教程进阶等有方向性的需求。社区 UGC 可把帖子内容转成可检索意图,再复用现有召回索引;8B 模型只承担意图推理而非全库打分,能控制在线成本并提升内容多样性。

1. 问题与动机

短视频推荐擅长从共看、点击和语义相似中拟合“用户可能还会看什么”,却不一定理解“看完这个以后逻辑上应该看什么”。论文列出三种直接影响体验的失败:流行度偏置使热门相似视频压过真正续集,推荐多样性下降,以及叙事连续性断裂,例如用户看完 Part 1 却收不到 Part 2,或看完谜题、实验、教程后得不到答案与后续步骤。传统 Item-to-Item 图通常近似对称,无法表达 A→B 的方向和因果式后续需求;纯生成推荐又难以承担全库检索和在线延迟。

NEXT 的动机是把推荐问题拆为“理解下一意图”和“在现有搜索栈中找到满足意图的内容”。模型不直接对全库逐项打分,而是将已观看视频转换成一个可检索的下一意图,再对搜索结果做逻辑验证,形成有方向的 NEXT Knowledge Graph(NKG)边。这样既利用视觉语言模型对 OCR、ASR、画面与事件关系的推理能力,又保留成熟搜索系统的规模化召回。论文进一步指出,离线 Precision/Recall/NDCG 会惩罚历史日志中没有出现但逻辑合理的新探索,因此最终必须依赖线上 A/B 验证。

2. 方法详解

NKG 中每条边是 \(\langle v_{\text{trigger}},v_{\text{next}}\rangle\),只有多模态证据、用户行为信号和 NEXT-8B 验证共同支持“B 是 A 的合理后续”时才写入。候选来源有四类:显式续集、VLM 意图搜索、行为信号和方向性 Swing;这些来源只提出边,不直接决定最终排序。显式路径从 OCR、ASR、创作者元数据和 “part two”“to be continued” 等线索提取置信度,按 \(S_{\text{series}}=w_{\text{ocr}}C_{\text{ocr}}+w_{\text{asr}}C_{\text{asr}}\) 融合,超过阈值便优先写入 \(V_{\text{part}n}\rightarrow V_{\text{part}n+1}\)。

隐式路径让 NEXT-8B 根据采样帧、OCR、ASR、实体、布局和场景证据生成紧凑查询,例如谜题答案、挑战结果、被提及实体的详情或未完故事的后续;查询进入既有视频搜索栈,模型随后比较触发证据、意图与候选,只保留能“回答、延续或解决”需求的候选,拒绝仅主题相似或视觉接近的内容。行为路径使用 Watch→Search、Watch→Creator Profile→Watch、Watch→Comment 等短时间窗高置信模式,把搜索词或“part 2?”评论变成检索支点。

协同路径使用 Scene-Aware Reasoning Swing。它要求用户在会话窗口内先看 \(i\) 再看 \(j\),候选共享 Semantic ID 前缀,并过滤低支持对;最终分数对有序共现用户对求和,以用户活跃度权重抑制重度用户,以时间衰减 \(\gamma^{|\Delta t|}\) 惩罚不一致转移,再由 NEXT-8B 验证。因此协同信号提供覆盖,VLM 保证方向和逻辑精度。

NEXT-8B 是标准 8B 视觉语言架构,创新集中在三阶段后训练。第一阶段 Perception-Enhanced RL 让多模态策略 \(\pi_\theta\) 生成与问题无关的视觉证据 \(e\),冻结的纯文本验证器 \(\phi\) 看不到原图,只依据 \(e\) 回答多个问题,平均正确率成为奖励;每个样本采样 \(K\) 个证据,使用组内相对优势的 GRPO,并加裁剪与相对参考策略的 KL 正则。这样奖励改善只能来自更准确的 OCR、实体、空间关系与场景证据,而不是验证器偷看图片。

第二阶段 Distribution-Aligned SFT 混合 ChartQA、TableVQA、InfoVQA 等真实 DocVQA 数据与大 VLM 教师、多专家一致标注生成的稀有布局合成数据。自由问答有多个合法字符串时,从标签集合中选择与当前预测 Levenshtein 相似度最高的目标,降低格式差异对 ANLS 的干扰。第三阶段再次用 GRPO 做末端偏好对齐,奖励简洁格式、证据忠实性和“观察事实/推断意图”边界。

论文披露 DocVQA 含 12,767 张图像、超过 50,000 个问题,任务评测用 ANLS;推荐迁移评测采样 1,000 个视频。生产 A/B 运行数周、规模约 1 亿用户。论文未报告训练 batch size、优化器超参数、学习率、GPU 数量、训练步数、帧采样率或合成数据规模,因此读者能重建算法流程,却不能严格复现训练预算与数据配方。

3. 核心技术贡献

第一,NEXT 用 Item-to-Intent-to-Item 代替直接 Item-to-Item 相似匹配。显式下一意图把搜索作为生成模型与推荐系统之间的接口,使 VLM 负责“小而难”的推理与验证,搜索负责“大而快”的全库召回,避免让 8B 模型在线扫描候选库。

第二,NKG 是精度优先的有向知识图,而不是无约束共现图。显式续集、行为支点、方向 Swing 和多模态意图统一进入验证阶段,写入时保留来源、逻辑分与新鲜度;线上只需查图并插入,使昂贵推理移出请求关键路径。

第三,Perception-Enhanced RL 用冻结文本模型隔离视觉证据质量。验证器只能看到模型生成的证据,因此 8B VLM 必须学会保留小字、表格、人物和事件线索。完整训练把 DocVQA ANLS 从基座 96.10 提到 97.28,超过 235B MoE 的 Qwen3-VL 97.25,模型规模接近小 30 倍。

第四,论文给出从静态视觉基准、推荐边逻辑评测到线上指标的三级证据链。模型在 1,000 视频盲评中,高质量逻辑输出相对提升 3.3%,证据落地提升 4.0%,A→B 匹配提升 3.5%;真实系统最终取得观看时长 +0.53% 和不同视频曝光 +0.51%。

4. 实验结果分析

DocVQA 的主要对比如下,指标为测试集 ANLS:

模型参数规模ANLSFigure/DiagramFree-textImage
Human—98.1197.5698.3997.40
NEXT-8B8B97.2895.0396.6396.73
Qwen3-VL235B MoE97.2593.3795.5092.58
Seed-VL-1.520B 激活96.9194.4795.8291.62
Qwen2-VL72B96.7092.0696.1991.35
MiMo-VL-7B-RL7B95.0191.5993.4486.01

NEXT-8B 与人类仍差 0.83 ANLS,但相对 Qwen3-VL 在 Figure/Diagram、Free-text 和 Image 分别高 1.66、1.13、4.15,说明优势集中在感知密集类别,与训练目标一致。训练消融显示:Qwen3-VL-8B 基座 96.10,混合域增强后 96.58(+0.48),分布对齐 SFT 到 96.81(+0.23),Perception-Enhanced RL 到 96.96(+0.15),末端 GRPO 到 97.28(+0.32)。最大单项收益来自数据增强,而不是 RL;RL 的价值更多体现在证据质量和后续阶段可用性,不能简单解释为单独带来全部线上增益。

任务迁移评测把基座与 NEXT-8B 运行在相同的 1,000 个视频输入上,候选由各自生成的意图查询召回,强 LLM 在隐藏模型身份、随机输出顺序条件下按 1–5 分评审。高质量定义为至少 4 分:整体逻辑高质量率相对 +3.3%,证据落地 +4.0%,意图具体性只有 +0.2%,A→B 候选适配 +3.5%。这说明改进并非把查询写得更长,而是更准确地保留触发视频证据并拒绝表面相似候选。

线上实验持续数周、覆盖约 1 亿用户;对照是包含 HSTU 序列模型等多路召回的优化生产系统,实验组只新增 NEXT 通路:

线上指标相对提升统计结果
Watch Time+0.53%95% CI 不含 0,p<0.05
Distinct Video Exposure+0.51%95% CI 不含 0,p<0.05
负反馈、安全、延迟护栏无显著回退通过

观看时长与不同视频曝光同步增长,是重要信号:NEXT 没有仅靠续集黏住用户,也扩展了相关内容覆盖。但论文未给出 NKG 边覆盖率、命中后插入比例、不同候选源的线上消融,也没有报告长期留存,因此无法判断收益主要来自显式续集、VLM 搜索、行为信号还是 Swing。

5. 局限与未来方向

作者明确指出,全库视频的 8B VLM 分析仍然昂贵。即使放到离线/近线,内容库快速增长时,转移挖掘吞吐仍是瓶颈;未来计划通过蒸馏、推测解码和更激进批处理提高新内容响应速度。当前只做单跳 \(v_1\rightarrow v_{1.a}\),作者希望扩展多步转移;边离线生成、线上只在小集合内个性化,未来需把实时行为更紧密地纳入边质量优化。连续沿一条逻辑链推荐还可能收窄曝光,因此需要把 NEXT 与惊喜性候选交错重排。

论文没有把 LLM-as-a-judge 与人工评审相关性作为核心实验,1,000 视频评测也可能受评审模型偏好影响;线上增益虽然显著,却没有公布平台、国家、内容类型和用户分层。另一个未充分讨论的问题是“直接插入”对 feed 排序校准的影响:高精度 NKG 候选绕过完整候选竞争,若正反馈触发阈值或边新鲜度失准,可能造成过强的连播偏置。Semantic ID 前缀约束也可能错过跨主题但逻辑相关的后续内容。

6. 工业实践意义

NEXT 最适合以增量召回通路试点,而不是替换现有推荐系统。社区 UGC 可先挑三类高价值场景:系列帖/教程续篇、问题—答案与事件后续、用户看帖后立即搜索或访问作者主页。离线从标题、正文、图片 OCR、视频 ASR 与评论中提取证据,生成“下一步需求”查询,复用现有搜索召回,再由较小多模态模型验证是否真正回答或延续触发内容;把通过验证的边存入带来源、分数、时间戳和过期策略的有向图。

在线链路应保持极轻:检测完播、收藏、点赞等强正反馈,查询图;只有一条高置信边时插入,多条时复用现有个性化排序器,不新增专用在线 VLM。工程预算主要花在离线吞吐、边更新、证据审计和新鲜度,而不是请求延迟。验收除观看时长、CTR 外,还应看 distinct exposure、续集满足率、搜索后回流、负反馈、安全与延迟;同时做边来源分桶消融,防止无法归因。

对社区搜索业务,最值得借鉴的是“意图生成先于检索”。相比让大模型直接重排数千候选,先把未满足的信息缺口压成短查询,再交给现有索引,成本与可观测性都更好。上线时必须保留多样性配额和传统探索流量,避免有向链把用户困在单一叙事;对于新闻、健康等时效或风险内容,还应在 NKG 写入前增加事实、安全和过期检查。

← 全部深度解读 出现于报告:2026-07-30 · Personalization #2 (4.45) 原文 ↗