YandexConnectionMind: Leveraging Social Networks and Large Language Models for Personalized Recommendation at Meta
Meta📖 有深读 · 9 分钟ConnectionMind 将用户、物品、好友、群组和创作者页组织成异构图，把推荐转成从用户到候选物品的个性化路径推理；LLM 策略负责在图上选择和解释关系路径。系统先用大规模用户—物品轨迹做监督微调，再用端到端强化学习优化图推理策略。在 Meta 大规模推荐线上 A/B 中，视频观看时长提升 0.43%。
INSIGHT对 UGC 搜推，社交关系不应只是独立特征，而应作为兴趣证据链参与召回和重排。可先用图路径召回候选，再让 LLM 策略只负责关系推理与可解释重排，避免在线生成全量物品；落地时需把策略、风控和回退链隔离，并同时监控路径命中率、观看时长和负反馈。
ConnectionMind：把大语言模型能力蒸馏到图神经网络的推荐系统实践
1. 问题与动机
ConnectionMind 面向的是视频推荐中“理解用户与内容之间隐含关系”的问题。传统推荐系统拥有大规模行为图和成熟的召回/排序基础设施，但用户兴趣不是孤立的项目列表：用户可能先看某个创作者的视频，再看同一主题的长视频，随后在相似内容之间跳转；内容之间也存在主题、作者、实体和消费路径上的多跳关系。图神经网络能利用这些连接，却常常受到邻居噪声、图规模和语义理解能力的限制。大型语言模型能够用自然语言和多步推理表达关系，但让 70B 级模型直接参与全量推荐，成本、延迟和服务复杂度都不可接受。
这篇工作提出的核心问题是：能否让大型语言模型先充当“关系理解教师”，再把它发现的用户—项目连接蒸馏到可扩展的图模型中，从而获得更强的表示，同时保留工业推荐的吞吐和稳定性。它不是将 LLM 直接放在在线请求链路中，而是把大模型的语义能力放在离线增强和教师标注位置，在线主体仍然是图神经网络和轻量推荐组件。这个定位对实际系统很重要，因为它把模型能力提升和服务成本解耦。
2. 方法详解
ConnectionMind 首先构造用户、视频以及行为/语义关系组成的图。基础行为边来自观看、点赞、关注等交互；大模型则对用户历史和候选内容进行更高层次的关联判断，补充传统日志中没有显式记录的语义关系。它关注的是连接本身，而不只是为单个项目生成一个文本描述，因此教师输出可用于改进图上的边、邻居权重或目标表示。具体实现将 Llama 70B 作为强教师，并把教师产生的关系知识转移给一个学生图神经网络。
蒸馏过程的关键是混合流量策略。对约 5–10% 用户使用完整 LLM 方案或教师路径，获得高质量关系信号；对其余用户使用蒸馏后的学生 GNN，以接近传统系统的成本服务大规模流量。这样做有两层作用：一是控制直接调用大模型的预算，二是用高价值子集持续验证教师关系是否真的转化为推荐收益。学生模型不需要复制 LLM 的所有语言能力，而是学习与召回、排序目标相关的结构化关系。
系统训练和线上评估都围绕视频推荐的实际目标展开。离线使用 Recall@10 等指标检查候选找回能力，线上则观察曝光、观看时长和视频会话等业务信号。根据报告结果，模型在不同数据设置和教师规模下做了消融，说明提升不仅来自更大参数量，还来自把语义关系显式注入图结构。在线架构保留传统推荐的过滤、召回和排序边界，使教师/学生模块可以逐步替换，而不是一次性重写全部链路。
3. 核心技术贡献
第一，ConnectionMind 把 LLM 的强项从“生成答案”改造成“发现推荐图中的潜在连接”。推荐系统最终需要的是可计算、可传播、可评估的关系，而不是一段解释文本。以图边或关系权重承接大模型知识，能把语义理解注入后续多跳传播，让多个推荐组件共享增强后的结构。
第二，它使用教师—学生架构解决了规模问题。Llama 70B 的作用是提供高质量的关系判断和训练信号，学生 GNN 则承担大部分在线服务。5–10% 的教师/重路径与其余轻路径形成可控的资源分层，团队可以先把预算用于最有价值或最不确定的用户，再逐步扩大蒸馏模型覆盖。这比把全量用户都送入大模型更符合推荐系统的实际资源约束。
第三，论文把图模型的结构优势与大模型的语义泛化结合起来。GNN 擅长在大规模稀疏图上聚合邻居、共享参数和快速推理；LLM 擅长把自然语言、实体和上下文放进同一个语义空间。二者组合后，冷门但语义相关的视频可能通过新增连接被找回，长尾用户也可能从更丰富的关系中获益。
第四，评估同时覆盖离线和在线。离线 Recall@10 用于判断候选是否进入系统，线上曝光、watch time 和 sessions 用于判断候选是否真的改善用户行为。推荐工作的贡献如果只停留在离线指标，很难确认是否会损伤长期体验；ConnectionMind 至少给出了从图结构增强到真实业务信号的闭环证据。
4. 实验结果分析
离线结果显示，ConnectionMind 在 Recall@10 上最高提升 88%，当教师使用 Llama 70B 时仍有约 39% 的提升量级。这说明大模型关系知识并非只带来语言层面的解释，而是能显著改变候选集合。这里应注意“最高提升”通常对应特定数据切分、教师配置或实验设置，不能把 88% 当作所有线上场景的固定增益；39% 的教师规模结果更能说明模型能力与蒸馏质量之间的联系。
| 指标 | 报告结果 | 说明 |
|---|---|---|
| Offline Recall@10 | 最高 +88% | 关系增强显著改善候选找回 |
| Llama 70B 配置 | 约 +39% | 强教师带来较高离线收益量级 |
| Online exposure | +0.33% ± 0.08 | 曝光层面小幅、稳定改善 |
| Online watch time | +0.43% ± 0.14 | 观看时长正向变化 |
| Video sessions | +0.22% ± 0.13 | 会话数量改善，幅度较谨慎 |
| Full-LLM/重路径覆盖 | 约 5–10% 用户 | 用于控制成本并获取高质量信号 |
线上结果的绝对幅度比离线 Recall 小很多，这是推荐系统中常见但重要的现象：候选找回的巨大提升会经过过滤、排序、曝光竞争和用户选择多重衰减。即便如此，曝光、观看时长和视频会话都为正，且误差范围没有完全吞掉提升，说明蒸馏后的图关系至少没有把离线收益转化为线上损失。对业务而言，watch time 的 +0.43% 可能比 Recall@10 的 +88% 更接近实际价值，但仍需配合留存、负反馈、内容多样性和长期满意度观察。
教师只覆盖 5–10% 用户也是实验解释的关键。它意味着线上收益不是全量直接使用 70B 模型的结果，而是部分重路径提供知识、学生 GNN 承担规模化推理的结果。如果将来把教师覆盖扩大，可能得到更多收益，也可能因为成本、分布偏移和在线延迟出现边际递减。因此上线决策应把教师覆盖率作为可调实验变量，而不是固定架构常量。
5. 局限与未来方向
第一，教师关系的正确性和稳定性需要持续验证。LLM 可能生成看似合理但与用户真实兴趣无关的连接，也可能在不同语言、内容类型或低行为用户上产生偏差。如果这些关系直接进入图，错误会沿着邻居聚合传播。后续应增加关系置信度、来源标记、时间衰减和反事实校验，对高风险边设置隔离或人工规则。
第二，离线大幅提升与线上小幅提升之间存在明显鸿沟。它说明系统的瓶颈可能不只在召回，还在排序、曝光竞争、库存/安全过滤和用户实际选择。未来需要分层报告“新找回的候选”被过滤的比例、进入曝光的比例以及对不同用户群的增量，并分析长尾内容、冷启动用户和高活跃用户是否同样受益。
第三，5–10% 的教师覆盖带来预算与公平性问题。若重路径只给高价值用户，系统可能进一步强化头部用户和头部内容；若给低活跃用户，又可能因历史不足而降低教师判断质量。更合理的分配方式是把不确定性、探索价值和潜在长期收益纳入路由，而不是只按用户价值排序。
第四，图结构随行为变化而变化，教师标签和学生模型存在时效性问题。热门事件、突发内容和新创作者可能让历史关系快速失效。未来可以研究增量图更新、关系生命周期、教师标签刷新频率以及在线蒸馏；同时需要明确模型删除、隐私和用户数据治理边界，避免把过时或敏感关系长期保留。
6. 工业实践意义
对已有 GNN/图召回系统的团队，ConnectionMind 提供了一个渐进式升级方案：先保持现有图和服务接口不变，用 LLM 离线生成候选关系或边权；再训练学生 GNN，比较新增关系对 Recall、长尾覆盖和线上指标的影响；最后只把教师路由给少量高不确定性请求。这样可以把大模型试验限制在可回滚的离线数据和小流量范围内。
工程上应把“关系生成”和“推荐决策”分开。每条 LLM 关系都应带有生成时间、证据行为、置信度、版本和过期策略，并经过去重、内容安全和业务约束。图聚合时可以区分真实行为边、模型推断边和人工规则边，防止模型边污染基础事实。上线监控不仅看总 Recall，还要看新增边的命中率、有效曝光率、负反馈、内容集中度和不同人群之间的增益差异。
对成本控制，最有价值的做法是把 LLM 当作昂贵的教师和探索器，而不是全量在线排序器。5–10% 重路径可以按新用户、冷门内容、关系不确定性或重要场景动态分配；学生 GNN 负责稳定吞吐，传统召回负责故障回退。若未来引入更小的开放模型，还可以用强教师继续蒸馏多个不同延迟档位的学生模型。
对研究和业务评估，建议把离线 Recall@10、线上曝光、watch time、sessions、长期留存和用户负反馈放在同一张实验表中，并单独评估新增连接带来的内容多样性与新颖性。ConnectionMind 的核心启示是：LLM 的价值未必在于直接替代推荐模型，而在于帮助推荐图看见原本没有显式记录的连接；只有这些连接经过可控蒸馏、过滤和在线验证，才会真正转化为可持续的产品收益。
Netflix
Amazon