RankGraph-2 深度解读

1. 问题与动机

十亿节点图学习需要同时解决图构建、表征学习、实时服务三个相互耦合的问题，但已有工作各自孤立处理。论文明确指出在 Meta 的规模下：朴素地构建完整共现图不可行（原始约 100 万亿条边）；朴素地在图上训练需要昂贵的在线图基础设施；朴素地用在线 KNN 服务 embedding 需要数千台机器。量化的失败模式很直白——GAT+Deep Graph Infomax 在用户 embedding 上 Recall@5 仅 0.038，远低于 RankGraph-2 的 0.143（3.8 倍差距）；PyTorch-BigGraph 在 item 检索上 Recall@100 仅 0.374，约为 RankGraph-2（0.775）的一半。问题之所以紧迫，是因为三者需求互相牵制：服务侧若要避免在线 KNN，就必须把索引能力前置进训练；训练侧若要省掉在线图设施，就要求构建侧产出自包含数据并支持小时级刷新。

2. 方法详解

图构建：异构图含三类边，全部来自用户行为（不引入外部社交/知识图谱）。U-I 边按近 T 小时是否交互建立；U-U 边在两用户共同交互 ≥C_U 个 item 时建立，权重 w = ln(Σ w_{n_i,e}·w_{n_j,e})；I-I 边类似。对 I-I 边做流行度偏置校正 w' = w × (w_{ji}/Σ w_{jk})^α（α=0.3），压低热门 item 的边权。边子采样：原始约 100 万亿边，保留约 0.1B 优先用户节点（每日刷新）加全部 item，每节点按权重保留 top K_CAP 边，降到数千亿量级（三个数量级）。再用 personalized PageRank（随机游走蒙特卡洛、重启概率 0.15）为每节点预计算 K_IMP=50 个重要邻居，训练时每条边采样 K'_IMP=10 个。数据按边类型分区、自包含，训练不需访问在线图。

表征学习：节点表征 M(n_i)=AGG_t(f_t(自身特征), {f_U(用户邻居)}, {f_I(item 邻居)})，每节点固定 K 个预计算邻居；多头 embedding 用于负样本增强、推理时平均。负采样每条正边配 100 个同类型负例（in-batch + 跨 batch 滚动池 + 多头互为负例）。损失是 margin ranking loss（margin=0.1）与 InfoNCE（τ=0.06）的加权组合，再按四类边（U-U/U-I/I-U/I-I）用不确定性加权聚合。训练 batch=32768，稀疏参数用 AdaGrad（lr 0.02）、稠密用 AdamW（lr 0.004），embedding 维度 256。

共训练的残差量化聚类索引：两层 codebook（5000×50=25 万簇），残差量化 k_i=argmin||h_{i-1}-C_{i,j}||²、h_i=h_{i-1}-C_{i,k_i}，重构 h'=Σ C_{i,k_i}。把重构损失 ||h-h'||²、对重构 embedding 的链接预测损失、以及码字不均衡正则 L^reg 一并并入训练目标——这正是"把索引共训练进训练目标"的具体含义。为对抗持续训练下的 codebook 崩塌，用基于历史 1000 个 batch 码字分布 p̂ 的正则惩罚高频码字，并改用偏置码字选择 k_i=argmax p(h,C_i)[j]/p̂[j] 偏向冷门码字。

服务：U2U2I 把候选限定在近期活跃用户（如近 15 分钟）效果最好；每用户经残差量化得到簇码 (k1,k2)，每个簇维护其近期活跃成员产生的实时 item 队列，服务时只需查目标用户所在簇队列的最新 item，无需最近邻搜索，使基础设施成本降 83%。U2I2I 因 item embedding 更新慢，I2I KNN 离线预计算，本就便宜。整条链路从行为数据到刷新 embedding 约 2 小时，图每 3 小时全量重建、单次构建约 1 小时。

3. 核心技术贡献

1）生命周期联合设计：把构建—训练—服务当作互相约束的整体而非独立模块。机制上，服务对"避免在线 KNN"的需求把聚类索引推进训练目标；训练对"相似度检索可容忍预计算邻居"的观察消除了在线图设施；构建据此产出自包含数据并支持 3 小时刷新。
2）共训练的残差量化聚类索引：相比事后再对 embedding 聚类建索引，把 25 万簇码本与表征一起学，使簇本身对检索目标可用。消融显示带正则的重构 embedding Hitrate@1 为 0.846，去掉正则掉到 0.717（崩塌），码本利用率从 100% 显著下降，证明正则与偏置码字选择对持续训练下防崩塌是必要的。
3）PPR 多跳邻居 + 流行度校正：PPR 邻居相比随机邻居（Recall@5 0.045）和仅 1 跳 top-weight（0.098）提升到 0.143；流行度校正使 item Recall@100 从 0.620 升到 0.775。

4. 实验结果分析

离线（10 万采样用户，对次日行为算 Recall@K）：用户 embedding 上 RankGraph-2 Recall@5/10/50/100 = 0.143/0.209/0.399/0.482，对比 GAT-DGI 的 0.038/0.066/0.180/0.251 和 HSTU 基础模型的 0.013/0.024/0.085/0.135 全面领先，说明该任务上联合设计胜过更复杂架构与基础模型。item embedding（按天时序切分、1000 条 I-I 边）RankGraph-2 Recall@100=0.775，对 PyTorch-BigGraph 0.374（2.1 倍）、HSTU 0.434（1.8 倍）。索引质量上原始 embedding Hitrate@1=0.871，带正则重构 0.846（仅降 0.025），无正则 0.717。

消融：边类型上 U-I only Recall@5=0.052，加 I-I 到 0.089，加 U-U 到 0.115，三类齐全 0.143——U-U 带来发现能力、I-I 补长尾覆盖，收益叠加；邻居选择上 PPR 多跳明显优于随机和 1 跳。线上 14 天 A/B（p<0.05）：U2I2I 在 Surface 1 +0.96% CTR/+2.75% CVR、Surface 2 +0.33%/+0.76%；U2U2I Surface 1 +0.40% CTR/+1.01% CVR。共训练聚类索引在与在线 KNN 可比的 CTR/CVR 下把服务设施从数千台机器降 83%，已支撑 Meta 20+ 召回上线。一个值得注意的反直觉细节是：HSTU 这类基础模型在该相似度检索任务上反而不如专门设计的 RankGraph-2，提示"基础模型并非处处最优"。

5. 局限与未来方向

作者明确的局限有三：1）联合设计针对相似度检索（U2U2I/U2I2I）这类结构信号主导的场景，对直接的 user-to-item 检索，带实时行为特征的排序模型可能更有效；2）离线预计算邻居，无法支持需要 query 相关、动态邻居探索的任务；3）3 小时刷新对极端时效场景可能不够，U2U2I 通过近 15 分钟候选过滤来缓解。这些边界划得很诚实——它没有声称图召回能取代排序，而是定位在召回的相似度通路上。论文未展开但值得留意的是：0.1B 用户节点的每日筛选规则、流行度校正 α=0.3 与各类边权 β 的迁移性，换平台需重新调参。

6. 工业实践意义

对搜推从业者，最可直接借鉴的是"把索引当作可学习对象与表征一起训练"这一思路：传统做法是先训 embedding 再用 ANN/IVF 事后建索引，而这里把 25 万簇码本并入训练目标，使簇对检索目标本身可用，服务时退化为"查簇队列最新 item"，省掉在线最近邻搜索，设施成本降 83%——对自建召回、机器预算紧张的团队极有价值。其次，PPR 预计算多跳邻居加边权流行度校正（α=0.3）是低成本高回报的组合：前者把图结构信息固化进自包含训练样本、免去在线图设施，后者直接缓解热门物料挤占长尾。持续训练下的 codebook 崩塌问题及其正则/偏置选择解法，对任何用 VQ/RQ 做 semantic ID 或聚类索引的系统都有参考价值。部署上要注意：方法定位召回相似度通路，不替代排序；3 小时图重建加约 2 小时端到端 embedding 刷新的节奏，需配合 U2U2I 的近 15 分钟候选过滤来保时效。对社区 UGC 召回，U2U2I（找相似用户、取其近期内容）尤其契合"新内容快速分发"的诉求。