KuaishouPersonalized and Multi-View Representation for Federated Cold-Start Recommendation
POSTECH
UIUC📖 有深读 · 7 分钟PMFRec 面向服务端看不到用户交互、客户端又看不到专有物品属性的双边约束，解决零交互新物品的联邦冷启动。它用用户专属表示生成器、多视图编码器、物品自适应门控与正交约束融合协同和属性知识；在 CiteULike 与 3 个 XING 规模设置共 4 组数据上评估，覆盖 Recall、Precision、NDCG 的 @5/@10/@20 指标。
INSIGHT关键工程价值是把原先需要反复交换的协同表示与属性表示合并为单一物品表示，并用闭式岭回归拟合用户映射，减少客户端正则项和通信负担。对于 UGC 新内容冷启，可把文本、作者与主题属性拆成互补视图，再用用户级门控生成不同冷内容表示；同时要评估 LDP 预算 ε=4、8、10 下的效果退化。
1. 问题与动机
联邦推荐把用户交互留在客户端，但现实系统每天都有零交互新物品进入。更棘手的是“双边约束”：服务端不能读取客户端行为和私有用户参数，客户端也不能看到服务端的专有物品属性。既有方法通常学习一个全局属性到 embedding 的映射，同一新物品对所有用户生成相同表示，个性化被平均；把异质属性强压进单一空间还会产生 compositionality failure，例如同一论文在“药物”视角更接近生物医学条目，在“机器学习”视角却应接近推荐论文。既有双表示对齐方案还要每轮下发协同表示和属性表示，并在客户端加入对齐正则，造成通信、内存和优化负担。PMFRec 的目标是在不破坏两侧隐私边界的前提下，为零交互物品生成用户特定、多语义视图的表示。
2. 方法详解
客户端把每个用户视为一个 client，私有保存用户 embedding e_u、两层 MLP 打分器及 warm-item embedding Q_u。每轮服务端只发送一个由属性产生的 warm-item 表示 Z_u，客户端以此初始化 Q_u，用正负隐式反馈的 BCE 训练：预测分数由拼接后的物品表示和用户 embedding 输入私有 MLP。由于协同梯度直接更新以属性表示初始化的 Q_u，协同知识自然吸收进单一表示，不再需要额外对齐损失，也不用传两套矩阵。
服务端收到各客户端 Q_u 后用流式平均形成全局 Q_g，不必同时保留所有上传矩阵。个性化生成器 h_u(X)=σ(XW_u) 将物品属性映射为用户特定表示。为避免给每个用户启动迭代优化器，作者对逆激活后的 Q_u 做岭回归，W_u=((X^W)^T X^W+λI)^(-1)(X^W)^T σ^(-1)(Q_u)；前半部分只依赖 warm 属性，可预计算一次。对新物品属性 X^C 应用 W_u，就能在零交互条件下获得用户视角表示。
全局多视图编码器用多个 view-specific projector 表达不同属性语义，item-adaptive gate 决定每个物品的视图权重；正交损失降低视图间余弦相似度，load-balancing loss 防止路由全部坍缩到少数视图。最终把个性化表示和多视图全局表示融合，客户端执行冷物品排序。实验使用 CiteULike、XING-5000、XING-10000、XING-20000 四组数据，按 Recall、Precision、NDCG 的 @5/@10/@20 评估；打分器为两层 MLP。LDP 实验测试 ε=4、8、10，δ=1/|U|^1.1，裁剪阈值 C 在 10^-5 至 1 间搜索。论文未公开训练硬件和 batch size。
3. 核心技术贡献
第一，PMFRec 在双边约束的联邦冷启动中显式引入用户专属属性映射，使相同冷物品能因用户历史不同获得不同表示，直接解决全局映射的偏好稀释。第二，多视图 projector、物品门控、正交和负载均衡共同解决语义组合问题：视图既要彼此互补，又不能全部由一个 dominant view 接管。第三，regularizer-free 单表示交换把协同与属性知识融合在 Q_u 内，减少一半类型的表示传输，并简化本地目标。第四，闭式岭回归和可预计算矩阵因子避免为海量用户逐一做服务端迭代训练，为实际部署提供了可扩展路径。
4. 实验结果分析
PMFRec 在绝大多数数据集—指标组合上优于强基线，最高相对增益 7.56%，多数差异通过 p≤0.05 配对检验。代表性结果如下：
| 模型/数据 | Recall@10 | Precision@10 | NDCG@10 |
|---|---|---|---|
| IFedNCF / CiteULike | 0.2774 | 0.1211 | 0.2763 |
| PMFRec / CiteULike | 0.2929 | 0.1309 | 0.3001 |
| IFedNCF / XING-5000 | 0.1429 | 0.1616 | 0.1726 |
| PMFRec / XING-5000 | 0.1530 | 0.1718 | 0.1850 |
在 CiteULike，PMFRec 相对最佳基线的 Recall@10、Precision@10、NDCG@10 增益分别为 4.94%、7.56%、7.49%；XING-20000 对应增益为 6.70%、6.17%、7.52%。消融显示去掉个性化 P_u 后 CiteULike Recall@10 从 0.2929 降至 0.2675，XING-5000 从 0.1530 降至 0.1367，是最关键组件；仅保留个性化而移除多视图时 XING-5000 Recall@10 进一步降到 0.1181。单视图版本在 CiteULike NDCG@10 为 0.2936，低于完整模型 0.3001；去门控为 0.2947。把该表示模块接入既有 IFedNCF/IPFedRec，可带来 0.68% 到 18.61% 增益，说明组件具有一定通用性。公平性并非全胜：完整模型在 CiteULike 个别 Gini 指标略差于单视图个性化版本。
5. 局限与未来方向
作者指出大规模用户下为每人保存 W_u 会增加服务端存储，因而提供服务端保留和按需/客户端侧等部署模式，但没有给出亿级用户的实际内存、计算与延迟。多视图模型依赖正交与负载均衡，否则会出现视图高度相关或路由坍缩；这增加了超参敏感性。虽然 LDP 预算和裁剪阈值被系统测试，实验仍是离线公开数据，没有真实网络抖动、客户端掉线和线上 A/B。完整模型在某些 Gini 指标并非最佳，说明准确率与用户公平覆盖仍有权衡。属性主要以结构化特征形式验证，面对 UGC 文本、图像和作者信息等高维属性时，闭式映射的规模与隐私泄漏风险还需重新评估。
6. 工业实践意义
对社区内容冷启动，可将 warm 内容的文本主题、作者、视觉和质量属性留在服务端，将用户行为和私有打分器留在端侧或隔离域；客户端只接收生成后的 item embedding。首个试点应先做“单表示交换+闭式用户映射”，因为这两项对现有 FedRec 改动较小，再逐步加入 2—4 个语义视图、门控和正交约束。监控项必须包含 Recall/NDCG、零得分用户占比、Gini、每轮通信字节、服务端 W_u 存储和冷物品生成延迟。论文消融说明个性化生成器比单纯增加视图更重要，因此资源有限时优先保证用户级映射。隐私侧应按 ε=4、8、10 做收益曲线，并验证 item embedding 是否可反推出专有属性。不要照搬“每用户永久保存映射”：低活用户可按 cohort 共享或按需重建，高价值用户再保留专属 W_u。若现有系统不是联邦架构，该方法仍可借鉴为一种受权限边界约束的冷启动表示服务，但要重新计算闭式求解和属性矩阵预计算的更新频率。
Microsoft