1. 问题与动机
工业推荐系统普遍用隐式反馈(点击/观看)替代稀缺的显式评分,但隐式反馈含大量噪声:标题党造成的"假正"(false positive)和位置偏置/快速划走造成的"假负"(false negative)。论文的关键观察是:冷启动物品恰恰是噪声重灾区——在快手,冷启动短视频定义为发布 < 24 小时且观看 < 50,000 次。作者用 100 万用户 session 给出量化证据:处于点击诱导(clickbait)评分前 10% 区间的冷启动视频比后 10% 区间多 37.7%;被放到尾部三个位置的冷启动视频占比比头部三个位置高 28.3%。已有去噪方法分两类——样本选择(丢弃高 loss 样本)和样本重加权(给疑似噪声低权重),但都依赖"高 loss / 高梯度 = 噪声"的启发式;而冷启动物品 embedding 本就训练不充分、预测不准、loss 和梯度天然偏大,导致这些方法在冷启动场景失效。"冷启动 × 去噪"这一交叉问题此前被忽视,是本文动机。
2. 方法详解
DIF(Denoising Implicit Feedback)是模型无关方法,落地在召回阶段的双塔模型上(用户塔 e_u、物品塔 e_i,打分 ŷ_ui = e_u·e_i)。核心思路:用户兴趣表示与热门(warm)物品的协同表示已训练充分、可信,因此可借"内容相似的热门物品"为冷物品交互生成伪标签。
(1) 伪标签生成:对样本 (u,i),检索与冷物品 i 多模态内容最相似的 top-k 个热门物品(k=5),用用户塔与这些热门物品塔做内积得到 k 个伪标签 y^p_{ui,j} = e_u·e_j(式1)。
(2) 置信度建模:不同相似度应给不同引导强度。对 k 个相似度分数做带温度 τ 的 softmax 得置信权重 c_i^j(式2),再加权求和得到聚合伪标签 y^p_ui = Σ c_i^j · y^p_{ui,j}(式3)。论文指出在线相似度普遍 > 0.9,τ=0.3 用来放大区分度。
(3) 不确定性估计:从两个角度估计原始噪声标签 ŷ_ui 的不确定性。其一是相对熵 r_ui = -ŷ_ui·log ŷ_ui - (1-ŷ_ui)·log(1-ŷ_ui)(式4),熵越大越可能误标;其二是冷启动状态 γ_i = e^{-α·g_i}(式5,g_i 为物品交互次数,α 控阈值),交互越少 γ 越接近 1。最终不确定性 t_ui = r_ui·γ_i(式6),并约束 < 1。这样既只对冷物品施加修正,又对预测分歧大的样本给更高不确定性。
(4) 标签修正与训练:把不确定性转成权重 w = t_ui/(t_ui+1)(式7),得修正软标签 y^c_ui = w·y^p_ui + (1-w)·ŷ_ui(式8),用交叉熵训练(式9)。
实现细节:embedding 维 d=64,Adam,batch 1024,lr 0.001,k=5,τ=0.3,Xavier 初始化,按交互次数第 20 百分位划分冷/热物品。部署在快手近线(nearline)分布式训练系统:Kafka 实时收日志,每天数亿用户、数百亿观看/交互日志,经"多模态推理服务→Embedding 服务→ANN 服务(item-to-item 检索 top-k 相似热门物品)→在线推荐模型"四步管线增量更新。
3. 核心技术贡献
(1) 提出并量化"冷启动物品更易受隐式反馈噪声污染"这一被忽视的事实(clickbait 前后 10% 相差 37.7%、尾部 vs 头部位置相差 28.3%),为方法立论;相比已有去噪只看 loss/梯度,DIF 抓住冷启动这一特定脆弱点。
(2) 用"内容相似热门物品的协同表示"生成伪标签,绕开冷物品自身 embedding 不可靠的问题——因为热门物品的协同表示训练充分。这是相对 DECL/RINCE/MWUF 等通用去噪方法的关键差异。
(3) 置信度建模 + 不确定性(相对熵 × 冷启动状态)双因子的样本级标签修正,比全局重加权更精细:γ_i 确保只修正冷物品、不干扰热门物品训练。
(4) 理论保证:Theorem 2.1 证明聚合伪标签与真实交互概率的误差上界为 O(L·(k/N_warm)^{α/d}) + O(σ'_u/√k),即热门物品足够多时误差可控;Theorem 2.2 推出最小化 MSE 的最优权重 w* = λ_ui/(λ_ui+1)(λ_ui 为噪声比),与式7的加权方案在数学上吻合,说明用不确定性 t_ui 估计噪声比是合理的。
4. 实验结果分析
数据集:Amazon-Sports(35,598 用户/18,357 物品/256,308 交互/稀疏度 99.961%)、Amazon-Baby(19,445/7,050/139,110/99.899%)、TikTok(9,319/6,710/59,541/99.904%),均带多模态特征(视觉/声学/文本,文本用 Sentence-Bert)。backbone:NeuMF、LightGCN、SimGCL;指标 Recall@20、NDCG@20,按 cold/warm/overall 分别评估;baseline:Normal、DECL、RINCE、MWUF。
冷启动主结果(Table 2):DIF 在冷物品上几乎全面最优。NeuMF backbone 上,Amazon-Sports 冷物品 Recall@20 从 Normal 的 0.00244 提到 Ours 0.00461(约 +89%);TikTok 冷物品 Recall@20 从 0.00104 提到 0.00881(约 8 倍);LightGCN backbone Amazon-Sports 冷物品 Recall@20 0.00191→0.00325。同时 warm 与 overall 指标不降反升(如 LightGCN Amazon-Sports overall Recall@20 0.04073→0.06934),说明去噪没有伤害热门物品。作者也坦承 TikTok 上冷物品 NDCG 未取最优,因 TikTok 数据更小更稀疏、且方法侧重召回而非排序。
消融(Table 3,LightGCN):去掉冷启动状态 CS(w/o CS)对冷物品影响最大(Sports 冷 Recall@20 从 0.00325 掉到 0.00264),验证"只修正冷物品"的设计最关键;去掉相对熵 RE 也明显伤冷物品、对热门影响有限;去掉置信度建模 CM 影响最小,因检索到的热门物品相似度本就高。
噪声鲁棒性(Fig.3):噪声比从 20% 升到 80% 时所有方法都下降,但 DIF 始终领先。
在线 A/B(Table 4,快手,2025-01-12 至 2025-01-16,数亿用户):Effective View +2.327%、Watch Time +2.921%、Long View +2.688%、Short View -2.030%(短播放下降是正向)、Like +2.921%、Comment +2.435%、Follow +2.790%、Share +0.876%。作者强调真实系统里 1% 的提升即已显著。
5. 局限与未来方向
作者明示的局限:(1) 在 TikTok 数据集上冷物品 NDCG 未达最优,归因于 TikTok 规模小、更稀疏,且方法主攻召回(retrieve)优化而非排序(ranking)——排序优化被列为未来方向。(2) 因公司隐私,在线 A/B 只能报相对提升比例,无法给绝对指标。(3) 方法强依赖"内容相似的热门物品",即依赖成熟的多模态内容理解服务与 i2i ANN 基建;若内容 embedding 质量差或相似热门物品稀缺(极冷垂类),伪标签质量会下降——作者用 Assumption 2.3/2.4(上下文空间紧致、真实交互概率 Hölder 连续)来保证近邻存在,但现实不一定满足。隐含但未深入讨论的是:τ、α、k 等超参需按数据调,第 20 百分位的冷/热划分阈值也是经验值。
6. 工业实践意义
对搜索/推荐工程师的可借鉴点:(1)"新内容是噪声重灾区"的结论对任何 UGC/短视频/电商冷启动场景普适——社区平台的新帖同样有标题党假正、曝光不足假负。可直接复用 DIF 的"用成熟相似内容为新内容造伪标签 + 样本级不确定性加权修正"思路,而非简单全局重加权。(2) 方法模型无关,挂在双塔召回上即可(NeuMF/LightGCN/SimGCL 都验证有效),改造成本低、不绑定特定主模型。(3) 关键工程依赖是多模态内容 embedding 服务 + item-to-item ANN(取 top-k=5 相似热门物品)+ 近线流式训练,三者多数大厂已有,落地门槛主要在把这条 i2i 检索与置信度/不确定性计算接入在线训练样本流。(4) 收益方向值得关注:快手 A/B 中"短播放 -2.03%、长播放 +2.688%、点赞/评论/关注普遍 +2~3%",说明去噪把冷启动曝光从"骗点击"转向"真消费/真互动",正是社区搜索 CTR/留存优化想要的。落地时建议先在冷启动占比高的召回链路灰度,重点观测长短播放与互动指标的此消彼长。