今日场景今天 3 篇都来自 RecSys 2026，处理离线评估和线上效果对不上的问题。Google Discover 广告把转化模型的损失按广告主出价加权，让离线指标跟着广告主价值走。Amazon Music 的一篇论文改进了用旧日志评估新排序策略的方法，不再完全依赖事先假设的各位置被看到的概率。Intuit 开源的 scikit-rec 让五类推荐方法共用一套评估接口。 — 评分 10 篇，入选 3 篇，分数 3.90 – 4.60

LEAD STORY · 今日必读

A Framework for Value-Aligned Modeling and Robust Experimentation

已录用 RecSys 2026

Google Discover 广告团队的模型迭代里，离线结果和线上结果对不上：转化模型离线损失的变化和线上广告主价值的相关系数只有 0.1，大量离线变好的改动在小流量 A/B 阶段失败。这篇论文把离线损失按每次点击对广告主值多少钱加权，让损失下降对应到价值上升。改完以后，离线到线上的相关系数升到 0.65，两类模型换用新目标后线上价值合计提升 4.7%。

📖 深度解读 · 14 分钟会议日程 ↗

4.60

综合分 / 5
偏好调整 4.60

Krishna Harsha Reddy Kothapalli, Angela Liu, Kamal Nayan Reddy Challa 等 6 人 · 2026-10-01 · 会议日程

02 4.15

scikit-rec: A Unified, Extensible Recommendation Library with scikit-rec-agent, a Conversational Interface

已录用 RecSys 2026Intuit📖 深度解读 · 13 分钟 →

一个推荐团队要同时维护排序模型、contextual bandit、uplift 模型和序列推荐时，通常是一个库做矩阵分解、一个库做 bandit、一个库做序列模型，评估再写一套胶水代码，接口各不相同。想在同一份日志上比较排序策略和 bandit 策略谁更好，就得自己保证两边的离线评估口径一致。开源的 scikit-rec 把这些放进一个库，五类推荐范式共用同一个评估接口，里面有六种离线策略评估器。它的 IPS、SNIPS、DR、DM 估计值和 Open Bandit Pipeline 的参考实现相对差异不超过 4×10⁻¹⁶。内部版本运行了 3 年以上，支撑 15 个场景。

Shankar Sankararaman, Ivelin Angelov, Tin Nguyen, Jingyuan Zhang, Shivani Gowrishankar 等 9 人

会议日程·2026-10-01·Relevance 4 · Novelty 3 · Practical 5 · Evidence 5 · Timely 3

03 3.90

Generalized Position-Based Model: Rethinking Position Weights in Ranking Off-Policy Evaluation

已录用 RecSys 2026

用旧排序策略的点击日志估计新策略上线后的点击时，各个位置的点击该怎么折算，现有方法要靠人定规则；GPBM 让数据学出每个位置的权重，假设的位置偏差估错时误差小得多。已有的 INTERPOL 预测新策略某个位置的点击时，只把日志里附近一段窗口内各位置的点击等权合起来，窗口多宽要事先设定。GPBM 把新策略每个位置的点击估计写成日志里所有位置点击的加权和，权重选成让误差上界最小，上界里同时算上随机波动和被看到概率估错带来的偏差。在 Yahoo 搜索数据的专家标注上模拟点击检验，当假设的被看到概率偏高时，它的均方误差比窗口事后调到最好的 INTERPOL 还小 6 倍以上。

Norman Knyazev, Vito Bellini, Huseyin Yurtseven, Ben London

会议日程·2026-10-01·Relevance 4 · Novelty 4 · Practical 4 · Evidence 4 · Timely 3