1. 问题与动机
现代 CTR 预估的用户行为序列建模这几年都在卷“怎么编码序列”——从 DIN 的 target-aware attention、DIEN 的兴趣演化,到 SIM/TWIN 的超长序列两阶段检索,再到 OneTrans 这类统一架构。但论文指出一个更根本却被忽视的问题:序列里到底该放什么? 当前实践只用正向交互(点击、购买、完播)构建序列,而数量远超正向的隐式负反馈(划过、快速滑走、低完播)几乎没被用。
论文给了量化证据:正向行为占比在 KuaiRec 仅 7.4%、KuaiRand 37.9%、TAAC 6.3%,正向序列本身受真实参与率上限约束;继续加长正向序列收益递减——KuaiRec 上 AUC 在 L≈50~100 后趋平,OneTrans 从 L=100 到 L=500 只涨 +0.0010。而混合极性序列的 scaling 斜率约为正向序列的 2 倍。动机即:当“加长正向序列”这条路走到头,应该换一种思路——把海量隐式负反馈纳入序列,这与架构改进正交、互补。
2. 方法详解
序列构造:给定固定长度 L 和正向比例 r∈[0,1],取最近 ⌊rL⌋ 个正向交互和 ⌊(1−r)L⌋ 个负向交互,按时间戳合并成单一时序序列;总长仍为 L,即负向行为“替换”部分正向而非追加(保证序列长度与算力不变)。默认 r=0.5。
TAPF(Target-Aware Polarity Fusion)三步:
- Target-aware interaction:对每个序列 token h_k 与候选 embedding e_v 做逐元素交互 e_k = ReLU(W_int(h_k ⊙ e_v)),刻画历史行为与当前候选的相关性;
- Content-adaptive gating:g_k = σ(W_g[h_k ‖ e_k ‖ b_pk]),门控向量拼接原 token、交互特征、可学习的极性 embedding b_pk,输出每维 (0,1) 的控制门;
- Signed residual fusion:h'_k = h_k + p_k·(2g_k − 1) ⊙ e_k,极性符号 p_k∈{+1,−1} 直接乘到 (2g_k−1)——正向 token 把表征推向目标、负向 token 推离目标,实现“同一套门控、按极性反向调制”。
训练设置:embedding 维度 d=64,序列长度 L=100(KuaiRec/KuaiRand)或 50(TAAC),batch 2048,Adam lr=1e-3,训 1 epoch。隐式负反馈定义为“曝光但表现出脱离”(划过、快速滑走、低完播);KuaiRec 用 watch-ratio≥2.0 作为正样本阈值。方法可挂到 DIN、Transformer(两阶段)与 OneTrans、HyFormer、MixFormer(统一块)五种 backbone 上,复杂度线性、开销可忽略。
3. 核心技术贡献
- 范式重定义:把问题从“how to encode”转向“what to encode”,论证混合极性序列与架构改进正交互补——这是最核心、最可迁移的贡献。即便不用 TAPF,仅把负反馈混进序列(配简单极性偏置 PBE)就能拿到 70~80% 的增益。
- 带符号门控融合:用同一套 target-aware 门控、靠极性符号 p_k 决定 push/pull 方向,避免为正负行为各训一套参数;相比 PBE(每种极性一个统一偏移),TAPF 通过 target-conditioned 门控按“候选相关性”区分负样本,额外再加 +0.3~0.8% AUC。
- 等长替换的序列构造:负向替换正向而非追加,序列长度/算力不变即可获益,工程上几乎零成本接入现有 pipeline。
4. 实验结果分析
主结果(Mix Seq + TAPF 相对 AUC 提升)跨五架构一致:KuaiRec +4.2%~+5.5%,KuaiRand +6.7%~+9.6%,TAAC +1.9%~+2.5%。
- KuaiRand 增益最大(最高 +9.6%,Transformer),因为它是随机曝光日志,负反馈信号更“干净”、信息量更高;TAAC(腾讯广告)最小(+1.9%~2.5%),作者归因于广告域的特定因素。
- PBE vs TAPF:简单极性偏置已拿 70~80% 增益,说明“把负反馈纳入序列”这个数据范式本身是主因;TAPF 的 target-conditioned 门控在此之上再加 +0.3~0.8%,价值在于按目标相关性细分负样本。
- 正向比例 r 敏感性:各数据集都是倒 U 曲线,峰值 r*∈[0.2,0.7],平台较宽;r=0.5 是稳健默认值,无需精调即可拿大部分增益。
- Scaling:混合序列 AUC-长度斜率约为正向序列 2 倍,正向序列在 L=100→500 几乎不涨(OneTrans +0.0010),印证“加长正向已到头”。
5. 局限与未来方向
论文未单列 limitations,但承认:(a) 增益随数据集差异明显(TAAC 明显低于 Kuai 系),暗示存在域特定因素未解释;(b) 隐式负反馈语义上比显式反馈更模糊(划过可能因不喜欢、也可能已看过/误触);(c) TAPF 引入线性但非零的额外开销。隐含未来方向:扩展到显式负反馈、解释 TAAC 增益偏低、适配 10K+ 超长序列。补充一点作者没强调的局限:负反馈定义(划过/低完播阈值)依赖埋点口径,跨平台迁移需重新标定;且 r 的最优值与负反馈质量耦合,随机曝光多的场景收益更大。
6. 工业实践意义
对搜推从业者,这是“低成本高 ROI”的典型:
- 该做:在现有 CTR/排序模型里,把曝光未点击、快速划走、低完播等隐式负反馈按时间戳混入用户序列(等长替换部分正向),默认 r≈0.5,先上简单极性偏置就能拿大部分收益,再考虑 TAPF 门控做精细化。改造架构无关、算力不变,DIN 到 OneTrans 都能挂。
- 该试:在随机曝光/探索流量上收集更干净的负反馈(这里增益最大);长序列团队与其继续堆正向长度(已递减),不如把预算投到负反馈混合。
- 该避:别把所有负反馈一视同仁——TAPF 的价值正是按候选相关性区分负样本;也别迷信复杂门控,先验证“加负反馈”这个数据范式在自己业务的增益盘子有多大。
- 社区短文本搜索映射:UGC 搜索里“曝光未点击/秒退/无互动”就是天然负极性信号,可作为 query 感知用户序列的一部分;TAPF 的“按极性 push/pull 候选”也适用于把“用户历史快速划走的帖子类型”作为负向约束注入排序。