1. 问题与动机
CTR 预估的核心驱动力之一是用户行为序列:序列越长越完整,对用户兴趣刻画越准确。然而真实工业场景,尤其是长内容平台(电影、图书、长视频)和社区类 UGC 平台,用户行为天然稀疏——多数用户不到 K 次有效点击。论文 Figure 1 通过经验对照验证了这一点:序列长度切短后,DIN/SIM/TWIN 等主流 CTR 模型的 AUC 都明显回落,但简单的"加更多用户行为进序列"也并非银弹。Table 1 揭示了一个反直觉发现:直接把相似用户的行为粗暴拼接到 DIN 输入上,AUC 仅从 baseline 0.8833 提升到 0.8837(Electronics 数据集),而对 TWIN 模型在 K>2 时反而劣化(K=2 时 AUC 0.8809 → K=4 时降到 0.8785)。这意味着"借用相似用户"必须在结构上做精细化设计,否则跨用户噪声会盖过信号。这是论文要解决的核心 Gap:如何在稀疏行为下安全地引入相似用户辅助序列。
2. 方法详解
SUIN 由四个组件构成。(1) 用户检索池:使用 SASRec(自注意力序列编码器)将训练集所有用户的行为序列离线编码为 d′ 维定长 embedding,仅基于训练集构造避免数据泄漏。(2) 相似用户检索:对每个目标用户 u_t,使用余弦相似度 Similarity(u_t, u_c) = (e_b^t · e_b^c) / (|e_b^t|·|e_b^c|) 选 top-K 相似用户,K 是按数据集调优的超参(论文消融显示 Electronics K=4,Kindle/Taobao K=2,Alipay K=1 最优,呈典型单峰)。(3) 用户特定的目标感知位置编码 UTPE:把 K 个用户的行为序列拼接后,给第 k 个用户的序列分配位置 ID {kL+L−1, …, kL+1, kL},同时编码三类信息:用户身份、跨用户位置、用户内时序。(4) 用户感知目标注意力 UTA:对每个候选商品 i 同时计算两类注意力分数:item-item 部分 α_item = (W_item^Q·ē_t)^T(W_item^K·ē_i)/√d_item,user-user 部分 α_user = (W_user^Q·ē_b^t)^T(W_user^K·ē_b^i)/√d,最终权重 α = Softmax(α_item + α_user),将相似用户的"目标商品交互"按用户相似度精细加权。训练设置:embedding dim=16,DNN [200,80,1],Adam lr=0.001,short-term batch=512、long-term batch=256,最多 5 个 epoch,patience=1 早停。长期场景采用类似 TWIN 的 CP-GSU/ESU 两阶段共享参数策略以控制 GSU 的开销。
3. 核心技术贡献
贡献一:相似用户行为作为稀疏画像的低成本补全——不是简单拼接,而是通过 UTA 让模型在跨用户和跨物品两个维度同时打分,AUC 增益相对 TIN 在 Electronics 上 +0.42%、Kindle 上 +0.73%。贡献二:UTPE 位置编码同时编码用户身份与时序——消融显示去掉位置编码"取得了最差结果"(worst result),证明显式区分"哪个用户的哪个时刻"对模型是必需的,而非可有可无的工程细节。贡献三:UTA 的双注意力融合——把传统 target attention 仅看 item-item 拓展为 (item-item + user-user) 两路 logits 加和后 softmax,避免了"先按用户相似度过滤再做 attention"这种硬阈值方案不灵活的问题。贡献四:随机相似用户消融对比——把"top-K 相似用户"换成"随机用户"后增益消失,验证了收益不是来自架构本身扩容而是来自相似用户检索质量。
4. 实验结果分析
短序列数据集(Amazon):Electronics 上 SUIN AUC 0.8911 vs TIN 0.8856(+0.42% 相对提升),Logloss 0.4132 vs 0.4282;Kindle Store 上 SUIN 0.9068 vs TIN 0.9002(+0.73%),Logloss 0.3857 vs 0.3988。长序列数据集:Taobao 上 SUIN 0.9384 vs TWIN 0.9314(+0.48%),Logloss 0.3165 vs 0.3328;Alipay 上 SUIN 0.9121 vs TWIN 0.9056(+0.72%),Logloss 0.3669 vs 0.3818。从绝对值看,长序列数据集上的相对提升和 Logloss 下降都更可观,符合"目标用户自身序列长但未必稠密"的直觉——相似用户能提供互补的兴趣切面。消融关键发现:(a) 移除 UTA 显著退化,说明 user-user 注意力是核心;(b) 移除位置编码退化最严重,说明用户身份信号必须显式注入;(c) 用随机用户替代相似用户后增益消失,证明检索质量是上限决定因素。超参敏感:K 在不同数据集呈"单峰"曲线,过大会引入噪声、过小则信息不足,需按数据稀疏度调优。
5. 局限与未来方向
论文未在主文中正式列出局限性章节。从方法本身看几个可观察到的限制:(1) 离线相似用户索引在用户行为变化快的场景需要定期重建,文中未给出重建频率与代价的实验;(2) 仅在 4 个公开学术数据集(Amazon Electronics/Kindle、Taobao、Alipay)上验证,未提供工业 A/B 在线指标,对于工业落地的延迟、缓存命中率、相似用户索引规模等关键工程问题没有量化;(3) UTA 把行为序列扩到 K 倍长度,对长序列推断 (TWIN 长序列) 的 attention 计算开销将显著增加,论文复用了 TWIN 的两阶段策略缓解,但相对原 TWIN 的额外成本未公开。
6. 工业实践意义
对社区搜索/UGC 推荐而言,SUIN 给出了一条实用的"长尾用户增强"方法论:(1) 离线层面:基于现有序列模型(DIN/SIM/SASRec)副产生用户 embedding 库,按周/天频率重建相似用户 top-K 索引——成本相对可控,KNN 库规模可用 FAISS/HNSW 控制在 GB 级。(2) 模型层面:把 SUIN 作为排序侧的"补丁层"叠加到现有 CTR 主模型上,对长尾 query/低活跃用户的精度提升优先级最高。(3) 部署考虑:UTA 把序列长度扩成 K×L,对 GPU 计算与 batch 显存敏感;建议先在长序列场景沿用 SUIN 的 CP-GSU/ESU 两阶段策略,在 GSU 阶段用相似用户做粗排,再在 ESU 阶段做精细 attention,平衡延迟。(4) 隐私与合规:检索"相似用户行为"涉及跨用户的间接画像,落地需走匿名化、聚合化、去用户 ID 的工程处理,在做 A/B 时同时关注公平性指标避免对小样本用户过度补全。(5) 期望收益:基于学术结果保守估计,在长尾用户分桶上 AUC +0.4%–0.7% 区间是可期待的,对应到 CTR 上线收益约 1%–2%;推荐先在低活跃用户切片做实验,避免大盘小幅波动被噪声淹没。