← 全部深度解读
📖 深度解读 · PERSONALIZATION

Bridging Sequential and Contextual Features with a Dual-View of Fine-grained Core-Behaviors and Global Interest-Distribution

Yi Xu, Chaofan Fan, Moyu Zhang, Jinxin Hu, Jiahao Wang, Hao Zhang, Shizhun Wang, Yu Zhang, Xiaoyi Zeng · Alibaba · arXiv 2603.12578 · 发表 2026-03-16
6 分钟阅读时长 2329字 4.50综合分 第 1 名03-17 Personalization 日报
目录 · 6 节1问题与动机2方法详解3核心技术贡献4实验结果分析5局限与未来方向6工业实践意义
相关 5新颖 4实用 4证据 3时效 5
双视角设计的核心价值在于解耦了用户行为序列的两种信息维度:局部精准匹配(核心行为与候选 item 的细粒度交互)和全局偏好概览(兴趣分布的宏观特征),这为 CTR 模型提供了比单一聚合向量更丰富的建模空间。对于 UGC 搜索场景,该方法可直接迁移用于建模用户浏览、点击、收藏等多层级行为序列,在兼顾推理延迟的前提下提升排序精度。

1. 问题与动机

CTR 预估任务的核心在于建模用户行为序列与候选物品上下文特征之间的交互。现有方法面临一个根本性的 trade-off:传统方案(如 DIN、DIEN)先将用户行为序列通过各种 pooling 方式压缩为单一向量,再与上下文特征交互,这种「先聚合后交互」的范式不可避免地丢失了行为级别的细粒度信息,导致模型无法捕捉特定行为与上下文特征之间的精准关联。而另一极端方案(如 OneTrans)将完整行为序列展开与上下文特征做联合注意力交互,虽然保留了细节但计算复杂度为 O((L+N_f)²),且大量无关行为引入显著噪声。中间方案(多窗口聚合)虽降低了计算量,但本质上仍在聚合阶段丢失信息。本文提出的 CDNet(Core-behavior Dual-view Network)试图在这两个极端之间找到最优平衡点。

2. 方法详解

CDNet 由三个核心模块构成:

细粒度核心行为模块(Core-Behaviors Module):首先计算候选物品特征与每个历史行为的余弦相似度 a_j = (f_i^T·s_j / (||f_i||·||s_j||) + 1) / 2,然后通过 top-k 选择机制筛选出与候选物品最相关的 k 个核心行为。选择过程使用 Straight-Through Estimator(STE)解决 top-k 操作的不可微问题:前向传播使用离散 mask 做硬选择,反向传播将 mask 近似为可微概率。在 Taobao 数据集上 k=16(序列长度 600),工业数据集上 k=100(序列长度 1600)。

全局兴趣分布模块(Global Interest-Distribution Module):将相似度区间 [0,1] 等分为 n 个区间(默认 n=5),统计每个区间内的行为数量构成兴趣分布直方图,再通过 embedding 将计数转化为稠密表征。该模块的设计意图是保留完整行为序列的宏观分布信息——即使某些行为未被选为核心行为,其兴趣倾向仍通过分布统计被捕获。

特征交互与预测层:将 k 个核心行为 + 1 个兴趣分布向量 + N_f 个上下文特征拼接,输入标准 Transformer 进行联合注意力交互。最终通过 MLP 输出点击概率,使用交叉熵损失训练。核心优势在于交互矩阵从 OneTrans 的 (L+N_f)² 降为 (k+1+N_f)²,其中 k << L。

3. 核心技术贡献

贡献一:双视角互补建模。细粒度核心行为提供局部精准匹配信号,全局兴趣分布提供宏观偏好概览,两者在信息粒度上形成互补。消融实验证实两者都不可或缺:移除核心行为模块 AUC 下降 0.18%,移除兴趣分布模块 AUC 下降 0.08%。

贡献二:噪声与信号的平衡。通过 top-k 选择机制过滤无关行为噪声,同时通过分布统计保留全局信息。实验表明,全序列展开(k/L=1)反而不如最优选择比例,证明了行为选择去噪的必要性。

贡献三:计算效率与精度的 Pareto 改进。在工业级 7B 交互数据上,CDNet 相比 OneTrans 在 AUC 和 GAUC 上均有提升,同时序列交互规模从 1600 降为 100+1+N_f。

4. 实验结果分析

在 Taobao 公开数据集(8900万条记录)上,CDNet 相比最强基线 OneTrans 在 AUC 上提升 +0.58%(0.6351→0.6388),GAUC 提升 +0.33%(0.6319→0.6340)。在工业数据集(70亿交互)上,AUC 提升 +0.12%(0.7239→0.7248),GAUC 提升 +0.26%(0.6214→0.6230)。

对比基线覆盖了三类方案:(1)聚合方案(DCN/AutoInt/Hiformer/Wukong/RankMixer + Mean/Target-attention/Self-attention pooling);(2)联合交互方案(InterFormer、OneTrans)。CDNet 在所有基线组合中均取得最优。值得注意的是,Hiformer+Target-attention pooling 和 Wukong+Self-attention pooling 这些较强的聚合基线与 OneTrans 差距不大,说明聚合方案的天花板已接近联合交互方案。

消融实验在工业数据集上进行:移除核心行为(CDNet-RCore)AUC 从 0.7248 降至 0.7230(-0.18%),移除兴趣分布(CDNet-RGid)AUC 降至 0.7240(-0.08%)。核心行为模块的贡献约为兴趣分布的 2 倍,这与直觉一致——局部精准匹配比全局统计更关键。

在线 A/B 测试:在大规模电商平台部署 10 天,CDNet 实现 CTR 相对提升 2.24%,且无额外推理延迟开销。

5. 局限与未来方向

论文未显式陈述局限性。主要隐含局限包括:(1)核心行为数量 k 和分布区间数 n 需要针对数据集调优,论文未提供系统的选择指南;(2)未讨论冷启动场景下行为序列过短时双视角方法的表现;(3)兴趣分布模块使用简单的等间距分箱,未探索自适应分箱策略。

6. 工业实践意义

CDNet 对搜索推荐系统有三个直接实践价值:

可迁移的架构范式:「核心行为选择 + 全局分布补偿」的双视角设计适用于任何需要处理长行为序列的排序模型。在 UGC 社区搜索中,可将用户的浏览、点击、收藏行为分别建模为不同信号源,用核心行为捕捉与当前查询最相关的行为,用分布模块反映用户的整体内容偏好。

零延迟部署友好:在线实验确认无额外推理延迟,这对延迟敏感的 CTR 场景至关重要。核心行为选择本质上是一次 top-k 操作,兴趣分布是简单的分箱计数,两者的计算开销远低于节省的注意力计算。

增量优化路径:该方法不要求替换现有模型架构,只需在序列建模模块中引入核心行为选择和分布补偿,适合在现有 CTR 模型上做增量迭代。线上 2.24% 的 CTR 提升在工业级别是相当显著的。

← 全部深度解读 出现于报告:2026-03-17 · Personalization #1 (4.50) 原文 ↗