CADET: Context-Conditioned Ads CTR Prediction With a Decoder-Only Transformer
LinkedIn 提出 Decoder-Only Transformer 架构 CADET 用于广告 CTR 预估,引入上下文条件解码和自门控注意力机制。
INSIGHT将 NLP 领域成熟的 Decoder-Only Transformer 范式迁移到 CTR 预估场景。关键创新在于 context-conditioned decoding 显式建模位置等后评分信号,以及 timestamp-based position embedding 捕捉用户行为的时序模式。这表明 CTR 模型架构正在向统一 Transformer 范式收敛。
业务关联社区搜索排序模型可借鉴 CADET 的架构思路:用 decoder-only transformer 统一建模用户特征序列,通过 context-conditioned 机制引入展示位置、时间等上下文信号。自门控注意力可缓解搜索排序模型训练中的不稳定问题。
证据在 LinkedIn 广告平台上线,CTR 相比生产模型 LiRank 提升 11.04%。采用 tensor packing 和定制注意力 kernel 优化推理性能以满足线上延迟要求。