问题与动机

当前生成式推荐系统（如 Meta HSTU）将物品和动作 token 交错排列在序列中，这导致三大问题：(1) 语义异质性——交错隐式假设不同实体类型共享潜在结构；(2) 因果关系缺失——物品引发动作的因果依赖仅隐式存在；(3) 注意力噪声——后续物品继承了对前序不相关动作的注意力偏差。计算上，交错使序列长度翻倍（N→2N），注意力计算量增加约 4 倍。

方法概述

提出将生成式推荐重新表述为显式的物品条件动作池化。维护独立的物品和动作表示流，使用物品嵌入作为注意力查询/键，动作嵌入仅作为值，施加严格因果掩码。

核心技术贡献

1. AttnLFA（注意力后融合）：物品表示独立经过 Transformer 层处理，最终用物品表示作为查询/键、动作嵌入作为值进行注意力池化。通过查询移位实现因果掩码，序列复杂度减半
2. AttnMVP（混合值池化）：扩展 AttnLFA 实现早期融合，构建混合值 V_t = H_t + λa_t，在 Transformer 层间逐步集成历史动作信号。物品表示从通用内容语义演化为偏好感知语义
3. 显式因果建模范式：用显式的物品→动作因果关系替代隐式的 token 交错，提供更优的设计范式

实验结果分析

• 大规模社交网络产品推荐数据：序列长度达 1024，覆盖 12 个月
• AttnLFA vs 交错基线：评估损失 -0.29%，长停留 NE -0.06%，贡献 NE -0.49%，点赞 NE -0.47%，训练时间 -22.8%
• AttnMVP vs 交错基线：评估损失 -0.80%，长停留 NE -0.41%，贡献 NE -1.1%，点赞 NE -1.1%，训练时间 -12.3%
• 多任务覆盖：跨 12+ 监督动作标签（点击、跳过、停留时间、点赞、分享、评论等）

局限与未来方向

AttnDHN（双螺旋网络）训练不稳定，需降低学习率；动作表示因词汇量小（~数十个）而不如物品表示丰富；加性融合优先考虑效率而非复杂度，门控池化等更高级融合机制未探索。

工业实践意义

来自 LinkedIn 的 KDD 2026 工作。AttnMVP 在序列长度减半的同时实现更好的推荐效果和 12.3% 训练加速，对大规模推荐系统有直接价值。显式因果建模思路可推广到搜索排序中的多信号融合场景——将点击、停留、转化等行为信号的因果关系显式建模而非简单拼接。