TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds
推荐系统长期存在两个独立范式:多域特征交互模型(建模类别特征相关性)和序列模型(捕捉用户行为动态)。本文揭示了朴素统一两者会导致“序列坍塌传播(SCP)”——非序列域的维度不匹配导致序列特征的维度坍塌。为此提出 TokenFormer,通过统一的 token 化表示和专门的注意力机制,在单一架构中有效融合多域特征交互与序列建模,避免 SCP 问题。在腾讯广告平台的实验中验证了该方法的有效性。
INSIGHTSCP(序列坍塌传播)是工业推荐系统中一个被忽视但普遍存在的问题:当多域特征和序列特征简单拼接送入共享 backbone 时,维度不匹配的非序列特征会“污染”序列表征。TokenFormer 的 token 化统一策略为解决该问题提供了实用方案。对于社区搜索的排序模型,如果同时使用 query/用户画像等类别特征和用户行为序列,应特别关注特征维度对齐,避免序列建模能力退化。