Preference-Drift-Aware Subsequence Learning and Hierarchical Context Fusion for Long-Sequence Generative Recommendation
DRIFT 使用语义、时间和兴趣变化学习软分段边界,将长历史压成偏好一致的子序列,再通过交叉注意力与门控融合近期和长期兴趣。KuaiRec 上 DRIFT-HSTU 的 Recall@20 从 0.1540 升至 0.1872,相对提升 21.6%;每轮训练时间从 3.06 秒降至 1.91 秒。
INSIGHT社区用户可能在不同时间段切换话题,长历史应按偏好变化压缩,而非只按长度截断或按语义相似度检索。可以将软分段与近期查询联合建模,检验短文本召回和点击效果。效率收益依赖骨干:DRIFT-GLASS 在 Taobao MM 的推理时间反而增加 39.24%,不能把训练加速等同于线上加速。