FOSTER: First-order Dataset Distillation for Text-based Sequential Recommendation
文本序列推荐通过引入物品文本上下文提升精度,但训练成本高,且基于语言模型的物品编码使数据蒸馏常用的双层优化代价过高。FOSTER 提出面向文本序列推荐的一阶数据集蒸馏,含三个组件:(1) 随机物品子集采样,替代每步全量语料 embedding 提取;(2) 带轨迹锚定参数重置的一阶优化,避免昂贵的双层梯度计算;(3) 显式鼓励合成序列中语义相似物品共现的正则项。在三个基准上一致优于已有数据集蒸馏与 coreset 选择基线,仅用 20 条合成交互序列即可逼近全量数据的训练效果。
INSIGHT把数据集蒸馏从图像迁移到“离散物品池 + LM 编码”的文本序列推荐,核心难点是双层优化成本,FOSTER 用一阶优化 + 子集采样将其压下来。对需要在 LM-based 推荐上反复迭代调参的团队,20 条合成序列逼近全量的结论意味着可大幅降低离线实验成本;“语义相似物品共现”正则是让合成数据保留协同信号的关键设计,值得在自建蒸馏数据时借鉴。