Fortress: A Case Study in Stabilizing Search Recommendations via Temporal Data Augmentation and Feature Pruning
搜索与推荐的预测模型常因部分输入特征带来分数波动而出现「时间维度不稳定」,在多阶段系统中会因上下游分数不一致而损害可靠性与体验。论文提出通用框架 Fortress,通过定位并裁剪导致分数随时间不一致的特征来提升模型稳定性与精度,遵循四步流程:(1) 采集历史快照、按时间切分数据集以捕获同一实体跨周期的分数波动;(2) 识别预测不稳定的样本;(3) 隔离并移除引发不稳定的特征;(4) 仅用稳定特征重训模型。论文还指出来自 LLM/BERT 的语义特征虽利于泛化但可能引入不稳定,需要纳入该裁剪流程评估。
INSIGHT把「特征稳定性」当成一个可量化、可裁剪的工程目标,而非泛泛追求精度——这对多阶段搜索/推荐链路(召回→粗排→精排)尤其关键,因为上游分数抖动会被下游放大。可直接借鉴的设计是用时间切分的历史快照构造「同实体跨周期分数波动」数据集来定位不稳定特征,并对引入语义噪声的 LLM/BERT 特征保持警惕:泛化收益与线上稳定性需要联合权衡。