Deferred is Better: A Framework for Multi-Granularity Deferred Interaction of Heterogeneous Features
揭示了 CTR 预估中特征异构性(categorical vs numerical、稀疏 vs 稠密)被普遍忽视的问题:现有模型将所有特征同时输入交互层,导致低信息量特征注入噪声、掩盖高信息量特征信号,甚至引发模型坍缩。提出多粒度信息感知延迟交互框架(MGID),根据特征的信息密度分层引入交互,先让高信息量特征建立稳健表征,再逐步融入低信息量特征,从而学习更鲁棒的特征表征。
INSIGHT「延迟交互」思想对工业 CTR 系统有直接启发:在实际特征工程中,ID 类特征(极稀疏)与统计类特征(相对稠密)的信息密度差异巨大,一刀切的特征交互策略确实可能导致稀疏特征的噪声信号干扰稠密特征的学习。该框架提供了一种即插即用的特征交互改进思路——按信息粒度分层交互,不需要改变现有模型架构,适合在现有 CTR 模型上做增量优化。