Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations
本文发现一个反直觉现象:LLM 中间层表征在推荐任务上优于最终层输出,说明 LLM 的深层语义压缩可能丢失了推荐所需的特征多样性。基于此洞察,作者提出 MARC(Modular Representation Compression),显式引入压缩和任务适配模块,利用信息约束解耦不同任务的表征需求。MARC 已被 SIGIR 2026 接收,在大规模商业搜索广告场景的在线 A/B 测试中取得 2.82% 的 eCPM 提升。
INSIGHT"中间层优于最终层" 的发现对 LLM+推荐的工程实践有重要指导意义:直接使用 LLM 最后一层 embedding 做推荐可能并非最优,应该系统性地评估各层表征质量。MARC 的模块化设计使其可以作为即插即用组件集成到现有推荐 pipeline 中,降低 LLM 表征的存储和计算成本。2.82% eCPM 提升在搜索广告场景下是非常可观的收益,验证了 LLM 表征压缩在工业界的实用价值。