Unifying Search and Recommendation in LLMs via Gradient Multi-Subspace Tuning
论文面向搜索与推荐(S&R)统一建模,将两者排序都改写成 LLM 上的条件生成,但指出全参数微调成本高、PEFT 又面临两大问题:任务间梯度冲突,以及过拟合微调数据导致用户意图理解漂移、损害通用知识。作者提出 GEMS(Gradient Multi-Subspace Tuning):用 Multi-Subspace Decomposition 把共享与任务特定的优化信号拆到互补的低秩子空间以减少梯度相互干扰,用 Null-Space Projection 把参数更新约束在与通用知识空间正交的子空间内以抑制意图漂移。在基准数据集上,GEMS 在搜索和推荐任务上均超过 SOTA 基线。
INSIGHT该工作把"统一 S&R"的难点精确定位到 PEFT 下的梯度冲突与灾难性遗忘两点,并各给一个低秩子空间手段——对同时承载搜索与推荐的社区平台有直接借鉴:用一套 LLM + 子空间 LoRA 服务两条链路,省去维护两套模型。Null-Space Projection 保护通用域知识的思路,也适用于在垂域语料上微调时避免削弱大模型原有的语义理解能力。