RecSoup: Efficient Model Merging Approach for Controllable Multi-Objective Recommendation

把分别追求准确率和多样性的模型合起来，可以让推荐系统在使用时调整目标取舍。RecSoup 先清理各模型的参数增量，再学习不同偏好应该怎样混合这些增量。它想降低的，是每次改变目标权重时重新训练或生成参数的成本。

1. 问题与动机：想换取舍，不想重训模型

实际推荐往往有多个目标。多放用户熟悉的内容，可能提高短期准确率；增加新类别，又可能改善探索与多样性。不同用户、流量位置和运营阶段，需要的取舍并不固定。

列表重排可以在已有候选里调整结果，但活动空间受候选集合限制。另一条路线让超网络根据目标偏好生成推荐模型的参数，表达能力更强，却增加辅助网络、训练和推理开销。论文问的是：既然已经有各目标的专门模型，能否直接复用它们？

直接按权重平均也有问题。两个模型为了不同目标修改同一参数，修改可能相互抵消；有些增量又只是噪声。目标偏好也未必等于合理的参数混合比例。RecSoup 将“保留什么”和“混合多少”拆成两个步骤。

2. 方法：先选增量，再学比例

作者从同一基础模型出发训练专门模型。专门模型与基础模型的参数之差，称为任务向量。它代表为某个目标学到的改动。合并时保留基础模型，只组合这些差值，因此需要相同的参数结构与可对齐的起点。

第一阶段为每个参数增量打重要性分。一部分看它占本目标增量能量的比例，另一部分看它与其他目标同一位置的增量有多强的关联。这里的能量就是平方幅度，便于把不同位置的贡献加起来比较。

跨目标关联取绝对值，是一个值得注意的细节。方向相反的增量不一定可以删除：准确率和多样性的矛盾，本来就可能由关键参数朝不同方向变化产生。作者希望保留重要但相互竞争的信息，避免把“存在冲突”简单等同于“没有价值”。

随后按重要性排序，保留足够多的参数，使保留下来的本目标能量达到设定比例。实验的能量保留阈值取 0.9—0.95。它不是固定保留同样比例的参数；增量越集中，达到阈值所需的位置可能越少。

第二阶段用轻量门控网络，把目标偏好映射为合并系数。偏好里说“更重视准确率”，不意味着准确率任务向量必须按同一数值加权。网络学习的是这种不直接对应的关系。它只输出少量系数，再对冻结的任务向量加权求和。

训练这一阶段时，基础模型和裁剪后的任务向量都不更新，只训练门控网络。作者用偏好加权的多目标损失提供信号。这样，裁剪负责减少不必要的参数干扰，门控负责沿偏好调节组合，两个模块承担不同工作。

3. 核心贡献：把参数复用变成可控接口

模型合并本身并不新，论文的重点是将它适配到可控多目标推荐。固定合出一个模型，仍然只能给所有请求一种取舍；让偏好决定合并系数，才形成一组可调模型。

作者还专门分析了通用任务向量算法在推荐里的假设。他们用主成分分析观察准确率、多样性任务向量，发现变化没有集中在少数共享方向。这个结果提示简单线性组合可能不稳，但主成分分布本身并不能完整证明模型的所有非线性性质。

理论部分也需要带着条件阅读。论文把两个专门模型的凸包假设为帕累托最优集合，再讨论平滑性受限的参数生成映射能否覆盖它。帕累托最优指一个目标无法继续改善而不损害另一个目标。这个定理说明特定假设下的覆盖差异，并不是所有超网络都不如合并的普遍证明。

更实用的贡献来自消融：裁剪依据、系数映射和不同推荐骨干被分别比较，读者可以检查改善究竟来自哪一部分，而不必只接受一个最终分数。

4. 实验：参数构造快，不等于推荐整体同倍数快

作者在 MovieLens-1M、Amazon 食品和玩具数据上，使用三种序列推荐骨干。主要目标是准确率与多样性，还补充了公平性和三目标实验。准确率专门模型采用成对排序损失，多样性目标鼓励类别新颖并减少重复。

下表来自论文的推理参数构造延迟实验。两列耗时单位均为毫秒，数值是多次运行平均值；这里省略标准差，便于比较量级。

加速来自避免逐项生成大量参数。它不包含完整的特征读取、候选召回与排序服务时间，也不是对扩散方案或所有已有系统的统一加速比。上线收益还取决于每次偏好变化是否真的要重新构造参数，以及构造结果可复用多久。

质量侧，作者用超体积衡量取舍曲线覆盖的目标空间，数值越大通常表示整体取舍更好；另用可控性检查调高某个偏好后，对应指标是否按预期变化。在 MovieLens 的 SASRec 设置中，RecSoup 超体积为 0.7090，简单合并为 0.6536。

结果并非每个指标都最好。同一设置里，不裁剪的变体超体积更高，而可控性也与完整方案不同；一些数据上的逐偏好重训结果仍更强。这说明裁剪是一种经验取舍，不能只凭总表就声称删参数永远改善全部目标。

实验训练时使用抽样负例，评测同样使用抽样候选。这样的协议适合做一致的离线比较，但全量物品排序会面对不同的热门度、候选规模和成本。论文提供代码，便于进一步核对这些条件。

5. 局限：成本被移走的部分仍要核算

作者的复杂度分析明确提到，若合并完整参数，物品向量表很大时仍可能主导开销。少量系数容易生成，不代表大量参数的读写与合并不耗带宽。实际服务还要考虑缓存、并发和模型实例生命周期。

实验主要证明离线取舍质量与参数构造效率，没有给出生产线上点击或收入实验。专门模型本身的训练成本已经发生，不能只计算门控网络的轻量训练，就把总成本视为接近零。

此外，实验主要围绕离散的离线偏好进行评估。若每个用户每次请求都生成一个新偏好，系统需要决定是即时合并，还是共享有限数量的偏好档位。这是架构部署中的具体选择，论文的毫秒级构造表没有替业务完成这项判断。

6. 工业实践意义：把可调目标做成可测试部件

已有同架构准确率、多样性模型的团队，可以直接比较简单参数平均、裁剪后平均和学习系数三种方案。三个方案保持骨干与候选一致，分别看取舍曲线和可控性，就能识别两个阶段是否都有价值。

如果社区推荐需要在熟悉内容和探索内容之间切换，可以把偏好划成少量可解释档位，提前构造并缓存对应模型。这样能把参数合并从请求关键路径移开；若确实需要逐请求偏好，再单独测量参数读写和尾延迟。

业务评估应同时报告准确率、多样性、控制方向与端到端成本。某个权重调高后，指标是否单调响应，与平均效果是否提高，是不同的问题。RecSoup 提供的是一个可复用的参数控制接口，最值得借鉴的是把这两件事分开检验。