Personal-Agent Mediated Recommendation：跨平台用户历史的选择性介入

正文依据：https://arxiv.org/html/2610.07588 。方法和实验来自正文及附录 A、B，面向 UGC 社区的建议为本报告分析。

1. 问题与动机

平台推荐模型拥有大量群体协同信号，但只看到用户在本平台的行为；个人代理可能拥有用户授权的跨平台历史，却不知道平台内部训练数据、模型状态和原始分数。这形成双向信息不对称。把平台排序完全交给个人代理重做，很容易损失平台已捕捉的有效信息；完全不调整，则无法利用跨平台记录透露的具体兴趣。

作者将任务定义为 Personal-Agent Mediated Recommendation：平台先返回完整候选排序，个人代理输出最终 top-K。重点不是从空白目录生成推荐，而是在强默认排序之上决定哪些项目值得改写。评价中明确拆出“平台未命中但代理找回”的补救，以及“平台本来命中却被代理删掉”的有害覆盖。HR@K 的净改善等于补救概率减去有害覆盖概率，这让个人化收益和破坏已有正确决策的成本处于同一个尺度。

实证动机同样具体。真实 OpenPlay 平台基线 HR@10 为 40.8%，未适配的 Qwen3-4B-Instruct 只有 38.9%；获得额外历史并不自动带来更好的个性化。论文据此提出 PAMO，训练代理既利用个人记录，又保留平台证据。虽然采用 LLM 代理，核心评价仍是用户历史建模和个性化排序的净收益，因此本次单轨将其纳入 personalization。

2. 方法详解

平台提案 B 包含候选集合、完整平台排序和候选元数据。代理输入还包括本平台历史 H_within 和跨平台历史 H_cross，并先生成可见理由 R，再给出有序列表 S。平台内部得分与群体交互不向代理暴露。最终列表只可从现有候选中选择，保持平台 top-K 本身是合法动作。

MediateRec 用 Amazon Reviews 2023 的四个品类模拟不同平台：Movies、Toys 为见过的目标平台，Grocery、Beauty 用于未见平台迁移。同一用户在其他品类的先前交互作为跨平台记录，没有额外 k-core 过滤。Movie 和 Toy 各有 5,000 训练、1,000 验证和 2,000 测试；Grocery 与 Beauty 各有 2,000 仅测试样本。真实外部测试用 OpenPlay 链接 Steam、Nintendo、Xbox 的匿名同人记录，共 645 名用户，Steam 是唯一目标平台。这些用户不进入代理训练、超参数选择或检查点选择。

每次评测固定 50 个候选：真实目标加 49 个按流行度采样、此前未交互的物品，目标项明确被插入。这是候选条件排序测试，不是端到端召回评测。平台先用仅在本平台训练的 SASRec 排序，再由 Claude Sonnet 4.6 在仅含本平台历史的条件下重排，最后冻结提案。SASRec 为 64 维嵌入、最大长度 50、两层注意力、单头、dropout 0.5，以 256 个负例的交叉熵训练；Adam 学习率 0.001，batch 256。

PAMO 每个提示采样八个理由和列表。个人介入支持度是同一个理由在完整历史条件与遮蔽跨平台历史条件下的对数似然比，再除以理由长度。完整条件概率已由 rollout 保存，所以只需额外执行一次遮蔽历史的 teacher-forcing。作者刻意只计 FINAL 标记之前的理由，不计最终 ID 段：固定理由前缀后，ID 对遮蔽历史的敏感性可能很弱。支持度只说明模型的理由依赖那些记录，不保证记录正确，也不保证决策有价值。

接下来把单目标 NDCG 拆成 top-1 到 top-K 的嵌套命中指标，权重取相邻折扣差。这使从第八位升到第三位的收益只分配给跨越的第三至第七个边界。PAMO 在平台相关的变化上重新分配组内优势，倾向更有个人历史支持的回复，但同时保留平均平台相对 NDCG 的价值下限，避免奖励“理由特别依赖个人信息但排序更差”的输出。κ=0 时退化为标准组相对优势；主实验 κ 为 0.5，支持度不反向传播。

代理用 Qwen3-4B-Instruct 初始化。先用 2,000 条 Sonnet 示范做格式 SFT，Movie、Toy 各一千，不按推荐结果过滤；三轮训练，batch 64，最大长度 8,192，学习率 0.00001。RL 每次更新 64 提示、每提示八次采样，温度和 top-p 均为 1.0，学习率 0.000001，PPO minibatch 32、clip 0.2，无 KL 惩罚，理由回答最长 2,048 token。总计 400 次更新，每 50 次验证并存检查点；框架 VeRL，rollout 用 vLLM。正文没有明确列出可确认的 GPU 型号与训练墙钟时间。

3. 核心技术贡献

第一，定义强平台提案下的个人化介入任务。固定候选、平台排序和用户，并把补救、有害覆盖、替换数量分开，让用户信息的作用与“修正一个很弱的默认列表”区别开。平台基线已经包含协同过滤和 LLM 重排，代理胜出才更能说明附加信息与训练策略有效。

第二，用遮蔽历史的反事实评分评估理由对个人记录的依赖。它比按理由中有没有出现某个词更有结构：同一回复、同一提案、本平台历史不变，只移除跨平台部分。按长度归一化也避免长理由天然得到更大累计差值。作者同时明确，这个指标是模型相对的支持度，而不是人类可验证的因果归因或正确性证明。

第三，把推荐价值约束加入优势重分配。普通 outcome-only GRPO 会奖励正确结果，却不区分它是否受跨平台信息支持；只按支持度奖励则可能放大错误干预。PAMO 在嵌套排序边界上调整优势，并保留价值下限。理论部分证明其在保持相应质量质量约束的局部一阶重分配中具有最优性质；这不等于整个训练过程对任何数据分布都全局最优。

第四，提供代理平台和真实跨服务测试的组合。Amazon 能提供规模和受控信息边界，OpenPlay 则检查真实服务之间是否迁移。真实测试上，PAMO 的 NDCG@10 比匹配训练的 GRPO 从 0.267 提升到 0.284；HR@3 从 22.2% 提高到 26.2%，说明收益更明显地集中在榜首，而不只是第十位边缘命中。

4. 实验结果分析

下面摘录正文表 3 的真实 OpenPlay 结果；补救和有害覆盖均为全部评测样本中的比例，而不是某个条件群体的比例。

PAMO 相对平台 HR@10 增加 7.1 个百分点，NDCG@10 增加 0.043，约为 17.8% 的相对增幅。它相对 GRPO 的 HR@10 只多 0.5 个百分点，却把有害覆盖降低 1.1 个百分点、NDCG@10 增加 0.017。这一对照提醒我们，不能只看补救：PAMO 的补救率反而略低于 GRPO，但减少破坏已有命中的决策，并改善目标在顶部的位置。

SFT 与未训练 Qwen 均未超过平台 HR@10，说明生成格式与拿到记录都不足以解决任务。作者的遮蔽实验保持候选、平台提案、本平台历史不变，仅去掉跨平台记录；五数据集平均 HR@10 和 NDCG@10 对所有模型均随完整历史提升，支持跨平台记录的实际贡献，但不能据此保证所有用户个体都受益。

消融中，κ 从 0 增大到中等强度时有所改善，最大的 0.75 效果变差，主实验选择 0.5。移除价值下限的版本在测试的支持强度下低于 κ=0 基线，正文未给出可直接读取的逐点精确数值，因此这里只报告方向，不从图形臆造数字。该结果支撑一个关键结论：历史依赖度本身不是完整训练奖励，必须与推荐价值同时控制。

作者还分析了 900 个平台漏掉、PAMO 找回的样本理由，用 Sonnet 标注其主要依据：72% 的补救主要来自跨平台用户语境，其中兴趣与粉丝偏好占 28%，家庭场景 19%，生活方式、饮食与健康 14%。这些是理由的模型标注，不是人工审计后的因果比例。例子中，跨平台 Led Zeppelin 记录帮助把 Robert Plant 音乐影片从第 37 位升到第 1 位；弱或无关记录则支持保持已有 Zelda 商品首位。

5. 局限与未来方向

作者在附录 A.5 明确说明三个范围限制。目标总被插入 50 个候选，因此结果不覆盖召回遗漏；Amazon 的品类边界只是代理平台，不是真实独立服务；Amazon 候选目录和流行度统计是静态全体数据，没有逐目标事件限制到当时可用物品。尽管历史严格在目标事件之前，目录可用性仍不是严格的时间因果部署协议。

真实外部测试也有明确边界：只有 Steam 作为目标，Xbox 信息只到类型级别，移动游戏记录因身份不可用被排除。645 名链接用户证明一种受控的跨服务迁移，不能直接代表所有用户、内容社区或长尾的新用户。作者对支持度的定义也强调，它测量模型理由依赖，不是记录真实性或对用户的真实有用性。

本报告另外指出：论文没有报告真实点击 A/B、在线隐私授权流完成率或重排的时延分布。Sonnet 被用于构造平台提案、示范以及理由标注，后者存在模型评估偏差的可能；这属于外推时应核验的事项，而非作者已经观察到的线上失败。可进一步在真实候选召回、多目标排序和时间严格目录中检验方法。

6. 工业实践意义

对社区搜索，最可借鉴的是保留强默认排序，再让用户历史产生具体且可审计的局部纠正。社区内历史、用户主动授权的其他来源记录和当前 query 意图应保持来源边界，避免把所有信号无差别混合。先固定同一召回集合做重排对照，区分哪些目标被找回、哪些原有正确结果被误删，以及实际替换多少条；再扩展到真实搜索 nDCG 和 CTR。

训练上可以先实现完整历史与遮蔽历史的成对评分，检验个性化理由是否真的利用记录。它每个 rollout 额外增加一次 teacher-forcing，而不是又生成一遍答案；这一成本与完整 RL 的采样预算需分别估计。400 次更新乘以每步 64 提示和八次采样形成较大的训练工作量，复现时不能只按一个 4B 模型的部署显存估算总成本。

服务侧正文采用每样本一次生成，从 50 候选中返回 top-10，并解析 FINAL 标记、去重 ID。建议增加非法 ID、列表不完整和超时的回退到平台提案，并先在小流量验证；这些回退是本报告的工程建议，并非论文已上线证明的机制。查询相关性强的搜索场景尤其应避免个人历史覆盖明确 query 约束。

最终收益判断要同时看用户分层 nDCG、CTR、误伤率、延迟、授权历史覆盖率和内容时效。论文证明的是离线候选条件排序更有效，不能直接宣称上线 CTR 增长 7.1%。更适合先作为用户建模与选择性干预的研究原型，在独立窗口和实际业务 A/B 中验证后再决定投入。