SimRec: Learning to Search, Ask, and Recommend from Simulated Interaction

Yaxin Zhang, Xingyu Wu, Yuchen Yan, Yuqin Dai, Hong Zhao, Lixing Shen, Zhan Chen, Jian Shao, Yongliang Shen · Zhejiang University / Tsinghua University / Hikvision · arXiv 2611.15426 · 发表 2026-11-11
14 分钟阅读时长 5514字 4.00综合分 第 3 名11-16 Generative 日报
目录 · 9 节1现有推荐 agent 卡在哪2模拟用户只认「这次要什么」3奖励怎么给:推中的次数太少4走一遍:钓鱼竿那一单5训练时把目标「塞」进候选6实验结果7训练改掉的是哪些行为8这对做推荐 agent 的人意味着什么9局限
相关 4新颖 4实用 4证据 4时效 4

被用户回一句「不要伸缩的」,推荐 agent 下一步该干嘛?SimRec 用模拟用户把整段对话练出来你在一个购物助手里说:想要一套高品质的钓鱼竿加渔轮套装,泄力顺滑,做工扎实,性价比要好。助手搜了一轮商品,又调出你过去的购买偏好,然后推荐了一款便于旅行的伸缩竿。

你回它:不要伸缩的,想要一节或两节的竿,渔轮更顺、更结实。这时助手面前有好几条路:换个词重新搜,打开某件候选商品的详情核对,或者再问你一句。论文里的这个例子,助手打开了第二件候选的详情,确认它是一套标准的两节竿,改推它,这次推中了。

这篇论文来自浙江大学、清华大学和海康威视研究院,要解决的是:这种「搜、查、问、推、被拒再改」的推荐 agent,怎么学会每一步该做什么。现有的 agent 大多按人写好的流程走,先搜什么、什么时候问、什么时候推都事先定死。已有的训练只练其中一步,比如改写搜索词、给一张现成的列表排序,整段对话最后成没成,传不回做决定的模型。SimRec 用强化学习训练整段交互:一个以这次需求为准、看不到目标商品的模拟用户,对每次推荐回一句「缺什么」;奖励除了看最后推没推中,还看搜索结果好不好、工具有没有用对。用 Qwen3-4B 做 agent,在带查询与商品相关性标注的 ESCI 数据集上, NDCG@100 从 32.23% 升到 35.42%;在由复杂购物需求组成的 Amazon C4 上,从 22.94% 升到 24.72%。

把「什么时候搜、查、问、推」交给整段对话的结果去训练,4B 的 agent 在检索排序指标上超过了大得多的未训练模型;陪它练和考它的都是模拟用户,论文没有真人实验。

现有推荐 agent 卡在哪

基于大模型的推荐 agent 手里有几样工具:商品搜索、商品详情、用户偏好。它还能追问用户,也能在被拒之后接着推。问题是这些动作的顺序由人写的流程规定,模型自己没机会从结果里学。

论文把这种做法的后果写得很具体:agent 很少去核对搜出来的候选,很少看用户历史,推错一次之后也很少能救回来。换更大的底座模型,这些毛病也没有消失。

那照搬搜索 agent 的强化学习做法行不行?搜索 agent 的环境是现成的:同一个查询,索引永远返回同样的结果;工具只有搜索一种;答案对就是对,错就是错。推荐这三样都没有。环境是一个会对每次推荐做出反应的用户;证据来自几种代价不同的工具;结果是「推中了」,这件事很少发生,没推中时也说不出是哪一步错了。所以要训练推荐 agent,得先补上三样东西:用户、动作和目标。

SimRec 的整体结构:上面是一次多轮交互(搜索、查详情、看偏好、追问、推荐、被拒后重新规划),左下是三个工具,右下是对整条轨迹做 GRPO 训练。来源:论文 Figure 3
SimRec 的整体结构:上面是一次多轮交互(搜索、查详情、看偏好、追问、推荐、被拒后重新规划),左下是三个工具,右下是对整条轨迹做 GRPO 训练。来源:论文 Figure 3

模拟用户只认「这次要什么」

真人用户给不了强化学习需要的交互量,只能用大模型扮演用户。扮演的方式有讲究。如果模拟用户知道目标商品,它说话时容易把答案漏出来。如果先给它重建一份完整的用户画像,聊几轮之后它可能偏离这次真正想买的东西。

SimRec 的模拟用户以这次购物的需求为准,论文实现里是一条参考查询,比如上面那句「高品质钓鱼竿加渔轮套装」。除此之外,它还能读到 agent 刚推荐的商品或刚问的问题,以及最近几轮对话;它看不到目标商品的 ID,也不拿完整的用户画像。每次 agent 推荐之后,它按提示词的要求,用自然的话说出一两条没被满足的具体要求,比如「不要伸缩的」,而且不准说出任何商品 ID。

推中没推中由环境判断,跟模拟用户无关:环境拿推荐的商品去比对目标集合。模拟用户只负责说话,环境负责打分,两件事分开。

用户的长期偏好也不交给模拟用户扮演,而是做成 agent 可以主动调用的工具。agent 一共有这些动作,顺序不固定:

动作agent 拿到什么用来做什么
商品搜索一个查询返回 100 件,agent 只看到前 20 件的简短摘要找候选
商品详情一件商品的完整信息核对价格、尺寸、兼容性等硬条件
用户偏好用大模型把购买历史总结成的一句话,已删去目标商品排序和选词时参考
追问模拟用户的回答需求缺关键条件时补上
推荐环境判定 + 模拟用户的反馈推中就结束,被拒就继续

一段对话在三种情况下结束:推中了,推荐次数用完了,或者轮数到了上限。

奖励怎么给:推中的次数太少

最直接的奖励是推中给 1、没推中给 0。问题有两个。一是商品库很大,推中很少,大多数对话拿到的都是 0。二是一个 0 说不清问题出在哪:目标可能根本没被搜出来,也可能搜出来了却没被选中。

所以 SimRec 的奖励由几块相加,总分截在 0 到 2.5 之间:

推中奖励:最后推荐的商品在目标集合里,得 1,否则 0。

检索奖励:在这段对话的所有「不重复的搜索」里,取目标排得最好的那次,算它的 NDCG@100。不重复的意思是查询词以前没用过,而且前 100 个结果里至少有一件新商品。单个目标时,这个分只由目标的名次决定,排第 1 得 1,排得越后越小。

工具奖励:搜索、商品详情、用户偏好三类工具,每类只要有效用过一次就给分,分别是 0.03、0.01、0.01。同一类用十次也只算一次,无效或重复的调用不算。

惩罚:用户纠正之后,agent 如果还用跟之前一样的查询去搜,扣 0.05;对话超过 4 轮之后,每多一轮扣 0.02,最多扣 0.20。另外,每次推荐能写出合法的商品 ID 和描述,有一份很小的格式分。

训练算法是 GRPO:同一个任务让当前模型跑 8 段对话,每段算出总奖励,再看它比这 8 段的平均高多少(再除以组内标准差),用这个差去调整这段对话里模型生成的每个 token。同一段对话里,搜索词、查详情的调用、最后的推荐都共用这一个分数。用外部大模型当模拟用户时,只更新推荐方的 token。

走一遍:钓鱼竿那一单

下面按论文 Figure 2 的案例走。对话内容来自论文;名次、轮数和奖励数值是示意。

第一步,用户需求变成搜索。agent 把需求写成查询「high-quality fishing rod and reel combo with smooth reel…」,检索器返回 100 件,agent 看到前 20 件,其中有 Item1、Item2、Item3。示意:目标商品在这次自然搜索结果里排第 3,检索奖励就是 1 ÷ log2(3+1) = 0.5。

第二步,偏好影响第一次推荐。agent 调用用户偏好,拿到「用户偏好可调节、高品质的产品」,于是推荐了 Item1,一款便于旅行的伸缩竿。环境一比对,Item1 不在目标集合里,这一推失败,对话继续。

第三步,反馈改变下一步动作。模拟用户回:「不要伸缩的,想要一节或两节的竿,渔轮更顺、更结实。」这句话没提任何商品,只说缺什么。agent 没有重新搜,而是打开 Item2 的详情,看到「一套标准的两节竿」。因为反馈之后没有新的搜索,「重复查询」那项惩罚不触发。

第四步,核对之后改推。agent 推荐 Item2,环境判定命中,对话结束,Hit@1 = 1。

第五步,这段对话拿到的分数在同组里比较。示意:推中 1 + 检索 0.5 + 工具 0.03 + 0.01 + 0.01 = 1.55;对话 6 轮,超出 4 轮的 2 轮扣 0.04,总分约 1.51。同组里另一段对话如果被拒后没有查详情,坚持推了别的伸缩竿,就只有 0.5 + 0.03 + 0.01 = 0.54。如果前一段高于组内平均,它里面「被拒后查详情」的那些 token 就被加强;后一段低于平均,就被削弱。

论文的案例:用户要钓鱼竿套装,agent 先搜索、看偏好,推荐了伸缩竿被拒;用户说不要伸缩、要一节或两节的竿,agent 查了 Item2 的详情,改推后命中。来源:论文 Figure 2
论文的案例:用户要钓鱼竿套装,agent 先搜索、看偏好,推荐了伸缩竿被拒;用户说不要伸缩、要一节或两节的竿,agent 查了 Item2 的详情,改推后命中。来源:论文 Figure 2

这个例子说明了两件事。第一,模拟用户那句「不要伸缩的」本身就是训练信号的一部分:它决定了 agent 下一步有没有东西可查。第二,奖励只在整段对话结束时给一次,agent 被拒后的那一步选择好不好,要靠同组对话之间的比较才分得出来。

训练时把目标「塞」进候选

奖励之外还剩一个麻烦:商品库很大,agent 搜了几轮,目标可能一直不在它看得到的前 20 件里。这时它根本没机会练「在几件相似商品里挑对那件」。

SimRec 的办法是训练时作弊一下:用户已经说过至少 2 轮话,目标还不在可见的候选里,就把目标插到候选列表的随机位置。位置随机,模型没法靠位置猜。检索奖励始终按没被插入的自然结果算,所以插进来的目标不会白送检索分。评测时关掉插入。

训练过程中,需要插入的比例在下降。最早一段训练里,满足条件的对话有 38.18% 要靠插入,最后一段降到 31.48%。同时,目标排进自然结果前 10 的比例从 61.81% 升到 68.52%,前 100 都没有目标的比例从 19.70% 降到 14.50%。这说明 agent 自己写的查询越来越好,靠插入的需要在减少。

实验结果

论文在 ESCI 的 5 个类目和 Amazon C4 的 4 个类目上评测。NDCG@100 看目标在搜索结果里排得多靠前,取所有不重复搜索里最好的一次;Recall@100 看目标有没有进前 100;Hit@1 看最后推荐的那件是不是目标。

方法ESCI NDCG@100ESCI Hit@1C4 NDCG@100C4 Hit@1
只用 Qwen3 Dense 检索32.6219.9819.806.45
Qwen3-4B 未训练32.2321.2022.948.30
GLM-5.134.9936.9624.6116.09
Kimi-K2.634.5040.4022.6916.26
SimRec-4B35.4224.0824.729.76

(数字来自论文表 1,单位为 %。GLM-5.1 和 Kimi-K2.6 都在同一套工具和模拟用户下运行,没有训练。)

这说明训练确实改善了 4B 模型找候选的能力:两个数据集的 NDCG@100 都是表里最高,ESCI 的 Electronics 类目涨了 7.66 个百分点。但最后推中这件事,大模型仍然强得多:Kimi-K2.6 在 ESCI 上的 Hit@1 是 40.40%,SimRec 是 24.08%。在 C4 上,用亚马逊数据训练的检索器 BLAIR-LARGE 的 Recall@100 也更高,63.01% 对 59.18%。

把检索器换成更弱的 BM25,SimRec 相对单独用 BM25 的提升更大:ESCI 的 NDCG@100 从 19.68% 到 24.02%,C4 从 7.68% 到 15.88%。agent 多轮改写查询,能补上一部分检索器的弱。

训练改掉的是哪些行为

工具用法变化最明显。在 C4 测试集上,每段对话的工具调用从 2.43 次涨到 5.19 次。多出来的主要是查详情(0.58 次到 1.83 次)和看用户偏好(0.02 次到 0.86 次)。这说明训练后的 agent 更愿意核对商品、参考用户,而未训练的模型几乎从不看偏好。

被拒之后能不能救回来,也有变化。论文把第一次推荐没中、最后推中的比例叫恢复率。在 ESCI 上,未训练模型从第一次推荐到最后一次,Hit@1 只涨了 1.56 个百分点,SimRec 涨了 3.44 个。恢复率从 1.93% 升到 4.34%,五个类目里四个变好,Sports 略降。这说明多轮反馈确实被用上了,但能救回来的仍是少数。

左:第一次推荐到最后一次推荐的 Hit@1 变化,SimRec 涨了 3.44 个百分点,未训练模型涨了 1.56;右:各类目第一次没推中、最后推中的比例。来源:论文 Figure 4
左:第一次推荐到最后一次推荐的 Hit@1 变化,SimRec 涨了 3.44 个百分点,未训练模型涨了 1.56;右:各类目第一次没推中、最后推中的比例。来源:论文 Figure 4

挑商品的本事也单独测了。论文给每个模型同样的 16 件候选,打乱顺序,隐去检索分,让它重新排序。NDCG@10 从未训练的 24.75% 升到 28.06%,随机顺序是 19.73%。候选完全相同,这个差别反映的是比较商品的能力。

消融实验把各部分拿掉看损失。在 C4 上,拿掉用户偏好工具,NDCG@100 降得最多,3.55 个百分点;拿掉商品详情工具,Hit@1 降得最多,3.72 个百分点。有意思的是,拿掉商品详情后 Recall@100 反而从 59.18% 升到 63.65%,最后推中的却更少了。搜出来的候选多,不等于能挑对。拿掉多轮反馈,两个指标都降。

奖励的消融在 ESCI 上做,训练到第 500 步就比较。完整奖励的 NDCG@100 和 Hit@1 是 32.38% 和 17.22%。拿掉推中奖励,降到 25.45% 和 14.28%;拿掉检索奖励,Hit@1 降到 14.58%;拿掉工具奖励,Hit@1 降到 14.34%。最后一项说明,即使保留了推中奖励,奖励「把证据找齐」这件事仍然帮到了最后的推荐。

这对做推荐 agent 的人意味着什么

如果你的推荐 agent 是按人写的流程调工具,可以试着让整段对话的结果来决定流程。

先看一眼自己的 agent 在被拒之后做了什么:有没有去查详情,有没有看用户偏好,还是换个说法又推了一件差不多的。SimRec 的未训练底座几乎从不看偏好,这类毛病光换大模型不一定能解决。

搭模拟用户时,给它这次的需求、agent 当前的推荐或问题和最近的对话,让它说「缺什么」,别让它知道答案;推中与否交给环境判断。奖励里除了最终命中,再给检索质量一份分;工具奖励按「每类用过一次」给,别按次数给;论文这样设计,就是为了鼓励把工具用对,而不是用得多。

局限

陪 agent 练和考它的都是大模型扮演的用户,真实用户会不会这样说话、会不会这样给反馈,论文没有验证。换模拟用户,结果就变:评测时用 GLM-5.1 扮演用户,NDCG@100 升到 36.93%;换成 Kimi-K2.6,NDCG@100 和 Hit@1 都降了。

训练时插入目标,评测时不插,训练和推理之间有一处不一致。论文自己也把它列为局限。

让 agent 自己同时扮演用户的 self-play 版本,在 ESCI 上接近外部模拟用户(34.72% 对 35.42%),在 C4 上差得多(19.77% 对 24.72%)。

最终推中率仍明显低于大模型,实验也只覆盖 4B 和 1.7B 两种规模、ESCI 和 Amazon C4 两个数据集。

读完这篇,你觉得

点一下即可,无需登录;再点一次撤回。只统计匿名次数,不记录你是谁。

讨论

欢迎补充实验细节、复现经验或不同看法。需 GitHub 登录。

正在加载讨论…