今日场景今天 4 篇都在研究大模型替用户做选择时受什么影响：推荐品牌的口味从哪个训练阶段来，卖家文案能把购物 agent 带偏多少，多个 agent 互相看到热度会不会跟风，以及多语种评测的裁判提示能不能照搬英文经验。生成式推荐系统本身今天的新论文很少。 — 评分 22 篇，入选 4 篇，分数 3.75 – 4.00
让大模型「说出一个跑鞋品牌」，它多半答 Nike；换成「推荐一个跑鞋品牌」，它更可能答 Brooks。论文用 102 个模型、42 个品类量化了这个现象，有 26 个品类的答案会这样换掉，而且各家模型一起换到同一个品牌：Chrome 换成 Firefox，Google 换成 DuckDuckGo。随口说出的多是市场老大，认真挑选时选中的多是小众或专业品牌。作者顺着训练阶段往回查，发现关键是偏好训练那一步，而那一步的训练数据里几乎没出现过品牌。
两款耳机价格、星级、参数完全一样，只有一款多了一句「我们最畅销的型号，超过 10,000 名顾客选择」。在六对这样的耳机上让 GPT-4o 挑，144 次里它全挑了带这句话的那款。把这款慢慢涨价，要贵出约 13% 它才开始犹豫。换成一句平淡的商品介绍，只要贵 2% 左右就没了优势。两句话看选中率一模一样，换算成钱却差了六倍。作者想用这个办法，给卖家写的每一句话标个价。
一群大模型 agent 互相推荐歌，如果每个 agent 都能看到「这首歌已经被推荐了多少次」，会发生什么？作者照着社会学里经典的「音乐实验室」实验做了一遍：歌都是 agent 没听过的，一组能看到累计推荐数，一组看不到。能看到的那组很快一窝蜂地挤向少数几首歌，最后哪首走红几乎是碰运气，跟歌本身好不好越来越没关系。跟同样实验里的真人比，大模型更容易跟风，而且一旦跑偏就很难自己拉回来。用多个 agent 做推荐或互评时，让它们互相看到热度是有风险的。
用大模型当裁判给多语种的输出打分时，大家常照搬英文上的经验，比如让裁判先写推理过程，或者让它扮演专家。作者在 4 个裁判模型、27 种语言上把 9 种提示写法都试了一遍，发现这些经验搬不过去：换哪个裁判模型的影响，比换什么提示写法大得多；同一种写法，对这个裁判有用，换个裁判可能反而变差；到了小语种，结果更不稳定，而且只看平均分时这些问题全被盖住了。结论很直接：提示写法要在你自己的裁判模型和语言上重新验证。