02 3.95
用大模型直接生成推荐列表时,微调数据怎么预处理,会明显影响效果。作者在 MovieLens-1M 上微调 Llama-3-8B-Instruct 做了对比。只是电影标题的写法就有影响。把末尾的冠词挪回开头(比如 Matrix, The 改成 The Matrix),HR@10 是 10.67%;保留数据集原样的写法,是 12.47%。想让各人群结果更均衡,效果也因属性而异:按年龄平衡训练数据,年龄组之间的效果差距缩小,总体效果几乎不变;按性别平衡,总体效果下降,男女两组之间的效果差距也没有缩小。预处理选择要同时看效果、输出行为和对人群的敏感度。
03 3.75
大多数序列推荐模型只预测用户的下一个物品,但用户行为是一串有先后关系的动作,后面几步会受前面几步影响。论文提出的 GCB 直接预测接下来的多步行为。它先把每个物品编成由 4 个离散码组成的 Semantic ID:前三个码由 RQ-VAE 逐级量化物品向量得到,各级码本先用 k-means 聚类初始化,以免码本塌缩,第四个码只用来区分撞码的物品,所以语义相近的物品前缀也相近。再用 Transformer 自回归地一个一个生成未来几步的 Semantic ID,让后一步以前面已生成的步骤为条件。在 Amazon 的 Beauty 和 Cell Phones 两个数据集上,GCB 在多数多步指标上最好或接近最好,Cell Phones 上优势最明显;预测得越远,所有模型的效果都下降。
04 3.90
Semantic ID(SID)通常先用商品的内容向量离线量化出来,训练排序模型时就固定了,这带来两个问题。一是内容相近的商品,用户偏好可能不同,SID 里没有这类协同信息。二是 SID 怎么划分,从来没有被点击预测的目标训练过。SIDRec 的做法是,用训练好的排序模型的 embedding 初始化协同表示并随训练更新,和内容表征融合;同时让量化过程能接收梯度:前向仍取离散的 SID,反向用平滑的概率近似,点击预测的梯度就能传回量化器,更新它的参数,从而改变商品的 SID 分配。在三个公开数据集上,AUC 和 GAUC 都超过所有对比方法,相对最强基线最多提升 5.15%。把融合和端到端优化两部分都去掉,AUC 下降 7.19%。
05 3.75
让生成式搜索推荐商品,大牌是不是天然占便宜?作者查了三个线上的生成式搜索引擎,在上千个品牌里,销量和知名度排在前五分之一的品牌,被提到和被引用的次数是平均品牌的 1.4 到 2.8 倍,而且开了联网搜索也没有缓解。接着做了一个对照实验,让四个模型给五个商品页排序,其中一页的商品信息不变,只把落款的品牌换成虚构的,它的名次平均掉 0.44 位。把这一页的文字按三种常见的生成式引擎优化方法改写,名次只变动约 0.02 位。对新品牌来说,改写文案帮不上多少忙,模型已经记住的品牌印象才起作用。
06 3.65
让大模型通过多轮提问查明一个看不见的答案,比如问几个问题猜出用户喜欢哪部电影,它往往不会选最有信息量的问题,也不会记住自己已经排除了什么。作者先做了一个贝叶斯老师,每轮维护对答案的概率判断,再选预期信息增益最大的问题来问。然后用老师生成的对话微调 Llama-3.1-8B-Instruct,让它模仿老师的提问,并把概率判断写成草稿再决定下一步。在三个谜题任务上,破解电路的成功率从 0.00 升到 0.93。猜词平均尝试次数从 32 降到 3.4。换成 70B 的语言模型当老师不如贝叶斯老师,学到的本领也迁移不到没见过的任务类型。
07 3.55
生成式引擎优化(GEO)是改写网页文案,让大模型搜索把它排得更靠前。已有评测多是直接把文字塞给模型,在真实网页上这些收益还在不在,没人确认过。LIVE-GEO 把改写后的商品页真正发布成线上网页,让三个商用生成式引擎自己打开网页,在一批虚构品牌各自的六个版本里排名次,这六个版本是原始文案和五种已有 GEO 策略改写出的五份。结果没有一个策略稳赢:同一个品牌,三个引擎选出同一个第一名的比例只有约一半到三分之二。ChatGPT 还受候选链接顺序影响,同一个策略的 Top-1 率在两种相反的固定顺序下分别是 73.8% 和 93.8%。
08 4.40
生成式召回生成的是 Semantic ID(SID),但多件商品可能共享同一个 SID,最后取哪几件会直接影响线上收益。RedMall 是用在电商推荐和广告召回上的生成式模型,除了改模型结构和训练目标,比如把曝光了却没点的商品当负样本,还专门处理了这一步。上线时,同一个 SID 下的每件商品都算一个分数,以过去每千次曝光带来的成交额为主、订单数为辅加权得到,然后只保留分数靠前的一批。