02 4.35
隐式反馈里混着误点和冲动购买,现有去噪方法几乎都靠训练损失找噪声,可损失要等模型被带偏才变大,还受训练阶段和负采样干扰。网易的 NDL 加了一个不看预测结果的信号:算这条交互的表示和该用户历史交互平均表示的余弦相似度,偏得越远越可疑,这个信号不用等模型预测出错就能给出。活跃用户主要信这个信号,历史太少的冷启动用户退回训练损失。
03 4.20
Airbnb 想替房东挑封面图,难点有两个:超过 90% 的房源照片从没当过封面,没有点击数据可学,最吸引点击的图又可能拍的是附近景点,并不代表房源本身。作者先用几类间接线索筛出候选图,用 VLM 对照房源描述核对照片,再按预测 CTR 选图,首页 CTR 提高 1.5%。更有意思的是搜索页的两组实验。
04 4.15
搜索广告排序用长期行为时,常见做法是拿候选商品去历史里找相似行为,可这样会漏掉和当前 query 高度相关、却和候选关系不大的历史。Wayfair 在最近行为之外,从长期历史里按候选和按 query 各检索一批行为,再连同 query 和候选两个上下文 token 一起送进 Transformer。离线看,两路检索合起来的 AUC 增益高于任何单路,说明它们找到的历史互相补充。
05 4.05
把大模型放进 CTR 在线链路太贵,现有方法大多把大模型输出离线算好存起来,算力只是挪到了离线,物品或特征库一变还得重算。SlimFM 想让大模型直接在线跑,先对 LLaMA3 做结构化剪枝,按依赖关系成组砍掉最不重要的参数,共砍掉 44%。再用 LoRA 微调,让模型给每个特征字段(比如 MovieID)产出一个 embedding,字段之间的相似度用来给 CTR 模型的特征交叉重新加权。在 FM 上,剪枝后的平均 AUC 仍有完整模型的 99.77%,推理比现有大模型增强方法最多快 3.4 倍。准确率上它没有明显领先,在不到一半的模型和数据集组合里拿到几种同类方法中的最高 AUC,它的主要价值在延迟。想在线用语义特征的团队多了一条省去离线重算的路,目前证据来自四个公开数据集。
06 3.85
ChatGPT Ads 允许广告主写自然语言提示,说明产品是什么、适合谁、什么时候用,这些提示用于广告排序,和展示给用户的广告卡片分开,可该怎么写一直不清楚。作者按营销学框架拆成七种写法,再加一种全部混合,做了超过 119 万次有提示和无提示的成对比较。加提示平均能让广告前进 0.56 到 1.16 位,但七种写法差别很小,全部混合也没有稳定占优。按排名提升看,差别出现在排序器上:embedding 排序器偏向描述使用场景的提示,LLM 排序器偏向描述目标人群的提示,哪种写法占优取决于排序器和评价指标。提示条数增加一般还能提升排名,但边际收益递减。实验里只有被测广告加了提示,用的也是离线排序器,竞品都写提示后的效果还要另看。
07 3.75
用大模型维护用户画像时,新行为常常有多种解读:奇幻迷给一本奇幻绘画教程打了 3 分,可能是对奇幻腻了,也可能只是不喜欢绘画教程。现有方法只能马上写进画像或丢掉,写错了就持续误导后面的预测。UAPM 在画像之外加两块下游模型读不到的存储,一块暂存还没定论的解读和证据,一块按用户记录需要多少证据才下结论。训练时,看得到用户未来行为的教师模型指导学生模型的每步决策,部署时学生只用当前信息。同样的画像长度下,它比最好的基线最多提升 5%,去掉任一块存储几乎所有指标都变差。暂存内容很少直接转进画像,主要作为后续修改画像的证据。待定解读单独存放值得借鉴,代价是维护画像要多花 token。
09 3.25
用户口味会随时间变,基于 RNN 的序列模型又容易只盯着最近几次行为、丢掉长期兴趣。这篇 2023 年发表在 TKDE 的论文用两个注意力模块处理这件事。第一个用用户 embedding 给最近一个时间窗口内的物品打权重,汇总成当前上下文。第二个把用户 embedding 投影到多个空间,每个空间代表口味的一个方面,由当前上下文决定各方面的权重。论文报告 HR@10 相对最强基线提升 3.25%,但提升很不均匀,Pinterest 上只比 SASRec 高 0.32%。消融实验说明结构要按数据调:多堆几层影响不大,加位置编码在 Pinterest 上反而略差。评测时测试物品只和随机抽样的负样本比排名,拿这些数字和全库排序的结果对照时要记住这一点。
10 3.15
多目标推荐把相关性、成员分歧这些指标加权成一个奖励后,不同候选的方差可能差很多,于是 UCB1 这类不看方差的探索和 UCB-V 这类看方差的探索,谁好要看数据,而方差情况事先又不知道。UCB-min 的做法很简单:每一轮给每个候选算两种探索加分,取小的那个。每个候选各选各的,方差小的多半用看方差的那种加分,方差大的多半退回不看方差的那种。在 MovieLens 群组推荐上,方差大,UCB-V2 过度探索,累积遗憾 406,UCB-min 跟着 UCB1 停在 233。在方差小的 Steam 上,它又跟上了 UCB-V2。不用预先知道方差情况,也不用归一化奖励,只多算一个加分。需要留意,实验主要使用的 UCB-minV2 目前没有理论保证,Steam 上 UCB1-Tuned 的遗憾也更低。做线上探索时,这是一个改动很小的默认选项。