When Category Means Move: A Paired-Support Audit of Recommendation Logs with Random Insertions
很多团队用推荐日志里各品类的平均观看完成度决定扶持哪类内容,可这张报表会被推荐策略带偏。作者用快手公开数据 KuaiRand,它会在部分推荐请求里,把列表中的一条视频随机换掉,这些曝光不经过策略挑选,可以当参照。
今日场景今天个性化赛道的主线是先把数据和评测查清楚,再谈模型。一篇核对了推荐 Hugging Face 资源的公开基准,发现知识图谱和物品编号错位,现成的文字信息也没人用;另一篇用快手的随机曝光数据,量出品类报表被推荐策略带偏了多少。模型方面,LMStaR 微调文本 embedding 模型给每个用户挑推荐理由,DualEvolve 让 agent 同时改进推荐模型和自己做实验的流程。 — 评分 29 篇,入选 6 篇,分数 3.35 – 4.25
做推荐评测的人值得读,因为它查出的问题不在模型,而在数据文件之间的对应关系。
很多团队用推荐日志里各品类的平均观看完成度决定扶持哪类内容,可这张报表会被推荐策略带偏。作者用快手公开数据 KuaiRand,它会在部分推荐请求里,把列表中的一条视频随机换掉,这些曝光不经过策略挑选,可以当参照。
给用户挑推荐理由时,以往的方法常常连一个简单基线都赢不了,这个基线只看用户历史里哪些说法出现得最多。任务是从这件商品的所有评论里抽出、合并好一批简短说法,挑出最能打动这个用户的几条。
让 agent 自动改进推荐模型时,现有框架通常只看每个版本最后的分数,实验本身做得好不好没人打分。DualEvolve 给实验过程也打分,效果超过了只看分数的框架。它有两层循环。内层照常改模型和训练代码。外层让一个固定的大模型读这一轮的实验记录,按清单打分,比如改动有没有明确假设、有没有可比的对照、有没有把无效改动和程序出错分开;agent 再按分数修改自己遵循的规则,下一轮照新规则做实验。实验用四个数据集各配四种推荐模型,每种组合看四个推荐指标,在这全部 64 项比较里,它的测试效果都高于 OpenEvolve 和 DeepEvolve。
不同用户的出行规律常常相似,只是落在不同的地点上。DualClusterNet 做下一个地点推荐时把规律和地点分开学。模型里有两组所有用户共用、可以反复组合的向量,一组用来刻画签到的先后规律,一组用来刻画地理空间。模型把用户到目前为止的签到序列编码成一个向量,用它给两组里的每个向量打权重,各自加权求和,再把得到的规律向量和空间向量逐元素相乘,作为当下的出行偏好;另有一个只看该用户的分支保留个人差异。在纽约和东京两个签到数据集上,它排第一位的预测命中率最高,但领先很小,看前几位时别的方法更好,而且只跑了一个随机种子。
研究者找数据集很难,因为学术知识图谱里的数据集往往和论文、作者连得很少,不少还缺文字描述。MM-SAN 给论文推荐相关数据集。它先从论文和数据集的文字描述里识别出能对上知识库条目的实体,再用主题模型归出主题,把实体和主题作为新节点加进图里,提到同一实体或同一主题的论文和数据集就连上了。论文和数据集的表示同时来自图结构和文字描述,文字缺失时靠图结构补上。在测试节点都没训练过、只有 25% 的节点有文字描述的最难设置里,它的召回率比最强的图方法高 41%。