02 4.30
一个冻结的长序列用户模型,下游的搜索和推荐模型都想复用它的输出,但每个用户在一个时间点的完整多层隐状态平均有几百万字节,存不下也传不动。Coupang 的 SeqFold 把每一层的隐状态压成固定数量的兴趣槽:每条历史行为由学到的门控决定往每个槽里放多少,越早的行为权重衰减得越多,每个槽最后量化成一串很短的二进制码。下游按目标时间点取出那一刻之前的码,再用各自的解码器还原成 embedding。
03 4.10
银行和推荐系统里的序列模型上线后,要面对训练截止之后的新时期、没见过的新用户和刚出现的新物品,但常见的评测只是留出每个用户最后几次行为。INTENT 按这三样是否在训练里出现过切出七个测试格,在五个公开数据集上用同一条事先定好的规则选截止日期。
04 3.80
从 XGBoost 这类黑盒模型里挑特征交叉,再写进车险定价表这种可解释的加性模型,常见做法是按交叉分数取前几名,但分数高也可能只是拟合了噪声。LENS 在两份不相交的数据上各训一个模型,在第一个模型里算出每对特征扣掉各自单独效应后剩下的交叉模式,再看第二个模型能不能复现。在法国车险数据上,车龄和品牌这一对被复现了 78%,车龄和地区排名也靠前,却只复现了 3%,于是被丢掉。只看复现比例还不够,两个模型可能共享一个很弱的模式,所以复现出的强度还要过一个下限。在合成数据上,它找回了 91% 的重要交叉,没有选进一对假的。两次独立训练都学到的交叉才值得写进模型。
05 3.75
做下一个 POI 推荐时,商家的元数据、评论和照片通常和下游序列模型绑在一起训练,换一个下游模型就得把融合重训一遍。LUMIR 把这一步拆出来:先用 LLM 把三种模态都写成文字再编码,然后随机遮掉一部分模态,让同一个商家的两个残缺版本在 embedding 空间里靠近,同时让用户轨迹里前后相邻的商家也靠近。学好的商家 embedding 固定下来,直接交给 BERT4Rec、SASRec 和 GRU4Rec 使用。在 Yelp 多模态数据上,接 BERT4Rec 时 HR@10 比最强基线高 24.2%,推荐覆盖的商家也更多。接 GRU4Rec 时提升小得多,相邻商家对齐这一项主要在能看到前后文的 BERT4Rec 上有用。
06 3.75
电商里互动少的商品,协同过滤学不出靠谱的表示,这时商品图片、文字描述和用户评论哪个最有用?MPIUR 把三者放进同一个图模型:评论由 LLM 抽成方面、观点和情感的三元组,并作为用户和商品之间边的特征,图片和文字按每个商品各自的权重融合,再用一个按热度加权的对齐损失,互动越少的商品越被拉向它的内容表示。在 Amazon 乐器和母婴两个类目上,它的整体 nDCG@10 和 Recall@10 都是最好的,优势主要在互动少于 10 次的商品上。消融显示,去掉评论比去掉图文伤得更重,稀疏商品的 nDCG@10 从 0.2347 掉到 0.1869。热门商品上,不用评论的 BM3 反而有几项更好。
07 3.45
用大模型给几百万条评论打标签,再蒸馏成小模型上线,小模型和老师一致,是不是就等于和编辑的判断一致?这篇在土耳其一家电商平台的五百多万条评论上,让 Gemini 按评论是否提供了具体的商品信息分成三档,再用这些标签训练 BERTurk 等小编码器。在评论前加上商品类目,学生在训练截止后才出现的新商品上和老师的一致度略有提高。但在一位没看过老师标签的公司标注员审过的 16,000 条后续评论上,加类目反而让学生和老师、和标注员的一致度都下降了。和老师一致只说明学会了老师,不能说明对齐了人工标准,结论还取决于在哪批数据上评。小模型在单张 GPU 上的处理速度是老师流水线的 50.2 倍。
09 3.15
节点上同时挂着文字和图片的图,在电商、社交和内容平台里随处可见。这篇综述按模态和图结构在哪一层结合,把多模态图学习方法分成五级,并给出一个比较它们的标准:一个节点的文字表示能不能受到邻居图片的影响。比如标题写得很差的商品,只有在这种情况下才可能借助一起被购买的商品的图片被识别出来,而 MMGCN 这类各模态分开传播的模型在融合前做不到这一点。作者还给数据集定义了几项和模型无关的描述,比如相连节点同属一类的比例和平均邻居数。他们建议评测带上不用图的强基线,包括用同样特征的 MLP 和不看图结构的多模态大模型。图结构的贡献要和不用图的强基线比过才算数。
10 3.10
多模态推荐越来越多地用社交平台上的评论、照片和 LLM 生成的摘要,但这些数据本身的质量很少有人检查。这篇短文用 Yelp 和博登湖地区 Instagram 两份旅游数据,列出了实际碰到的几类问题。假账号会刷出评论和打卡,LLM 摘要里会有编出来的内容。不同模态也会互相矛盾,比如按多数评论生成的摘要说一家餐厅干净安静,用户上传的照片却显得又乱又吵,模态之间的矛盾会直接拉低融合后表示的可靠性。发帖的多是年轻人和本地居民,要推荐的对象却常是年纪更大的游客。作者建议融合时给质量差的模态降权,用固定字段的结构化摘要代替自由生成,并把游客和本地人分开建模。