- 1. PFA: Attention Can Be Progressively Focused in Long-Sequence Generative Recommendation · 📖 深度解读
生成式推荐做 beam 解码时,每一步、每条 beam 都要对整段用户历史算一遍注意力,历史越长越慢。阿里的作者发现,解码越往后,注意力越集中在少数几条历史行为上,而且哪些行为重要,前后几步基本不变。PFA 据此只在解码开头看完整历史,之后把各条 beam 的注意力按生成概率加权汇总,排出一份所有 beam 共用的重要行为排名,把这些行为的 KV cache 挪到连续内存里。之后每往后一步,保留的行为数按固定比例缩小,比如每步减半…
出现于日报:11-02
- 2. Towards Reliable, Scalable, and Value-Aligned Generative Recommendation for Large-Scale Advertising · 📖 深度解读
广告生成式召回按生成概率挑广告,平台要的却是收入。快手量过,按生成概率排出的前十名和 eCPM 最高的前十名几乎不重合,命中率只有约 0.02。GR4AD-X 在已上线的 GR4AD 上改了三处。建 SID 时第一层保留离广告最近的几个聚类中心,一条广告因此有几条路径,不会因为一个前缀被剪掉就召不回。加容量时不放大主干,而是加输入信号、加大编码器和 SID 词表的 embedding 等…
出现于日报:11-02
- 3. UGR: Unified Generative Ranking for Heterogeneous E-commerce Recommendation
电商推荐的生成式排序有个错位:模型学着生成的列表,并不是用户最后看到的列表。一屏里同时有自然内容、广告和其他业务的商品,常见做法是各业务先各自排好,再由混排拼成最终列表,拼完之后位置和上下文都变了。淘宝的 UGR 把一次请求里约一千个跨业务候选一起交给一个生成模型,直接逐个生成最终列表。训练时不只模仿曝光过的序列,还按曝光后的点击和成交给样本加权,并让模型学会比较两种排列哪种更好;广告部分沿用现有的分配和 GSP 计价规则…
出现于日报:11-02
- 4. RoFiGR: Coarse Routing, Fine Refinement via Level-Adaptive Distillation in Multimodal Generative Recommendation · 📖 深度解读
生成式推荐逐个码地生成物品的 SID,前几个码决定大方向。前面走错一个分支,后面再准也找不回相关物品。多模态推荐里这个问题更突出:SID 多按图文语义构建,前几个码未必反映哪些物品常被同一批用户购买。RoFiGR 在构建 SID 时就把前两层码向量和冻结的协同 embedding 对齐;生成时再用一个序列推荐模型当老师,在每一步告诉学生模型各个能对应到真实物品的分支该有多大概率…
出现于日报:11-02
- 5. R2QRec: Learning Recommendation Queries from Retrieval Feedback
用大模型做推荐有一种思路:先根据用户历史写几条搜索 query,再交给现成的检索系统去找物品。难点在于日志里只有用户点了什么,没有当初该写什么 query。常见做法是拿被点物品的文字当目标去模仿,但这样写出的 query 未必能把这个物品检索出来。R2QRec 直接用一个固定的检索器来检验:先生成很多候选 query,只留下真能检索回被点物品的那些做 SFT…
出现于日报:11-02
- 6. Statistical Detection of Positional Bias in LLM-Based Recommender Systems: Methodologies and Empirical Evidence
把候选商品写进提示词、让大模型挑一个推荐,候选的排列顺序本身就会改变它的选择。作者在一个真实商品目录上搭了 RAG 推荐测试,同一条 query 把候选顺序反复打乱,测了 8 个模型,统计检验在每个模型上都确认推荐结果和位置有关。各家偏向不同:GPT-OSS 偏爱排在前面的,LLaMA 4 Scout 反而避开第一个。候选越多越严重。给 20 个候选时,只是打乱顺序…
出现于日报:11-02
- 7. Merge and Branch: Efficient Tree-Structured Supervised Fine-Tuning of LLMs for Recommendation
用大模型做生成式推荐时,输入是一长串带文字的历史,输出却只是几个 token 的 SID。训练时费力读完一整段历史,往往只学一个目标物品,很不划算。这篇论文的 M&B 从两头下手:先把每条历史物品压成少数几个 token。先把这件物品各层 SID 码的 embedding 合成一个向量,几个可学习的查询向量各自和它相加,再对物品的 SID 和文字 token 做注意力,每个查询向量取回的内容加回这个向量,就成了一个 token…
出现于日报:11-02
- 8. Federated Recommender Agents
用大模型 agent 做推荐,把所有用户的记忆集中起来有隐私问题,各个 agent 各自为战又学不到别人的经验。FedRecAgent 让每个用户端的 agent 只上传用自然语言写的经验,不上传交互记录,也不更新模型参数。每条经验写成三段:当时处在什么情境,用户下一步怎么选(接着看当前感兴趣的那类、回到以前喜欢的、还是换个新方向),以及为什么这样选。具体物品和个人偏好都去掉…
出现于日报:11-02
- 9. PALATE: Pretrained Autoregressive LATent Embeddings
外卖和本地生活平台的广告排序要做到千人千面,但用户的行为历史很稀疏,店铺又有几十万家。DoorDash 原来的排序模型只靠手工统计特征和不分先后的历史汇总,没有一个学出来的用户序列表示。PALATE 训练一个 GPT 式模型,根据用户的行为序列预测接下来会和哪些店铺互动,取最后一个位置的隐藏状态当用户 embedding,每天刷新一次,作为普通特征喂给各个广告位的排序模型…
出现于日报:11-02
- 10. Category-Anchored Large Language Models for Next POI Recommendation
预测用户下一个要去的地点(POI)时,直接让大模型生成地点 ID 并不可靠:地点多、分散、长尾严重,名字本身也没多少语义。ANCHOR 换了个顺序,先让大模型预测用户接下来想去哪一类地方,类别数量少、含义稳定,更好预测;再从三路凑出候选,分别是这一类的地点、用户去过的地点,以及按用户长期、近期和对应时段常去的类别补上的地点;最后用一个参照历史轨迹的重排模型选出具体地点。先猜类别再落到地点,比直接猜地点稳…
出现于日报:11-02