RankGR: Rank-Enhanced Generative Retrieval with Listwise Direct Preference Optimization in Recommendation
将 listwise DPO 引入生成式检索,并在淘宝猜你喜欢场景实现大规模上线。
查找解读请用站内搜索。
将 listwise DPO 引入生成式检索,并在淘宝猜你喜欢场景实现大规模上线。
提出 MA-RAG 框架,通过多轮迭代同步优化外部证据检索和内部推理,实现 Agentic RAG 的 test-time scaling。
OneRanker 提出在广告推荐系统中,将生成(召回)和排序在同一个模型中深度融合的架构。通过价值感知的多任务解耦架构(任务 token + 因果 mask),在共享表征空间内分离兴趣覆盖和价值优化目标,有效缓解生成与排序阶段的信息断裂问题。
本文提出了在 Hopper GPU 上实现 MXFP4 精度训练大规模 MoE 模型的实用方案。通过直接 FP8-to-FP4 量化/反量化以及感知缩放的行列转换,在 FP8 计算核心的基础上将激活和专家并行通信压缩至 FP4,大幅降低显存和通信开销。
OxygenREC 提出了一个指令驱动的统一生成式推荐框架,专为大规模电商场景设计。它整合了世界知识进行演绎式意图推理,并支持在单一骨干网络上进行多场景的可扩展服务。
利用多模态大语言模型为新物品生成代理 ID embedding,解决广告和推荐中冷启动 CTR 预估问题。
提出 ProductResearch,面向电商场景的 Deep Research Agent。通过多 Agent 协同合成数据训练对话式商品调研 Agent,支持多轮对话、多源搜索、上下文推理。针对复杂购物场景的深度调研任务设计了完整的 Agent 训练与评估体系。
支付宝搜索部署 LLM 生成式检索系统 LLMGR,将小程序信息编码进大模型后直接生成候选标题进行检索。
Meta 发布广告推荐基础大模型 GEM,采用 LLM 级别训练规模,实现 ranking 模型的 Foundation Model 化。
首次在生成式推荐中验证了 Test-Time Scaling Laws,提出 PRM 引导的 Beam Search 让小模型通过增加推理计算超越大模型。
LinkedIn 构建了一套基于 LLM 的语义搜索框架,通过多教师蒸馏将大模型能力压缩到小模型,实现生产级语义排序。
支付宝搜索部署的 LLM 多智能体协作 query 改写框架,通过知识增强微调提升 LLM 对 query 和 item 语义的理解。
在快手 OneRec 基础上引入 in-text reasoning 机制,实现对话、推理与个性化推荐的统一框架。
利用 item 类别特征压缩长用户交互序列,在保留兴趣信号的同时大幅降低生成式推荐的计算成本。
提出 S-GRec 框架,将在线轻量生成器与离线 LLM 语义裁判解耦,用非对称优势策略优化防止语义信号偏离业务目标。
提出统一搜索相关性与CTR预估的框架V2版本,新增跨用户偏好挖掘、曝光偏差校正和LLM蒸馏编码器。
提出统一 Transformer 架构同时处理特征交互和用户行为序列建模。
验证推荐系统序列建模遵循类 LLM 的幂律缩放定律。
利用多模态 LLM 挖掘用户深层多兴趣用于生成式推荐。