Learned Cross-Task Relationships in Multi-Task Models
论文为多任务模型增加交叉标签和无条件辅助头,显式学习点击、收藏等行为的联合关系,再把预测传给下游策略。YouTube 通知实验中 CTR 提升 7.67%、发送量下降 7.21%、退订下降 1.05%;首页额外关系特征使低质量曝光下降 0.64%。
查找解读请用站内搜索。
论文为多任务模型增加交叉标签和无条件辅助头,显式学习点击、收藏等行为的联合关系,再把预测传给下游策略。YouTube 通知实验中 CTR 提升 7.67%、发送量下降 7.21%、退订下降 1.05%;首页额外关系特征使低质量曝光下降 0.64%。
模型把实时上下文视为可编辑文件,按任务进展删除、改写或外存证据,并通过强化学习学习管理策略。BrowseComp-Plus 上准确率达到 59.4%,相对最强摘要基线提升 11.4%,前缀复用计算量减少 21.5%;训练后的 9B 模型从 28.8% 提升至 42.5%。
研究把词表、伪文档、多条伪引用和语料引导文本四类生成扩展统一接入 SPLADE-v3,在 NFCorpus、TREC-COVID、SciDocs 的冻结索引上比较。
论文面向大规模推荐排序中异构特征交互与长行为序列建模难以同时扩展的问题,提出 HELIX:交替执行序列检索和特征交互,并让可复用的用户序列状态单向流向候选相关的混合 token。该设计把用户侧计算摊销到多个候选上。
Snap 将召回、排序与奖励建模整合进同一编码器—解码器:生成多模态 Semantic ID,再用共同训练的多头模块打分,并冻结该模块用于强化学习奖励。
美团面向外卖多业务精排,提出统一推荐基座 MTFM,以异构 Tokenizer、动态掩码和混合注意力共享用户行为建模,保留业务独立任务塔。
论文在真实流媒体数据上比较聚合向量与 LLM 画像,并交叉测试长短期兴趣拆分,共评估 4 种策略、1 万名用户和约 24 万个内容。
论文审计将真实物品强行放入候选集的 LLM 推荐评估协议,并提出按实际重排窗口计算召回上限的 RAEP。
论文把 AI 搜索的检索目标扩展为答案支持、内容可信和上下文组织三个阶段,并给出百度工业实现。文档压缩为可离线缓存的瓶颈表示,在线按查询评分;答案支持排序升级使答案通过率增加 4.8 个百分点,抽取式内容精简的人评净收益为 8.9%。各组件增益对应独立基线,不应相加。
论文研究个性化排序过度依赖历史成功率的问题,将查询、内容、用户历史和离散行为特征共同输入 cross-encoder,并用保留与移除行为特征的成对样本训练。
针对多步搜索每轮重复验证证据的开销,CoVeR 用冻结句向量的覆盖缺口筛掉明显不完整状态,仅在模糊状态调用验证器。
针对视觉文档多向量检索的索引与打分成本,MAGIC 用查询需求加权源边际和均衡目标边际做最优传输压缩,无需重训编码器。
针对长期自动建模中实验跑完却结论无效的问题,EvoPilot用版本化技能、实验协议和产物核验约束研究智能体。37天、7个方向的研究纠正了漏斗深度不一致造成的负22个百分点误判;匹配比较获得离线命中率提升3.20个百分点,另一次7天线上实验测得GSRR相对提升0.66%。
CoFree 针对检索 embedding 训练造成的推理退化,先用参考模型约束的监督微调恢复生成能力,再以 embedding 和推理双奖励强化学习。
针对生成式搜索广告中收益、点击与相关性目标相互干扰的问题,UniPolicy 用目标前缀、稀疏 MoE-LoRA 和独立残差 FFN 分离策略,并用行为漏斗监督改善候选次序。
TRACE 面向有噪声、跨语料且必须追溯出处的检索,将问题分解、混合召回、证据暂存复审与重规划组成免训练搜索循环。
注意力重排通常用空查询分数扣除位置偏差,但含详细指令的空查询也携带相关性信号,直接相减会损伤排序。
针对招聘平台缺少行为日志的冷启动排序,论文将职位与候选人的匹配程度映射为五级标签,用首个输出 token 的概率期望计算连续分数,并以 MSE 与交叉熵联合微调 Qwen3-8B。
ANGLE 将搜索广告表示为“商业意图×广告摘要”,以生成、相关性判别和偏好优化联合训练同一模型,并用动态约束解码过滤无效广告。腾讯在一万条查询上取得 HR@100 0.5273,表3报告 WTS 场景 GMV 提升2.16%;消费增幅在正文与表格间不一致,需保留核验。
论文针对图像检索容易被背景主导、直接裁剪又丢失语境的问题,增加逐层读取全图特征的区域编码器,并采用独立投影与三阶段训练。小红书与浙大构建22.5万对REGMB数据,RegRet-8B的综合检索分为86.2,零样本版本为78.8;区域训练同时保留全图检索能力。
Wolt 的 UVR 将双向 Transformer 用户序列表征接入 GBDT 排序,以样本加权和标签平滑平衡新店探索与复购,并统一餐饮、零售排序。
PCap 以历史点击类别的香农熵刻画多样性偏好,将用户划为六组,在召回分片和聚合阶段实施个性化类别上限,并在线搜索各组参数。
针对工业 CTR/CVR 排序的预训练迁移与稀疏参数过拟合问题,LazFormer 用零初始化残差适配器接入排序特征,结合请求级长序列计算及逐轮重置稀疏参数。
GESE 面向个性化标题展示,将多样候选生成与在线点击选择拆分:Qwen3-14B 通过 GSPO 学习兼顾吸引力、忠实性和多样性的标题集合,再由反馈驱动排序器选择。
VARG 将生成式召回候选直接送入天猫精排,以两级语义前缀和价值排序第三码构建标识符,并结合三阶段监督训练、Prefix-GRPO 与每日增量更新。
ChronicleRec 将超长用户历史压缩成按时间排列、可缓存的 Chronicle Tokens,通过近细远粗合并、因果查询交错和多时间跨度分支保留长期兴趣。
PinDCO 面向 Pinterest 广告创意个性化选择,以组件专属塔预测相对广告基础分的增量,并用像素惩罚约束大图挤占相邻内容。
InitGen 面向用户尚未表达当次意图的助手首页,一次生成整组候选问题,以用户活跃度和下游排序分数加权 KTO,并每日滚动更新。
论文针对粗排与精排各自优化多目标融合、导致下游偏好被上游过滤的问题,联合训练共享 embedding 的双阶段融合模型,并加入偏好对齐与属性组内正则。
EAGER面向用户点击商品后返回推荐流的场景,根据商品属性和用户行为生成搜索建议。方法先通过四阶段课程学习、多样性正则与自蒸馏扩展意图,再用规则及点击偏好混合奖励进行GRPO对齐。