APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution
APEX-Searcher 针对复杂多跳问题中单次检索不足的痛点,提出了一种基于 Agentic 规划与执行的搜索增强框架。
查找解读请用站内搜索。
APEX-Searcher 针对复杂多跳问题中单次检索不足的痛点,提出了一种基于 Agentic 规划与执行的搜索增强框架。
针对传统 CTR 模型将用户行为序列聚合为单一向量后再与上下文特征交互导致行为信息丢失的问题,提出双视角建模框架:一方面通过细粒度核心行为视角精准捕捉用户与候选物品的关键交互信号,另一方面通过全局兴趣分布视角建模用户整体偏好的宏观分布特征。
揭示了 CTR 预估中特征异构性(categorical vs numerical、稀疏 vs 稠密)被普遍忽视的问题:现有模型将所有特征同时输入交互层,导致低信息量特征注入噪声、掩盖高信息量特征信号,甚至引发模型坍缩。
针对大语言模型在长序列中难以准确检索关键信息的问题,提出 MEAP(Mask-Enhanced Autoregressive Prediction)训练范式,将 Masked Language Modeling 无缝集成到 Next-Token Prediction 中。
本文构建了涵盖 22 个数据集(情感、主题、意图、情绪分类)的零样本文本分类基准,系统评测了 38 个模型,覆盖 NLI cross-encoder、embedding 模型、重排序器和指令微调 LLM 四大类。
提出 Rank1——首个利用测试时计算(test-time compute)的重排序模型。通过从推理语言模型(如 Deepseek-R1)蒸馏推理链,构建了超过 60 万条基于 MS MARCO 的推理轨迹数据集。
针对推荐系统中超长用户行为序列建模面临的 I/O 延迟高和注意力计算复杂度呈二次增长的问题,提出 LASER 框架。
针对多模态序列推荐中现有方法依赖启发式融合策略、无法捕捉用户-模态交互的动态性和上下文敏感性的问题,提出 CAMMSR。核心创新是类别引导的注意力混合专家 (CAMoE) 模块,从多视角学习专化的 item 表征并显式建模跨模态协同,通过辅助类别预测任务动态分配模态权重。
针对 DeepSeek-R1、OpenAI-o1 等推理模型输出序列显著加长导致部署成本飙升的问题,提出 LongFlow KV 缓存压缩方法。核心创新是利用注意力计算中间结果推导出一个高效重要性估计指标,无需额外存储或计算开销即可在生成阶段实时压缩 KV 缓存。
针对多模态模型(文本、图像、视频、音频任意组合)serving 场景,提出 Cornserve 分布式服务框架。核心思路是通过灵活的任务抽象实现组件解耦和独立弹性伸缩,用高效执行模型管理数据依赖关系。
针对生成式推荐系统中 item-action token 交织导致序列长度翻倍的效率问题,提出 AttnLFA 和 AttnMVP 两种因果注意力架构,通过显式编码 item-to-action 的因果依赖关系,消除交织依赖并将序列复杂度降低约50%。
针对搜索 Agent 的强化学习训练提出 MR-Search 框架,核心创新在于跨 episode 的元学习:模型不仅在单次搜索中学习,还能利用历史搜索经验进行自我反思,动态调整搜索策略。
针对工业推荐系统中多场景多任务学习的两大瓶颈——大规模参数未能充分与复杂特征模块交互、场景和任务信息难以在统一框架中联合建模——提出了 MDL 框架。核心思路借鉴 LLM 的 prompting 范式,将场景和任务信息转化为专用 token 而非辅助输入或门控信号。
研究排序决策系统(推荐系统、广告竞价、医疗分诊队列)应在何时对排序输出进行干预、何时选择放弃干预(abstain)的问题。
针对电商搜索中 query-商品相关性预测任务,提出直接部署 LLM 的框架 TaoSR1,解决三个关键挑战:Chain-of-Thought (CoT) 推理中的错误累积、判别式幻觉(discriminative hallucination)和部署可行性。
针对个性化 LLM 中记忆检索的两大问题——将所有历史记忆塞入 prompt 成本高且不可扩展、单次相似度检索只能捕捉表面匹配——提出基于认知科学双过程理论的自适应检索框架。
本文首次对稠密检索中的文档分块策略进行了大规模、跨领域的系统评测。研究覆盖 36 种分块方法(包括固定长度、语义、结构感知、层次化、自适应和 LLM 辅助等),在 6 个不同知识领域上使用 5 种 embedding 模型进行基准测试。
该论文提出 Isotonic Layer,一种可微分的分段线性拟合框架,可直接嵌入神经网络架构中实现推荐系统的去偏与校准。通过将特征空间分段并优化非负斜率施加全局单调归纳偏置,将有偏观测映射回真实效用值。
从二次神经网络 (QNN) 视角重新审视 CTR 预估中的 Hadamard Product 特征交互机制,揭示了 QNN 在扩展特征空间和提供平滑非线性近似方面的能力。
提出 MARIGOLD 框架,将多任务学习 (MTL) 中的模型训练与梯度平衡统一建模为双层优化问题,通过零阶方法高效求解。MGDA 类方法的核心瓶颈在于需要访问所有任务梯度带来的计算开销,MARIGOLD 利用双层优化结构避免了这一成本。
提出 PSAD 框架,解决生成式重排序中生成质量与推理延迟的固有矛盾。教师模型采用半自回归生成器平衡质量与效率,通过在线知识蒸馏将排序知识传递给轻量评分网络实现实时推理。
Amazon 提出 T-REX,一种面向在线生鲜购物的 Transformer 序列推荐架构。针对生鲜场景的重复购买模式和复杂商品关系,设计了三项关键创新:稀疏购物模式的动态序列分割采样策略、自适应时间位置编码方案、以及降低维度同时保持推荐质量的品类级建模方法。
本文针对 Mixture-of-Experts (MoE) 模型训练中的系统挑战,提出了跨内存、通信和计算的集成优化方案。由于 MoE 模型的稀疏性使参数量远超每 token 计算量,优化任一维度会将压力转移到其他维度,因此需要全栈协同设计。
针对 LLM 长上下文推理中注意力机制的二次复杂度和 KV 缓存内存瓶颈,提出 LycheeCluster 方法。
提出让 LLM Agent 直接利用自身 hidden states 进行检索,消除传统「生成查询文本 + 独立 embedding 模型」的双模型流水线。
提出推荐系统的 Deep Research 范式,用综合性的用户中心报告替代传统的物品列表推荐。具体实现了 RecPilot 多智能体框架,包含两个核心组件:用户轨迹模拟 Agent(自主探索物品空间)和自进化报告生成 Agent(将探索结果整合为可解释报告)。
针对深度研究 Agent 在使用 RLVR(可验证奖励强化学习)训练时常出现的提前终止和工具使用偏差等探索行为不足问题,提出 SynPlanResearch-R1 框架。
针对 LLM 深度研究 Agent 在长链信息检索任务中端到端延迟过高的问题,提出双进程动作推测(DualSpec)框架。受人类认知双进程理论启发,设计快速(System 1)和慢速(System 2)两种推测策略:快速策略处理常规动作模式,慢速策略应对需要深度推理的复杂动作。
提出基于熵流而非 token 索引的自组织 LLM 推理架构,联合调度、注意力稀疏化和采样。
Meta 工程团队分享 jemalloc 内存分配器在超大规模 ML serving 中的优化实践。