The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence
MiniMax 发布面向 agentic 部署的 MoE 模型 M2 系列:总参 229.9B、单 token 激活仅 9.8B。
查找解读请用站内搜索。
MiniMax 发布面向 agentic 部署的 MoE 模型 M2 系列:总参 229.9B、单 token 激活仅 9.8B。
针对知识密集型场景中相关性判别需要背景知识、多步推理和决策校准的痛点,论文提出 RAG-Match 三阶段框架:第一阶段做知识增强预训练,将检索到的外部知识与 query 一同注入,强化以 query 为中心的语义 grounding;第二阶段做分层推理对齐,将相关性判别拆为「事实/语义/意图」三层逐步对齐;第三阶段在难分边界样本上做 preference-based 偏好校准,纠正模型在 4 档相关性等级之间的决策抖动。
面向长程对话记忆这种「索引在线增长、query 类型 session 内漂移、单次检索预算 sub-10ms」的非经典 IR 负载,论文提出 AgentIR:在 BM25/Dense/RRF/agent-aware RRF 这四种 fusion 中按 query 自适应路由,并用一个 confidence-triggered cascade router 仅基于 BM25 top-k margin 决定是否调用 ~52ms 的 dense channel。
工业级推荐系统中粗排(pre-ranking)阶段长期受限于向量内积模型,无法承担精排常用的 Target Attention (TA) 这类高算力交互模块。
Meta 提出 Memento:把广告推荐场景的超长用户历史当作“文档库”,把当前广告请求当作 query,用 Maximal Marginal Relevance (MMR) 检索出相关历史交互注入模型。
生成式序列模型在推荐里已有成熟方案,但搜索是 query-driven 的——每次切换 query 都会引入剧烈话题跳变。现有方法把 query 与 item 拍平到单一 token 序列,无法区分 query 边界,导致监督信号被噪声污染。
针对流媒体平台为 item 排序、carousel 排序、搜索分别训练独立模型的割裂现状,提出 user story 表示:把用户跨场景历史(属性、session、带 surface/carousel 上下文的观看事件、搜索事件)串成单一 token 序列,并把预训练语言 token 与领域事件 token 交错。
推荐模型 dense scaling 的代表方案 RankMixer(统一 token 表示 + token mixing 与 per-token FFN 交替)存在 embedding collapse:表示有效秩偏低、表达力受限、扩展出的表示空间被浪费。
FLUID 针对直播推荐的冷启动难题——直播间存续时间短,候选侧 item ID embedding 永远学不热。
GRASP 面向多跳问答,把复杂问题拆解成带依赖关系的子问题计划,并按问题复杂度动态扩展子 agent,每个子 agent 在「实体—命题(proposition)—段落」三层图上解析单跳查询,命题层通过 reciprocal-rank voting 召回段落。
针对 Transformer cross-encoder 重排序器推理成本高的问题,提出 Layer-wise Token Compression (LTC),把自适应 token 池化放到中间层而非输入层。
论文研究 RLVR (可验证奖励强化学习) 训练过程中参数轨迹的几何结构,发现 RLVR 的权重增量轨迹极度低秩:大部分下游性能增益由参数 delta 的 rank-1 近似捕获,且该投影的幅度随训练步数近似线性增长。
论文指出传统 IR 评估按「人工最终过滤」假设设计,覆盖率/Top-K 命中率在 LLM 直接消费检索结果时严重失真。
序列推荐隐式反馈下的负采样长期被 self-guided hard negative 主导:模型用当前参数挑硬负,结果是采样和模型互相强化、被困局部最优。
RAG 在外部证据 (CK) 与模型参数知识 (PK) 冲突或两者都不可靠时容易产生错误。
CopT 把传统 think-then-answer 的 CoT 流程倒过来:先让模型直接产出 draft answer,再把这个草稿作为条件输入,让模型在 on-policy 阶段对其进行反思、纠错。
大规模推荐系统把多目标 trade-off 编码成一个 utility 打分,用它对 ranker 的多个预测做加权融合,但权重通常靠人工全局调、对环境变化反应慢、难治理。
搜索增强推理 agent 在内部推理与外部检索调用之间交替,整条 rollout 只有一个轨迹级 outcome reward,单次 search query 拿不到 step 级信用。
针对超长用户行为序列下 CTR 预估的两阶段框架 (GSU 检索 top-k 行为 + ESU 注意力建模) 的两个痛点——以目标 item 为中心的 GSU 会漏掉其它潜在兴趣、且基于 pairwise 相似度的匹配检索随行为增长而耗时,论文提出生成式长期兴趣模型 GenLI。
搜索与推荐的预测模型常因部分输入特征带来分数波动而出现「时间维度不稳定」,在多阶段系统中会因上下游分数不一致而损害可靠性与体验。
针对 deep research agent 并行 rollout 重复采集证据、聚合上下文撑爆模型窗口的问题,提出 Argus:Searcher 以 ReAct 方式为子查询收集证据轨迹,Navigator 维护共享证据图(evidence graph),校验缺失片段、调度 Searcher 补全,并在完整图上推理生成可溯源答案。
针对电商搜索相关性建模,提出 Multi-Perspective CoT(MPCoT)让 LLM 从多个视角生成推理链,配合 SFT+DPO 训练教师模型;再用 Latent Reasoning Knowledge Distillation(LRKD)把推理能力蒸馏进一个推理抽取器,推理在隐空间完成、不在推理时展开显式 CoT,以此压低线上延迟。
针对生成式检索在大规模电商搜索中难以落地的问题,论文把它定位为召回阶段的增量通道,不替换原有多级检索。
针对纯关键词检索可靠但召回受限、而前沿 LLM 直接生成检索结果昂贵且幻觉率高(实测幻觉率 37.79%)的矛盾,提出 PaSaMaster:把文献检索拆成「意图分析 → 检索 → 排序」的可迭代闭环,并坚持用排序而非生成来产出结果以杜绝来源幻觉,同时把规划与检索分离以控成本。
本文针对商业搜索中“内容时效性与用户意图不一致”的问题,提出一种基于 RAG 增强的 LLM 动态内容过期预测框架,已部署在百度搜索线上。
本文提出 EcoGEO,将传统针对单页面的 Generative Engine Optimization 扩展到 web-enabled LLM 搜索 Agent 的多步浏览轨迹场景。
针对 SWE Agent 评测「只看最终补丁是否通过测试」的二值信号会把原则性求解与盲目试错视为等价的问题,论文系统分析了 2614 条 OpenHands 轨迹(覆盖 8 个模型后端、60 个 SWE-bench Verified 任务),发现在通过率达标的样本里有 10.7%属于 Lucky Pass:表现为回归循环、盲目重试、缺失验证或时序错乱。
本文提出一套生产级长序列建模方案,将抖音推荐系统的用户历史序列扩展到 10k 长度同时维持线上延迟与成本预算。
针对 LLM 时代用户搜索从关键词转向自然语言多约束查询的趋势,本文提出 LEAPS——在淘宝 AI 搜索现有架构两端附加 LLM 插件,采用 'Broaden-and-Refine' 范式。
传统电商广告生成依赖多个独立模型,CTR 信号只反映平均偏好,缺乏跨模态感知和个性化。