1. 问题与动机
大语言模型（LLM）普遍采用 Next-Token Prediction（NTP）作为训练目标，通过单向注意力实现高效的自回归生成。然而，NTP 训练的模型在准确检索上下文中的关键信息方面存在显著缺陷——即广为人知的「Lost-in-the-Middle」问题。当关键信息出现在长序列的中间位置时，模型的检索准确率会大幅下降。
与此同时，Masked Language Modeling（MLM）通过双向重构获得了更好的语义理解能力，在信息检索等下游任务上表现优异。已有工作如 UniLM、UL2 等尝试统一 MLM 和 NTP，但都需要复杂的编码器-解码器架构或多目标切换机制，与现代 LLM 的高效推理流水线不兼容。
核心问题：能否在不引入任何架构复杂度和计算开销的前提下，将 MLM 的优势融入 NTP 训练，从根本上提升自回归模型的上下文信息检索能力？
2. 方法详解
训练范式设计
MEAP 的核心设计极其简洁：在标准 NTP 训练的输入序列中，随机将一小部分 token 替换为 [MASK] 标记，然后直接执行标准的 left-to-right 自回归预测。关键区别在于：
- 预训练阶段：随机遮蔽 15% 的输入 token，使用因果注意力进行标准 NTP 训练。被遮蔽的 token 在注意力计算中获得极低的权重，迫使模型将注意力集中在未遮蔽的 token 上。
- 微调阶段：复制训练样本，对副本施加 10% 的随机遮蔽，仅在答案跨度上的遮蔽 token 上计算交叉熵损失。原始序列和遮蔽序列共同作为训练输入。
关键设计决策
- 无需双向注意力：不同于 BERT 系列需要双向 Transformer，MEAP 完全保持 decoder-only 架构和因果注意力掩码，被遮蔽的 token 自然地在注意力传播中被「忽略」。
- 零额外推理开销：推理时模型与标准 NTP 模型完全一致，无需任何特殊处理。
- 遮蔽比例选择：预训练最优为 15%，微调最优为 10%。随机遮蔽优于跨度遮蔽，保持了实现的简洁性。
训练配置
- 模型：1.1B 参数 LLaMA 风格（24 层，32 头，2048 隐藏维度，4096 上下文）
- 优化器：AdamW（β₁=0.9, β₂=0.95），最大学习率 4×10⁻⁴
- 训练规模：40B、60B、200B tokens
- 微调基础模型：Llama-3-8B，使用 Stanford Alpaca 指令集
3. 核心技术贡献
贡献 1：注意力区分度增强机制。 MEAP 的核心机理在于：遮蔽 token 在注意力计算中获得极低权重（衰减 53.34%），这隐式地放大了未遮蔽 token 之间的注意力方差（增加 7.80%，T-stat = -9.97, p ≪ 1e-6）。效果是模型学会了更具选择性的注意力分配模式，将关注点集中在任务相关信号上。
贡献 2：任务相关注意力重分配。 在结构化输入分析中，MEAP 将答案跨度上的注意力比例从 NTP 的 9.4% 提升至 34.5%（+3.67 倍），同时将前文上下文的注意力从 73.1% 降低至 49.1%。这意味着模型不再被大量无关上下文「淹没」，而是能精准定位关键信息。
贡献 3：数据效率提升。 MEAP 使用 60B tokens 训练即可在 Needle-in-a-Haystack 任务上达到 85.8% 准确率，而标准 NTP 需要 200B tokens 才能达到类似水平（87.1%），数据效率提升约 3 倍。
贡献 4：跨模型泛化性。 该方法在 Llama-3-8B、Llama-3.2-3B、Qwen2.5-14B、Mistral-7B-0.2 等多个模型上均展现出一致的提升效果，验证了方法的通用性。
4. 实验结果分析
预训练阶段
| 评估维度 | MEAP (200B) | NTP (200B) | 提升 |
|---|
| 常识推理平均 | 47.8% | 46.2% | +1.6 pp |
| Needle-in-Haystack (40B tokens) | 80.2% | 65.9% | +14.3 pp |
| Needle-in-Haystack (60B tokens) | 85.8% | 52.8% | +33.0 pp |
| Needle-in-Haystack (200B tokens) | 98.2% | 87.1% | +11.1 pp |
最引人注目的结果是在 60B tokens 训练量下的 +33.0 百分点提升，说明 MEAP 在数据有限时的优势尤为突出。
微调阶段（Llama-3-8B + Alpaca）
多文档 QA（20 篇文档，关键信息位于不同位置）：
| 位置 | MEAP | NTP | 提升 |
|---|
| Position 1 | 33.22% | 24.29% | +8.93 pp |
| Position 5 | - | - | +11.34 pp |
| Position 20 | - | - | +15.22 pp |
| 平均 | - | - | +11.77 pp |
越靠后的文档位置提升越大，证实 MEAP 特别擅长缓解 Lost-in-the-Middle 问题。
跨模型泛化：
- Llama-3.2-3B：常识推理 +1.26 点，多文档 QA +8.91 pp
- Qwen2.5-14B：常识推理 +2.14 点，多文档 QA +1.62 pp
- Mistral-7B-0.2：常识推理 +0.10 点，多文档 QA +3.27 pp
消融实验
遮蔽比例分析表明：预训练最优 15%（准确率 58% vs 10% 时的 56%），微调最优 10%（准确率 81% vs 15% 时的 71%）。这一差异暗示预训练和微调阶段模型对信息扰动的容忍度不同。
随机遮蔽与跨度遮蔽的对比中，两者表现相近（41.13% vs 41.64%），但随机遮蔽更简单且通用。
幻觉减少
在 XSum、MultiNews、WikiSum 摘要任务上，MEAP 一致性地降低了幻觉率（WikiSum 上从 0.24 提升至 0.33，GPT-4o 评判），表明更精准的上下文关注也有助于减少事实性错误。
5. 局限与未来方向
论文明确讨论的局限包括：
- 规模验证不足：实验仅在 1.1B 模型上进行预训练验证，10B+ 规模模型的可扩展性尚未验证。
- 微调计算开销：序列复制策略使微调阶段的输入长度翻倍，但论文指出 MEAP 只需 NTP 50% 的训练 epoch 即可达到相似效果，部分抵消了开销。
- 遮蔽比例需调优：预训练（15%）和微调（10%）的最优遮蔽比例不同，暗示需要针对不同训练阶段和任务进行调优。
- 理论基础有限：论文提供了经验性的机理分析（注意力区分度假说），但缺乏严格的理论证明。
论文未讨论但值得注意的局限：多模态场景下的适用性未探索；与其他训练技巧（如 curriculum learning、数据混合策略）的组合效果未研究。
6. 工业实践意义
对生成式推荐系统的直接价值
- 用户行为序列建模：生成式推荐模型（如 HSTU、TIGER）以用户行为序列作为输入进行自回归预测。MEAP 的核心优势——增强长序列中关键信息的检索能力——直接适用于用户长历史序列中关键交互信号的捕捉。在实际推荐系统中，用户行为序列可达数千条，重要的购买/点击行为往往淹没在大量浏览行为中。
- 零成本集成：MEAP 无需修改模型架构，不增加推理延迟，仅需在训练数据流中添加随机遮蔽。对于已有的 decoder-only 推荐模型（如基于 LLaMA 架构的推荐模型），可以直接在训练流程中加入 MEAP 策略。
- 数据效率对推荐的意义：推荐场景中高质量标注数据稀缺，MEAP 的 3 倍数据效率提升意味着用更少的训练数据就能获得更好的序列理解能力。
部署考量
- 推理延迟：零额外推理开销，完全兼容现有推理优化（KV cache、speculative decoding 等）
- 训练成本：预训练阶段零额外成本；微调阶段因序列复制有约 2 倍数据吞吐量增加，但 epoch 数可减半
- 实施复杂度：极低——仅需在数据预处理中添加随机遮蔽逻辑，约 10 行代码修改
实践建议
推荐从业者可以考虑在以下场景尝试 MEAP：
- 长用户行为序列建模（序列长度 > 1000）
- 需要从历史交互中精准检索用户兴趣信号的场景
- 训练数据规模有限但希望最大化序列理解能力的场景
- 现有 decoder-only 推荐模型的训练流程改进（如 SASRec、HSTU 的训练）
University of Amsterdam
USTC