Attention-Aligned Reasoning for Large Language Models
本文提出 ATAR(Attention-Aligned Reasoning),一种利用推理链内在结构来引导 LLM 注意力的新方法。当推理链变长时,关键中间步骤和原始 prompt 会被淹没在上下文中,导致注意力不足而产生错误。ATAR 通过将注意力对齐到推理结构上的关键节点来解决此问题。实验表明 ATAR 在六个基准上超越 SOTA 方法,最高实现 15.39% 的绝对提升,且无需额外训练即可让非推理模型达到同等规模推理模型的水平。
INSIGHTATAR 揭示了长推理链中注意力衰减是多步推理错误的核心原因,并提供了一种无需训练的即插即用解决方案。对搜索 Agent 和 Agentic RAG 系统而言,这一发现极具实践价值:深度搜索 Agent 在多轮检索-推理过程中面临同样的注意力衰减问题,ATAR 的结构化注意力引导可直接集成到搜索 Agent 的推理流程中,改善多跳检索和长链推理的准确性。15.39% 的绝对提升表明该方法有显著的工程回报。