Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models
研究提出 Behavioral Lift,用来衡量某种推理行为出现时正确率的变化,并在 15 个模型、6 个基准和 15,282 条推理轨迹上分析行为与正确性的关系。结果发现,思考模型会放大自我纠错、假设检验和不确定性表达,但真正具有最高提升关联的行为是置信度校准、知识对齐和自我认知,存在明显的 Amplification-Lift Gap。
INSIGHTAgent 的轨迹更长、更像在思考,并不等于检索答案更可靠。在线评测应把工具调用成功、证据对齐、置信度校准与最终答案分开打分,训练反思器时优先奖励能改变正确率的行为,而不是单纯奖励更长的 CoT 或更多自我纠错句子。