Why Do LLMs Struggle in Strategic Play? Broken Links Between Observations, Beliefs, and Actions
本文系统剖析 LLM Agent 在不完全信息策略博弈中的失败机理。作者用 Llama 3.1、Qwen3、gpt-oss 三类开放权重模型做实验,揭示两条关键断链:(1) observation-belief gap——模型内部探针解码的 belief 比模型的口头报告更准,但在多跳推理下会迅速衰减,并出现首因/近因偏置以及偏离贝叶斯一致性;(2) belief-action gap——内部 belief 转化为动作的链路较弱,模型常按表面信念而非内部实际信念行动。
INSIGHT对于 Agent 化搜索场景,本文给出了「内部表征 ≠ 外部输出」「多步推理会导致 belief 漂移」的实证证据,提示在 Agent Pipeline 中应显式地把「belief 提取 → 决策」做成可观测的中间产物(如外置工作记忆、显式推理图)而不是依赖 LLM 自我报告。对设计基于 LLM 的查询改写、复杂问答 Agent 时,应控制推理跳数、引入校准机制(probing classifier)来缓解 belief 漂移。