Evaluating Reasoning Models for Queries with Presuppositions
用户 query 中常带有事实错误的预设(presupposition),LLM 通常不会挑战这些预设、反而会强化用户的错误认知。论文构建了覆盖健康、科学和通识三个领域、含不同程度预设的 query 集,评估当前主流大型推理模型(LRM)。结果显示:相比非推理模型,推理模型准确率仅高 2-11%,仍有 26-42% 的虚假预设未被识别;并且推理模型对 query 表述方式和提示工程仍非常敏感。
INSIGHT在社区搜索/问答场景下,相当比例的 query 携带错误前提(如'为什么 XXX 会让 YYY'但 XXX 实际不会),简单地'按 query 检索 + 直接回答'会放大误信息。该论文给出实证:开 reasoning 档位并不能根治这个问题,必须在 query 理解阶段加上 presupposition 校验/否定模块(先用 LLM 判定 query 是否合理,再决定走检索还是走澄清)。这与社区搜索'先校正、再召回'的产品策略高度契合。