Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents
XConf 利用模型过去有判分结果的任务记录估计当前回答置信度,先召回相似任务与相近置信度的经历,再让模型反思历史失败。覆盖九个基准、四个模型,在 24 次比较中的 23 次达到或超过十次采样自一致性;拒绝最低置信度的 10% 任务,智能体交付成功率最多提高 8.7 个百分点。
INSIGHT社区搜索 Agent 可保存查询、检索证据、回答及人工判分,形成用于重试和拒答的经验库。其关键是用真实结果校准自信程度,落地时应按时间隔离训练与评测记录,并观察覆盖率下降后的整体体验;只展示被保留回答的成功率会掩盖拒答成本。