今日场景社区搜索 (UGC 短文本搜索): 用户在社区平台搜索帖子、问答、评论等 UGC 内容。 核心指标是搜索相关性 (nDCG) 和点击率 (CTR)。 关注：语义匹配、query 理解、短文本召回、排序模型、LLM 在搜索中的应用。 — 评分 223 篇，入选 10 篇，分数 3.75 – 4.40
深度搜索容易沿着错误假设越查越偏。作者让搜索者提出答案，再由独立检查者寻找反例，结合分层奖励训练修正研究状态。FALCA-4B 在 BrowseComp 的准确率达到 56.0%。
多搜几轮可能让模型在缺少证据时更敢作答。作者利用游戏版本更新构造无法回答的问题，比较模型拒答与答题表现。迭代检索在 40 种配置中的 30 种降低了正确拒答率。
INSIGHT检索次数和可靠性需要分别评估。多轮搜索可能提高回答意愿，却没有补上证据；搜索评测可以同时记录有答案时的正确率，以及无答案时能否承认信息不足。
对话记忆系统常先改写历史，再为后续问题检索。作者控制检索条件，检查这种额外加工是否值得，并区分信息丢失与找不到信息两类失败。比较的 6 个显式记忆系统未能稳定超过强原始历史检索基线。
INSIGHT记忆构建和记忆检索是两个不同瓶颈。用理想检索检查答案依据是否还在，可以判断该改进压缩过程还是检索入口，避免把昂贵的记忆构建当成默认收益。
知识图谱问答的一条轨迹中，不同操作对答案的帮助并不相同。作者估计相邻搜索状态的结果变化，用它重新分配训练权重，同时保留整条轨迹奖励的方向。在同一 7B 模型上，CWQ 的 F1 比仅用结果奖励高 4.6 点。
INSIGHT局部进展信号可以改变更新力度，同时保留最终成败决定的方向。状态评估器只参与训练，因此这种更细的奖励分配不会直接增加上线时的模型调用。
模型路由器需要随模型池变化不断维护。作者让语言模型读取能力和成本记录，通过工具收集证据后决定调用谁，无需专门训练路由模型。COMPASS 在 LLMRouterBench 的准确率为 69.85%。
INSIGHT把模型能力做成可查询记录，可以让路由跟随模型池更新。这里的成本收益来自整个选择流程，评估时需要把路由本身的调用与候选答案检查也计入账单。
固定工具评测很快会变得太容易，人工扩充又很费时间。作者让任务提出者、解题者和反馈者循环协作，根据实际完成情况生成难度适中的新任务。AppWorld 中困难任务的占比相对增加 165%。
INSIGHT任务难度可以由解题轨迹持续校准。生成器不仅要看到成功与否，也要知道卡在哪一步，才更容易产生能区分模型能力、又有解的评测任务。
复杂金融搜索中，前一步答案会变成下一步的精确条件，错一个实体就可能一路查偏。作者给多跳问题标注中间答案，逐步衡量检索链是否正确。评测覆盖 20 种模型与代理配置。
INSIGHT逐步标注能发现最终答案分数掩盖的部分进展。实体、日期和指标类型都可以作为检查点，让搜索系统区分条件传错、证据没找到和最后归纳错误。
代理的操作效率常受人工设计的工具接口限制。作者让元代理查看执行轨迹，修改接口与使用知识，再用未见验证任务挑选版本。同一模型在 OSWorld V2 的二元成功分数达到固定接口的 3.8 倍。
INSIGHT接口本身也能成为优化对象。把常见的长操作压缩成清晰工具，并在独立任务上选版本，有机会减少重复调用；效果需要按接口版本和底座模型一起记录。
终端代理偶尔能完成任务，却可能在重复运行时反复失手。作者对照同一任务的成功与失败轨迹，结合执行器内部日志修改共享机制。DeepSeek-V4-Flash 在 TBH 的平均成功率提高 7.25 个百分点。
INSIGHT完成声明可以附带可执行的结果证据。将命令执行、输出观察和完成判断分别记录，能发现模型能力已经够用、执行框架却没有稳定兑现的环节。
Terminal X
OpenAI投资机构希望代理保留资深员工的判断标准。Terminal X 把机构要求整理成可评估规则，再用独立评估代理检查研究输出。厂商案例报告，评估代理与资深投资者判断的一致率为 88.6%。
INSIGHT把机构规则拆成可检查的标准，能让研究代理的错误更容易定位。这是客户与厂商披露的业务案例，未公开完整测试集；可借鉴的是规则建模和独立评估流程。
已录用 EMNLP 2026